。 Python的多處理模塊提供了諸如高度密集型任務(wù)的CPU使用更好的好處，與線程相比，對兒童流程的更多控制以及適合併行編程的任務(wù)的實(shí)施方便。 Python多處理並不總是比串行計(jì)算更有效。對於低CPU密集型任務(wù)，由於流程之間的計(jì)算引入的開銷，串行計(jì)算的速度可以更快。 Python中的多處理模塊為每個(gè)任務(wù)創(chuàng)建一個(gè)新的過程，需要同時(shí)執(zhí)行。每個(gè)過程都有自己的Python解釋器和內(nèi)存空間，可以獨(dú)立於其他過程運(yùn)行。
• 在Python中進(jìn)行多處理可以大大提高程序的速度和效率，但它也會提高代碼的複雜性。並非所有任務(wù)都適合併行化，在某些情況下，創(chuàng)建和管理多個(gè)流程的開銷大於潛在的性能增長。
• 平行概論
• >在我們深入研究Python代碼之前，我們必須談?wù)搧K行計(jì)算，這是計(jì)算機(jī)科學(xué)中的一個(gè)重要概念。
• >通常，當(dāng)您運(yùn)行Python腳本時(shí)，您的代碼在某個(gè)時(shí)候變成一個(gè)過程，並且該過程在CPU的單個(gè)核心上運(yùn)行。但是現(xiàn)代計(jì)算機(jī)有多個(gè)核心，那麼，如果您可以使用更多的核心進(jìn)行計(jì)算怎麼辦？事實(shí)證明，您的計(jì)算會更快。
>
• >現(xiàn)在將其作為一般原則，但是後來，在本文中，我們將看到這不是普遍的真實(shí)。
>

使事情變得更容易，讓我們來看一個(gè)示例。

>平行和串行計(jì)算

想像您有一個(gè)巨大的問題要解決，您一個(gè)人。您需要計(jì)算八個(gè)不同數(shù)字的平方根。你做什麼工作？好吧，您沒有很多選擇。您從第一個(gè)數(shù)字開始，然後計(jì)算結(jié)果。然後，您繼續(xù)與其他人一起。

>如果您有三個(gè)擅長幫助您的數(shù)學(xué)擅長的朋友怎麼辦？他們每個(gè)人都會計(jì)算兩個(gè)數(shù)字的平方根，並且您的工作將更容易，因?yàn)楣ぷ髫?fù)載平均分佈在您的朋友之間。這意味著您的問題將被更快地解決。

好吧，這一切都很清楚嗎？在這些示例中，每個(gè)朋友代表CPU的核心。在第一個(gè)示例中，整個(gè)任務(wù)由您順序解決。這稱為串行計(jì)算。在第二個(gè)示例中，由於您總共使用四個(gè)內(nèi)核，因此您正在使用並行計(jì)算。並行計(jì)算涉及處理器中多個(gè)內(nèi)核之間的並行過程或過程的使用。

模型

我們已經(jīng)建立了什麼是平行編程，但是我們?nèi)绾问褂盟?？好吧，我們在該並行計(jì)算之前說過，涉及處理器多個(gè)內(nèi)核之間的多個(gè)任務(wù)，這意味著這些任務(wù)是同時(shí)執(zhí)行的。在接近並行化之前，您應(yīng)該考慮一些問題。例如，還有其他優(yōu)化可以加快我們的計(jì)算嗎？

完全平行。這些任務(wù)可以獨(dú)立運(yùn)行，並且不需要彼此交流。
• >
>共享記憶並行性。流程（或線程）需要進(jìn)行交流，因此它們共享一個(gè)全球地址空間。 >
• 消息傳遞。流程需要在需要時(shí)共享消息。
在本文中，我們將說明第一個(gè)模型，這也是最簡單的。

>

在下一部分中，我們將研究使用多處理的優(yōu)勢。

使用多處理

以下是多處理的一些好處：

在處理高CPU密集型任務(wù)時(shí)，CPU更好地使用了CPU 與線程相比，對兒童的控制更多
• 易于編碼
第一個(gè)優(yōu)勢與性能有關(guān)。由于多處理創(chuàng)建了新的過程，因此您可以通過將任務(wù)劃分為其他內(nèi)核來更好地利用CPU的計(jì)算能力。如今，大多數(shù)處理器是多核處理器，如果您優(yōu)化代碼，可以通過并行解決計(jì)算來節(jié)省時(shí)間。
第二個(gè)優(yōu)勢著眼于多線程的多處理替代方案。線程不是過程，這會帶來后果。如果您創(chuàng)建線程，那么殺死它或甚至像正常過程一樣中斷它是危險(xiǎn)的。由于本文的多處理和多線程之間的比較不在本文的范圍內(nèi)，因此我鼓勵您對其進(jìn)行一些進(jìn)一步的閱讀。

多處理的第三個(gè)優(yōu)點(diǎn)是，鑒于您要處理的任務(wù)非常適合并行編程。

>

>

父程進(jìn)程。只有一個(gè)父程流程可以有多個(gè)孩子。

>我們將使用子進(jìn)程執(zhí)行某個(gè)功能。通過這種方式，父母可以繼續(xù)執(zhí)行。
• >
一個(gè)簡單的python多處理示例
這是我們將用于此示例的代碼：

在此片段中，我們定義了一個(gè)稱為Bubble_Sort（數(shù)組）的函數(shù)。此功能是氣泡排序算法的真正幼稚實(shí)現(xiàn)。如果您不知道它是什么，請不要擔(dān)心，因?yàn)檫@并不重要。要知道的至關(guān)重要的是，這是一個(gè)有效的函數(shù)。

過程類

>從多處理中，我們導(dǎo)入類過程。該類代表將在單獨(dú)的過程中運(yùn)行的活動。確實(shí)，您可以看到我們已經(jīng)通過了一些論點(diǎn)：

<span>from multiprocessing import Process
</span>
<span>def bubble_sort(array):
</span>    check <span>= True
</span>    <span>while check == True:
</span>      check <span>= False
</span>      <span>for i in range(0, len(array)-1):
</span>        <span>if array[i] > array[i+1]:
</span>          check <span>= True
</span>          temp <span>= array[i]
</span>          array<span>[i] = array[i+1]
</span>          array<span>[i+1] = temp
</span>    <span>print("Array sorted: ", array)
</span>
<span>if __name__ == '__main__':
</span>    p <span>= Process(target=bubble_sort, args=([1,9,4,5,2,6,8,4],))
</span>    p<span>.start()
</span>    p<span>.join()
</span>

> target = bubble_sort，這意味著我們的新過程將運(yùn)行Bubble_sort函數(shù)

args =（[[1,9,4,52,6,8,4]，），這是作為參數(shù)傳遞給目標(biāo)函數(shù)

• >在退出之前，我們需要等待子過程完成其計(jì)算。 JOIN（）方法等待該過程終止。
>

在此示例中，我們僅創(chuàng)建了一個(gè)子進(jìn)程。您可能猜到，我們可以通過在過程類中創(chuàng)建更多實(shí)例來創(chuàng)建更多的子過程。

池類
如果我們需要創(chuàng)建多個(gè)流程來處理更多CPU密集型任務(wù)，該怎麼辦？我們是否總是需要明確等待終止？這裡的解決方案是使用池類類。
>池類允許您創(chuàng)建一個(gè)工作過程池，在下面的示例中，我們將研究如何使用它。這是我們的新示例：

<span>from multiprocessing import Process
</span>
<span>def bubble_sort(array):
</span>    check <span>= True
</span>    <span>while check == True:
</span>      check <span>= False
</span>      <span>for i in range(0, len(array)-1):
</span>        <span>if array[i] > array[i+1]:
</span>          check <span>= True
</span>          temp <span>= array[i]
</span>          array<span>[i] = array[i+1]
</span>          array<span>[i+1] = temp
</span>    <span>print("Array sorted: ", array)
</span>
<span>if __name__ == '__main__':
</span>    p <span>= Process(target=bubble_sort, args=([1,9,4,5,2,6,8,4],))
</span>    p<span>.start()
</span>    p<span>.join()
</span>

然後，我們創(chuàng)建一個(gè)池類的實(shí)例，而無需指定任何屬性。池類類別默認(rèn)每個(gè)CPU核心創(chuàng)建一個(gè)進(jìn)程。接下來，我們使用一些參數(shù)運(yùn)行地圖方法。

地圖方法將立方體函數(shù)應(yīng)用於我們提供的峰值的每個(gè)元素 - 在這種情況下，這是從10到N的每個(gè)數(shù)字的列表。

>

為了說服您，讓我們看一個(gè)簡單的例子：>

此片段基於上一個(gè)示例。我們正在解決相同的問題，該問題正在計(jì)算n個(gè)數(shù)字的平方根，但有兩種方式。第一個(gè)涉及Python多處理的使用，而第二個(gè)則沒有使用。我們正在使用時(shí)間庫中的perf_counter（）方法來衡量時(shí)間性能。

<span>from multiprocessing import Pool
</span><span>import time
</span><span>import math
</span>
N <span>= 5000000
</span>
<span>def cube(x):
</span>    <span>return math.sqrt(x)
</span>
<span>if __name__ == "__main__":
</span>    <span>with Pool() as pool:
</span>      result <span>= pool.map(cube, range(10,N))
</span>    <span>print("Program finished!")
</span>

>讓我們在代碼中更改某些內(nèi)容，例如N的值。讓我們將其降低到n = 10000，看看會發(fā)生什麼。

這就是我現(xiàn)在得到的：

<span>from multiprocessing import Pool
</span><span>import time
</span><span>import math
</span>
N <span>= 5000000
</span>
<span>def cube(x):
</span>    <span>return math.sqrt(x)
</span>
<span>if __name__ == "__main__":
</span>    <span># first way, using multiprocessing
</span>    start_time <span>= time.perf_counter()
</span>    <span>with Pool() as pool:
</span>      result <span>= pool.map(cube, range(10,N))
</span>    finish_time <span>= time.perf_counter()
</span>    <span>print("Program finished in {} seconds - using multiprocessing".format(finish_time-start_time))
</span>    <span>print("---")
</span>    <span># second way, serial computation
</span>    start_time <span>= time.perf_counter()
</span>    result <span>= []
</span>    <span>for x in range(10,N):
</span>      result<span>.append(cube(x))
</span>    finish_time <span>= time.perf_counter()
</span>    <span>print("Program finished in {} seconds".format(finish_time-start_time))
</span>

發(fā)生了什麼事？現(xiàn)在，多處理現(xiàn)在是一個(gè)不好的選擇。為什麼？

>

在本文中，我們通過使用Python多處理來討論了Python代碼的性能優(yōu)化。

首先，我們簡要介紹了哪些並行計(jì)算是使用它的主要模型。然後，我們開始談?wù)摱嗵幚砑捌鋬?yōu)勢。最後，我們看到平行化計(jì)算並不總是最佳選擇，並且應(yīng)將多處理模塊用於並行化CPU結(jié)合任務(wù)。與往常一樣，考慮到您要面臨的具體問題並評估不同解決方案的利弊是一個(gè)問題。

我希望您發(fā)現(xiàn)學(xué)習(xí)有關(guān)Python的多處理與我一樣有用。

的常見問題

>

>如何使用多處理模塊的共享內(nèi)存機(jī)制來實(shí)現(xiàn)Python中的過程之間的數(shù)據(jù)？這些包括值和數(shù)組類，這些類別允許分別創(chuàng)建共享變量和數(shù)組。但是，重要的是要注意，由於每個(gè)過程都有自己的內(nèi)存空間，因此對共享變量進(jìn)行的更改或一個(gè)過程中的數(shù)組的更改將不會反映在其他過程中，除非它們使用鎖或其他由多處理模塊提供的同步基原始人明確同步。在python中使用多處理的潛在陷阱是什麼？ Python可以大大提高您計(jì)劃的速度和效率，它也帶來了自己的挑戰(zhàn)。主要陷阱之一是代碼的複雜性增加。管理多個(gè)過程比管理單線程程序更複雜，尤其是在處理共享數(shù)據(jù)和同步過程時(shí)。此外，創(chuàng)建一個(gè)新過程比創(chuàng)建新線程更含有資源密集型，這可能會導(dǎo)致內(nèi)存使用增加。最後，並非所有任務(wù)都適合併行化，在某些情況下，創(chuàng)建和管理多個(gè)流程的開銷大於潛在的性能增長。

>

>我如何在Python中調(diào)試多處理程序？

>調(diào)試Python中的多處理程序可能會具有挑戰(zhàn)性，因?yàn)閭鹘y(tǒng)調(diào)試工具可能在多處理環(huán)境中無法正常工作。但是，您可以使用幾種技術(shù)來調(diào)試程序。一種方法是使用打印語句或記錄來跟蹤程序的執(zhí)行。另一種方法是使用PDB模塊的set_trace（）函數(shù)在代碼中設(shè)置斷點(diǎn)。您還可以使用支持多處理的專業(yè)調(diào)試工具，例如多處理模塊的log_to_stderr（）函數(shù)，它允許您將進(jìn)程的活動記錄到標(biāo)準(zhǔn)錯誤。作業(yè)系統(tǒng)?

是的，您可以在不同操作系統(tǒng)上使用Python中使用多處理。多處理模塊是標(biāo)準(zhǔn)Python庫的一部分，這意味著它可以在支持Python的所有平臺上可用。但是，由於它們處理過程的差異，多處理模塊的行為可能在不同的操作系統(tǒng)之間略有不同。因此，最好在目標(biāo)操作系統(tǒng)上測試您的程序以確保其按預(yù)期運(yùn)行。在Python中使用多處理包括：

- 使用池類管理您的工作人員流程，因?yàn)樗峁┝艘粋€(gè)更高級別的界面，該界面簡化了創(chuàng)建和管理流程的過程。

- 正確處理異常，以防止您的程序出乎意料的崩潰。

>