。 Python的多處理模塊提供了諸如高度密集型任務(wù)的CPU使用更好的好處，與線程相比，對兒童流程的更多控制以及適合并行編程的任務(wù)的實施方便。 Python多處理并不總是比串行計算更有效。對于低CPU密集型任務(wù)，由于流程之間的計算引入的開銷，串行計算的速度可以更快。 Python中的多處理模塊為每個任務(wù)創(chuàng)建一個新的過程，需要同時執(zhí)行。每個過程都有自己的Python解釋器和內(nèi)存空間，可以獨立于其他過程運行。
• 在Python中進行多處理可以大大提高程序的速度和效率，但它也會提高代碼的復雜性。并非所有任務(wù)都適合并行化，在某些情況下，創(chuàng)建和管理多個流程的開銷大于潛在的性能增長。
• 平行概論
• >在我們深入研究Python代碼之前，我們必須談?wù)摬⑿杏嬎悖@是計算機科學中的一個重要概念。
• >通常，當您運行Python腳本時，您的代碼在某個時候變成一個過程，并且該過程在CPU的單個核心上運行。但是現(xiàn)代計算機有多個核心，那么，如果您可以使用更多的核心進行計算怎么辦？事實證明，您的計算會更快。
>
• >現(xiàn)在將其作為一般原則，但是后來，在本文中，我們將看到這不是普遍的真實。
>

使事情變得更容易，讓我們來看一個示例。

>平行和串行計算

想象您有一個巨大的問題要解決，您一個人。您需要計算八個不同數(shù)字的平方根。你做什么工作？好吧，您沒有很多選擇。您從第一個數(shù)字開始，然后計算結(jié)果。然后，您繼續(xù)與其他人一起。

>如果您有三個擅長幫助您的數(shù)學擅長的朋友怎么辦？他們每個人都會計算兩個數(shù)字的平方根，并且您的工作將更容易，因為工作負載平均分布在您的朋友之間。這意味著您的問題將被更快地解決。

好吧，這一切都很清楚嗎？在這些示例中，每個朋友代表CPU的核心。在第一個示例中，整個任務(wù)由您順序解決。這稱為串行計算。在第二個示例中，由于您總共使用四個內(nèi)核，因此您正在使用并行計算。并行計算涉及處理器中多個內(nèi)核之間的并行過程或過程的使用。

模型

我們已經(jīng)建立了什么是平行編程，但是我們?nèi)绾问褂盟?？好吧，我們在該并行計算之前說過，涉及處理器多個內(nèi)核之間的多個任務(wù)，這意味著這些任務(wù)是同時執(zhí)行的。在接近并行化之前，您應該考慮一些問題。例如，還有其他優(yōu)化可以加快我們的計算嗎？

完全平行。這些任務(wù)可以獨立運行，并且不需要彼此交流。
• >
>共享記憶并行性。流程（或線程）需要進行交流，因此它們共享一個全球地址空間。>
• 消息傳遞。流程需要在需要時共享消息。
在本文中，我們將說明第一個模型，這也是最簡單的。

>

在下一部分中，我們將研究使用多處理的優(yōu)勢。

使用多處理

以下是多處理的一些好處：

在處理高CPU密集型任務(wù)時，CPU更好地使用了CPU 與線程相比，對兒童的控制更多
• 易于編碼
第一個優(yōu)勢與性能有關(guān)。由于多處理創(chuàng)建了新的過程，因此您可以通過將任務(wù)劃分為其他內(nèi)核來更好地利用CPU的計算能力。如今，大多數(shù)處理器是多核處理器，如果您優(yōu)化代碼，可以通過并行解決計算來節(jié)省時間。
第二個優(yōu)勢著眼于多線程的多處理替代方案。線程不是過程，這會帶來后果。如果您創(chuàng)建線程，那么殺死它或甚至像正常過程一樣中斷它是危險的。由于本文的多處理和多線程之間的比較不在本文的范圍內(nèi)，因此我鼓勵您對其進行一些進一步的閱讀。

多處理的第三個優(yōu)點是，鑒于您要處理的任務(wù)非常適合并行編程。

>

>

父程進程。只有一個父程流程可以有多個孩子。

>我們將使用子進程執(zhí)行某個功能。通過這種方式，父母可以繼續(xù)執(zhí)行。
• >
一個簡單的python多處理示例
這是我們將用于此示例的代碼：

在此片段中，我們定義了一個稱為Bubble_Sort（數(shù)組）的函數(shù)。此功能是氣泡排序算法的真正幼稚實現(xiàn)。如果您不知道它是什么，請不要擔心，因為這并不重要。要知道的至關(guān)重要的是，這是一個有效的函數(shù)。

過程類

>從多處理中，我們導入類過程。該類代表將在單獨的過程中運行的活動。確實，您可以看到我們已經(jīng)通過了一些論點：

<span>from multiprocessing import Process
</span>
<span>def bubble_sort(array):
</span>    check <span>= True
</span>    <span>while check == True:
</span>      check <span>= False
</span>      <span>for i in range(0, len(array)-1):
</span>        <span>if array[i] > array[i+1]:
</span>          check <span>= True
</span>          temp <span>= array[i]
</span>          array<span>[i] = array[i+1]
</span>          array<span>[i+1] = temp
</span>    <span>print("Array sorted: ", array)
</span>
<span>if __name__ == '__main__':
</span>    p <span>= Process(target=bubble_sort, args=([1,9,4,5,2,6,8,4],))
</span>    p<span>.start()
</span>    p<span>.join()
</span>

> target = bubble_sort，這意味著我們的新過程將運行Bubble_sort函數(shù)

args =（[[1,9,4,52,6,8,4]，），這是作為參數(shù)傳遞給目標函數(shù)

• >在退出之前，我們需要等待子過程完成其計算。 JOIN（）方法等待該過程終止。
>

在此示例中，我們僅創(chuàng)建了一個子進程。您可能猜到，我們可以通過在過程類中創(chuàng)建更多實例來創(chuàng)建更多的子過程。

池類
如果我們需要創(chuàng)建多個流程來處理更多CPU密集型任務(wù)，該怎么辦？我們是否總是需要明確等待終止？這里的解決方案是使用池類類。
>池類允許您創(chuàng)建一個工作過程池，在下面的示例中，我們將研究如何使用它。這是我們的新示例：

<span>from multiprocessing import Process
</span>
<span>def bubble_sort(array):
</span>    check <span>= True
</span>    <span>while check == True:
</span>      check <span>= False
</span>      <span>for i in range(0, len(array)-1):
</span>        <span>if array[i] > array[i+1]:
</span>          check <span>= True
</span>          temp <span>= array[i]
</span>          array<span>[i] = array[i+1]
</span>          array<span>[i+1] = temp
</span>    <span>print("Array sorted: ", array)
</span>
<span>if __name__ == '__main__':
</span>    p <span>= Process(target=bubble_sort, args=([1,9,4,5,2,6,8,4],))
</span>    p<span>.start()
</span>    p<span>.join()
</span>

然后，我們創(chuàng)建一個池類的實例，而無需指定任何屬性。池類類別默認每個CPU核心創(chuàng)建一個進程。接下來，我們使用一些參數(shù)運行地圖方法。

地圖方法將立方體函數(shù)應用于我們提供的峰值的每個元素 - 在這種情況下，這是從10到N的每個數(shù)字的列表。

>

為了說服您，讓我們看一個簡單的例子：>

此片段基于上一個示例。我們正在解決相同的問題，該問題正在計算n個數(shù)字的平方根，但有兩種方式。第一個涉及Python多處理的使用，而第二個則沒有使用。我們正在使用時間庫中的perf_counter（）方法來衡量時間性能。

<span>from multiprocessing import Pool
</span><span>import time
</span><span>import math
</span>
N <span>= 5000000
</span>
<span>def cube(x):
</span>    <span>return math.sqrt(x)
</span>
<span>if __name__ == "__main__":
</span>    <span>with Pool() as pool:
</span>      result <span>= pool.map(cube, range(10,N))
</span>    <span>print("Program finished!")
</span>

>讓我們在代碼中更改某些內(nèi)容，例如N的值。讓我們將其降低到n = 10000，看看會發(fā)生什么。

這就是我現(xiàn)在得到的：

<span>from multiprocessing import Pool
</span><span>import time
</span><span>import math
</span>
N <span>= 5000000
</span>
<span>def cube(x):
</span>    <span>return math.sqrt(x)
</span>
<span>if __name__ == "__main__":
</span>    <span># first way, using multiprocessing
</span>    start_time <span>= time.perf_counter()
</span>    <span>with Pool() as pool:
</span>      result <span>= pool.map(cube, range(10,N))
</span>    finish_time <span>= time.perf_counter()
</span>    <span>print("Program finished in {} seconds - using multiprocessing".format(finish_time-start_time))
</span>    <span>print("---")
</span>    <span># second way, serial computation
</span>    start_time <span>= time.perf_counter()
</span>    result <span>= []
</span>    <span>for x in range(10,N):
</span>      result<span>.append(cube(x))
</span>    finish_time <span>= time.perf_counter()
</span>    <span>print("Program finished in {} seconds".format(finish_time-start_time))
</span>

發(fā)生了什么事？現(xiàn)在，多處理現(xiàn)在是一個不好的選擇。為什么？

>

在本文中，我們通過使用Python多處理來討論了Python代碼的性能優(yōu)化。

首先，我們簡要介紹了哪些并行計算是使用它的主要模型。然后，我們開始談?wù)摱嗵幚砑捌鋬?yōu)勢。最后，我們看到平行化計算并不總是最佳選擇，并且應將多處理模塊用于并行化CPU結(jié)合任務(wù)。與往常一樣，考慮到您要面臨的具體問題并評估不同解決方案的利弊是一個問題。

我希望您發(fā)現(xiàn)學習有關(guān)Python的多處理與我一樣有用。

的常見問題

>

>如何使用多處理模塊的共享內(nèi)存機制來實現(xiàn)Python中的過程之間的數(shù)據(jù)？這些包括值和數(shù)組類，這些類別允許分別創(chuàng)建共享變量和數(shù)組。但是，重要的是要注意，由于每個過程都有自己的內(nèi)存空間，因此對共享變量進行的更改或一個過程中的數(shù)組的更改將不會反映在其他過程中，除非它們使用鎖或其他由多處理模塊提供的同步基原始人明確同步。在python中使用多處理的潛在陷阱是什么？ Python可以大大提高您計劃的速度和效率，它也帶來了自己的挑戰(zhàn)。主要陷阱之一是代碼的復雜性增加。管理多個過程比管理單線程程序更復雜，尤其是在處理共享數(shù)據(jù)和同步過程時。此外，創(chuàng)建一個新過程比創(chuàng)建新線程更含有資源密集型，這可能會導致內(nèi)存使用增加。最后，并非所有任務(wù)都適合并行化，在某些情況下，創(chuàng)建和管理多個流程的開銷大于潛在的性能增長。

>

>我如何在Python中調(diào)試多處理程序？

>調(diào)試Python中的多處理程序可能會具有挑戰(zhàn)性，因為傳統(tǒng)調(diào)試工具可能在多處理環(huán)境中無法正常工作。但是，您可以使用幾種技術(shù)來調(diào)試程序。一種方法是使用打印語句或記錄來跟蹤程序的執(zhí)行。另一種方法是使用PDB模塊的set_trace（）函數(shù)在代碼中設(shè)置斷點。您還可以使用支持多處理的專業(yè)調(diào)試工具，例如多處理模塊的log_to_stderr（）函數(shù)，它允許您將進程的活動記錄到標準錯誤。操作系統(tǒng)？

是的，您可以在不同操作系統(tǒng)上使用Python中使用多處理。多處理模塊是標準Python庫的一部分，這意味著它可以在支持Python的所有平臺上可用。但是，由于它們處理過程的差異，多處理模塊的行為可能在不同的操作系統(tǒng)之間略有不同。因此，最好在目標操作系統(tǒng)上測試您的程序以確保其按預期運行。在Python中使用多處理包括：

- 使用池類管理您的工作人員流程，因為它提供了一個更高級別的界面，該界面簡化了創(chuàng)建和管理流程的過程。

- 正確處理異常，以防止您的程序出乎意料的崩潰。

>