Ampere 系統(tǒng)性能分析：十個(gè)關(guān)鍵問題及解答

(本文最初由 Ampere Computing 發(fā)布)

您的應(yīng)用程序運(yùn)行在新的雲(yún)實(shí)例或服務(wù)器（或 SUT，被測(cè)系統(tǒng)）上，您發(fā)現(xiàn)存在性能問題，或者您希望確保在可用的系統(tǒng)資源前提下獲得最佳性能。本文討論了一些您應(yīng)該提出的基本問題以及解答這些問題的方法。

前提條件：了解您的虛擬機(jī)或服務(wù)器

在開始故障排除或進(jìn)行性能分析練習(xí)之前，您需要了解可用的系統(tǒng)資源。系統(tǒng)級(jí)性能通常歸結(jié)為四個(gè)組件及其相互作用方式——CPU、內(nèi)存、網(wǎng)絡(luò)、磁盤。另請(qǐng)參閱 Brendan Gregg 的優(yōu)秀文章《Linux 性能分析：60000 毫秒速成指南》，這篇文章是快速評(píng)估性能問題的絕佳起點(diǎn)。

本文解釋瞭如何更深入地了解性能問題。

確定 CPU 類型

運(yùn)行 $lscpu 命令，它將顯示 CPU 類型、CPU 頻率、核心數(shù)量和其他 CPU 相關(guān)信息：

<code>ampere@colo1:~$ lscpu 

Architecture:                    aarch64 

CPU op-mode(s):                  32-bit, 64-bit 

Byte Order:                      Little Endian 

CPU(s):                          160 

On-line CPU(s) list:             0-159 

Thread(s) per core:              1 

Core(s) per socket:              80 

Socket(s):                       2 

NUMA node(s):                    2 

Vendor ID:                       ARM 

Model:                           1 

Model name:                      Neoverse-N1 

Stepping:                        r3p1 

CPU max MHz:                     3000.0000 

CPU min MHz:                     1000.0000 

BogoMIPS:                        50.00 

L1d cache:                       10 MiB 

L1i cache:                       10 MiB 

L2 cache:                        160 MiB 

NUMA node0 CPU(s):               0-79 

NUMA node1 CPU(s):               80-159 

Vulnerability Itlb multibit:     Not affected 

Vulnerability L1tf:              Not affected 

Vulnerability Mds:               Not affected 

Vulnerability Meltdown:          Not affected 

Vulnerability Mmio stale data:   Not affected 

Vulnerability Spec store bypass: Mitigation; Speculative Store Bypass disabled via prctl 

Vulnerability Spectre v1:        Mitigation; __user pointer sanitization 

Vulnerability Spectre v2:        Mitigation; CSV2, BHB 

Vulnerability Srbds:             Not affected 

Vulnerability Tsx async abort:   Not affected 

Flags:                           fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid 

                                  asimdrdm lrcpc dcpop asimddp ssbs </code>

確定內(nèi)存配置

運(yùn)行 $free 命令，它將提供有關(guān)物理內(nèi)存和交換內(nèi)存總量的信息（包括內(nèi)存利用率的細(xì)分）。運(yùn)行 Multichase 基準(zhǔn)測(cè)試以確定實(shí)例/SUT 的延遲、內(nèi)存帶寬和負(fù)載延遲：

<code>ampere@colo1:~$ free 

              total        used        free      shared  buff/cache   available 

Mem:      130256992     3422844   120742736        4208     6091412   125852984 

Swap:       8388604           0     8388604 
</code>

評(píng)估網(wǎng)絡(luò)能力

運(yùn)行 $ethtool 命令，它將提供有關(guān) NIC 卡硬件設(shè)置的信息。它還用於控製網(wǎng)絡(luò)設(shè)備驅(qū)動(dòng)程序和硬件設(shè)置。如果您正在客戶端-服務(wù)器模型中運(yùn)行工作負(fù)載，則最好了解客戶端和服務(wù)器之間的帶寬和延遲。為了確定帶寬，簡單的 iperf3 測(cè)試就足夠了，而對(duì)於延遲，簡單的 ping 測(cè)試就能提供該值。在客戶端-服務(wù)器設(shè)置中，還建議將網(wǎng)絡(luò)跳數(shù)保持在最低限度。 traceroute 是一個(gè)網(wǎng)絡(luò)診斷命令，用於顯示路由並測(cè)量數(shù)據(jù)包跨網(wǎng)絡(luò)的傳輸延遲：

<code>ampere@colo1:~$ ethtool -i enp1s0np0  

driver: mlx5_core 

version: 5.7-1.0.2 

firmware-version: 16.32.1010 (RCP0000000001) 

expansion-rom-version:  

bus-info: 0000:01:00.0 

supports-statistics: yes 

supports-test: yes 

supports-eeprom-access: no 

supports-register-dump: no 

supports-priv-flags: yes> 
</code>

了解存儲(chǔ)基礎(chǔ)架構(gòu)

在開始運(yùn)行工作負(fù)載之前，了解磁盤功能至關(guān)重要。了解磁盤和文件系統(tǒng)的吞吐量和延遲將有助於您有效地規(guī)劃和設(shè)計(jì)工作負(fù)載。靈活 I/O（或“fio”）是確定這些值的理想工具。

現(xiàn)在進(jìn)入十大問題

1. 我的 CPU 使用情況良好嗎？

總擁有成本的主要組成部分之一是 CPU。因此，值得了解 CPU 的使用效率?？臻f的 CPU 通常意味著存在外部依賴項(xiàng)，例如等待磁盤或網(wǎng)絡(luò)訪問。始終建議監(jiān)控 CPU 利用率並檢查核心使用情況是否均勻。

下圖顯示了 $top -1 命令的一個(gè)示例輸出。

2. 我的 CPU 是否以可能的最高頻率運(yùn)行？

現(xiàn)代 CPU 使用 p 狀態(tài)來調(diào)整其運(yùn)行的頻率和電壓，以便在不需要更高頻率時(shí)降低 CPU 的功耗。這稱為動(dòng)態(tài)電壓和頻率縮放 (DVFS)，由操作系統(tǒng)管理。在 Linux 中，p 狀態(tài)由 CPUFreq 子系統(tǒng)管理，該子系統(tǒng)使用不同的算法（稱為調(diào)控器）來確定 CPU 的運(yùn)行頻率。通常，對(duì)於對(duì)性能敏感的應(yīng)用程序，最好確保使用性能調(diào)控器，以下命令使用 cpupower 實(shí)用程序來實(shí)現(xiàn)這一點(diǎn)。請(qǐng)記住，CPU 應(yīng)運(yùn)行的頻率利用率取決於工作負(fù)載：

<code>ampere@colo1:~$ lscpu 

Architecture:                    aarch64 

CPU op-mode(s):                  32-bit, 64-bit 

Byte Order:                      Little Endian 

CPU(s):                          160 

On-line CPU(s) list:             0-159 

Thread(s) per core:              1 

Core(s) per socket:              80 

Socket(s):                       2 

NUMA node(s):                    2 

Vendor ID:                       ARM 

Model:                           1 

Model name:                      Neoverse-N1 

Stepping:                        r3p1 

CPU max MHz:                     3000.0000 

CPU min MHz:                     1000.0000 

BogoMIPS:                        50.00 

L1d cache:                       10 MiB 

L1i cache:                       10 MiB 

L2 cache:                        160 MiB 

NUMA node0 CPU(s):               0-79 

NUMA node1 CPU(s):               80-159 

Vulnerability Itlb multibit:     Not affected 

Vulnerability L1tf:              Not affected 

Vulnerability Mds:               Not affected 

Vulnerability Meltdown:          Not affected 

Vulnerability Mmio stale data:   Not affected 

Vulnerability Spec store bypass: Mitigation; Speculative Store Bypass disabled via prctl 

Vulnerability Spectre v1:        Mitigation; __user pointer sanitization 

Vulnerability Spectre v2:        Mitigation; CSV2, BHB 

Vulnerability Srbds:             Not affected 

Vulnerability Tsx async abort:   Not affected 

Flags:                           fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid 

                                  asimdrdm lrcpc dcpop asimddp ssbs </code>

要檢查運(yùn)行應(yīng)用程序時(shí) CPU 的頻率，請(qǐng)運(yùn)行以下命令：

<code>ampere@colo1:~$ free 

              total        used        free      shared  buff/cache   available 

Mem:      130256992     3422844   120742736        4208     6091412   125852984 

Swap:       8388604           0     8388604 
</code>

3. 我在應(yīng)用程序中花費(fèi)的時(shí)間與內(nèi)核時(shí)間相比如何？

有時(shí)需要找出 CPU 時(shí)間的百分比是在用戶空間消耗的還是在特權(quán)時(shí)間（即內(nèi)核空間）消耗的。對(duì)於某些類別的工作負(fù)載（例如網(wǎng)絡(luò)綁定工作負(fù)載），較高的內(nèi)核時(shí)間可能是合理的，但也可能表明存在問題。

Linux 應(yīng)用程序 top 可用於找出用戶與內(nèi)核時(shí)間的消耗情況，如下所示。

• mpstat——檢查每個(gè) CPU 的統(tǒng)計(jì)信息，並檢查各個(gè)熱點(diǎn)/繁忙的 CPU。這是一個(gè)多處理器統(tǒng)計(jì)工具，可以報(bào)告每個(gè) CPU 的統(tǒng)計(jì)信息（-P 選項(xiàng)）
• CPU：邏輯 CPU ID，或所有 CPU 的匯總信息
• %usr：用戶時(shí)間，不包括 %nice
• %nice：具有優(yōu)先級(jí)較低的進(jìn)程的用戶時(shí)間
• %sys：系統(tǒng)時(shí)間
• %iowait：IO 等待
• %irq：硬件中斷 CPU 使用率
• %soft：軟件中斷 CPU 使用率
• %steal：用於服務(wù)其他租戶的時(shí)間
• %guest：在客戶虛擬機(jī)中花費(fèi)的 CPU 時(shí)間
• %gnice：運(yùn)行優(yōu)先級(jí)較低的客戶機(jī)的 CPU 時(shí)間
• %idle：空閒時(shí)間

要識(shí)別每個(gè) CPU 的 CPU 使用情況並顯示用戶時(shí)間/內(nèi)核時(shí)間的比率，%usr、%sys 和 %idle 是關(guān)鍵值。這些關(guān)鍵值還可以幫助識(shí)別可能由單線程應(yīng)用程序或中斷映射引起的“熱點(diǎn)”CPU。

4. 我的應(yīng)用程序有足夠的內(nèi)存嗎？

當(dāng)您管理服務(wù)器時(shí)，您可能必須安裝新的應(yīng)用程序，或者您可能注意到應(yīng)用程序已開始變慢。為了管理系統(tǒng)資源並了解系統(tǒng)已安裝的系統(tǒng)內(nèi)存和系統(tǒng)內(nèi)存利用率，$free 命令是一個(gè)有價(jià)值的工具。 $vmstat 也是監(jiān)控內(nèi)存利用率的有價(jià)值的工具，如果您正在主動(dòng)將內(nèi)存與虛擬內(nèi)存交換，則尤其如此。

• free。 Linux free 命令顯示內(nèi)存和交換統(tǒng)計(jì)信息。

  

  輸出顯示系統(tǒng)的總內(nèi)存、已用內(nèi)存和可用內(nèi)存。一個(gè)重要的列是可用值，它顯示應(yīng)用程序可用的內(nèi)存，需要交換。它還考慮了無法立即回收的內(nèi)存。

• vmstat。此命令提供系統(tǒng)內(nèi)存、運(yùn)行狀況的高級(jí)視圖，包括當(dāng)前可用內(nèi)存和分頁統(tǒng)計(jì)信息。

  $vmstat 命令顯示正在交換的活動(dòng)內(nèi)存（分頁）。

  

這些命令打印當(dāng)前狀態(tài)的摘要。列默認(rèn)為千字節(jié)，分別是：

• Swpd：交換出的內(nèi)存量
• Free：可用內(nèi)存
• Buff：緩衝區(qū)緩存中的內(nèi)存
• Cache：頁面緩存中的內(nèi)存
• Si：交換進(jìn)來的內(nèi)存（分頁）
• So：交換出去的內(nèi)存（分頁）

如果 si 和 so 非零，則係統(tǒng)處於內(nèi)存壓力下，並且正在將內(nèi)存交換到交換設(shè)備。

5. 我是否獲得了足夠的內(nèi)存帶寬？

要了解足夠的內(nèi)存帶寬，首先獲取系統(tǒng)的“最大內(nèi)存帶寬”值。 “最大內(nèi)存帶寬”值可以通過以下方式找到：

• 基本 DRAM 時(shí)鐘頻率
• 每個(gè)時(shí)鐘的數(shù)據(jù)傳輸次數(shù)：如果使用“雙倍數(shù)據(jù)速率”（DDR*）內(nèi)存，則為兩次
• 內(nèi)存總線（接口）寬度：例如，DDR 3 的寬度為 64 位（也稱為行）
• 接口數(shù)量：現(xiàn)代個(gè)人電腦通常使用兩個(gè)內(nèi)存接口（雙通道模式）來實(shí)現(xiàn)有效的 128 位總線寬度
• 最大內(nèi)存帶寬 = 基本 DRAM 時(shí)鐘頻率 * 每個(gè)時(shí)鐘的數(shù)據(jù)傳輸次數(shù) * 內(nèi)存基準(zhǔn)寬度 * 接口數(shù)量

此值表示系統(tǒng)的理論最大帶寬，也稱為“突發(fā)速率”。您現(xiàn)在可以對(duì)系統(tǒng)運(yùn)行 Multichase 或帶寬基準(zhǔn)測(cè)試並驗(yàn)證這些值。

注意：已經(jīng)發(fā)現(xiàn)突發(fā)速率可能無法維持，並且實(shí)現(xiàn)的值可能略小於計(jì)算值。

6. 我的工作負(fù)載是否以平衡的方式使用所有 CPU？

在服務(wù)器上運(yùn)行工作負(fù)載時(shí)，作為性能調(diào)整或故障排除的一部分，您可能想知道特定進(jìn)程當(dāng)前在哪個(gè) CPU 核心上調(diào)度，以及在該 CPU 核心上運(yùn)行的進(jìn)程的資源利用情況。第一步是找到在 CPU 核心上運(yùn)行的進(jìn)程。這可以使用 htop 來完成。 CPU 值不會(huì)反映在 htop 的默認(rèn)顯示中。要獲取 CPU 核心值，請(qǐng)從命令行啟動(dòng) $htop，按 F2 鍵，轉(zhuǎn)到“列”，然後在“可用列”下添加“處理器”。每個(gè)進(jìn)程當(dāng)前使用的“CPU ID”將出現(xiàn)在“CPU”列下。

• 如何配置 $htop 以顯示 CPU/核心：

  

• 顯示核心 4-6 達(dá)到最大值的 $htop 命令（htop 核心計(jì)數(shù)從“1”而不是“0”開始）：

  

• 用於檢查統(tǒng)計(jì)信息的選定核心的 $mpstat 命令：

  

一旦您確定了 CPU 核心，就可以運(yùn)行 $mpstat 命令來檢查每個(gè) CPU 的統(tǒng)計(jì)信息並檢查各個(gè)熱點(diǎn)/繁忙的 CPU。這是一個(gè)多處理器統(tǒng)計(jì)工具，可以報(bào)告每個(gè) CPU（或核心）的統(tǒng)計(jì)信息。有關(guān) $mpstat 的更多信息，請(qǐng)參見上面的“我在應(yīng)用程序中花費(fèi)的時(shí)間與內(nèi)核時(shí)間相比如何？”部分。

7. 我的網(wǎng)絡(luò)是我的應(yīng)用程序的瓶頸嗎？

即使在您飽和服務(wù)器上的其他資源之前，也可能發(fā)生網(wǎng)絡(luò)瓶頸。當(dāng)在客戶端-服務(wù)器模型中運(yùn)行工作負(fù)載時(shí)，就會(huì)發(fā)現(xiàn)此問題。您需要做的第一件事是確定您的網(wǎng)絡(luò)外觀?？蛻舳撕头?wù)器之間的延遲和帶寬尤其重要。像 iperf3、ping 和 traceroute 這樣的工具是簡單的工具，可以幫助您確定網(wǎng)絡(luò)的限制。一旦確定了網(wǎng)絡(luò)的限制，像 $dstat 和 $nicstat 這樣的工具就可以幫助您監(jiān)控網(wǎng)絡(luò)利用率並確定由於網(wǎng)絡(luò)而導(dǎo)致的任何系統(tǒng)瓶頸。

• dstat。此命令用於監(jiān)控系統(tǒng)資源，包括 CPU 統(tǒng)計(jì)信息、磁盤統(tǒng)計(jì)信息、網(wǎng)絡(luò)統(tǒng)計(jì)信息、分頁統(tǒng)計(jì)信息和系統(tǒng)統(tǒng)計(jì)信息。要監(jiān)控網(wǎng)絡(luò)利用率，請(qǐng)使用 -n 選項(xiàng)。

  

  該命令將提供系統(tǒng)接收和發(fā)送的數(shù)據(jù)包的吞吐量。

• nicstat。此命令打印網(wǎng)絡(luò)接口統(tǒng)計(jì)信息，包括吞吐量和利用率。

  

列包括：

• Int：接口名稱
• %util：最大利用率
• Sat：反映接口飽和統(tǒng)計(jì)信息的數(shù)值
• 值前綴“r”= 讀取/接收
• 值前綴“w”= 寫入/傳輸
• 1- KB/s：每秒千字節(jié)
• 2- Pk/s：每秒數(shù)據(jù)包
• 3- Avs/s：平均數(shù)據(jù)包大?。ㄗ止?jié)）

8. 我的磁盤是瓶頸嗎？

與網(wǎng)絡(luò)一樣，磁盤也可能是應(yīng)用程序性能低下的原因。在衡量磁盤性能時(shí)，我們會(huì)查看以下指標(biāo)：

• 利用率
• 飽和度
• IOPS（每秒輸入/輸出）
• 吞吐量
• 響應(yīng)時(shí)間

一個(gè)好的規(guī)則是，當(dāng)您為應(yīng)用程序選擇服務(wù)器/實(shí)例時(shí)，必須首先對(duì)磁盤的I/O 性能進(jìn)行基準(zhǔn)測(cè)試，以便您可以獲得磁盤性能的峰值或“上限”，並且能夠確定磁盤性能是否滿足應(yīng)用程序的需求。靈活 I/O 是確定這些值的理想工具。

應(yīng)用程序運(yùn)行後，您可以使用 $iostat 和 $dstat 實(shí)時(shí)監(jiān)控磁盤資源利用率。

iostat 命令顯示每個(gè)磁盤的 I/O 統(tǒng)計(jì)信息，提供用於工作負(fù)載表徵、利用率和飽和度的指標(biāo)。

第一行輸出顯示系統(tǒng)的摘要，包括內(nèi)核版本、主機(jī)名、數(shù)據(jù)架構(gòu)和 CPU 計(jì)數(shù)。第二行顯示自啟動(dòng)以來系統(tǒng)的 CPU 摘要。

對(duì)於後續(xù)行中顯示的每個(gè)磁盤設(shè)備，它在列中顯示基本詳細(xì)信息：

• Tps：每秒事務(wù)數(shù)
• kB_read/s：每秒讀取的千字節(jié)數(shù)
• kB_wrtn/s：每秒寫入的千字節(jié)數(shù)
• kB_read：讀取的千字節(jié)總數(shù)
• KB_write：寫入的千字節(jié)總數(shù)

dstat 命令用於監(jiān)控系統(tǒng)資源，包括 CPU 統(tǒng)計(jì)信息、磁盤統(tǒng)計(jì)信息、網(wǎng)絡(luò)統(tǒng)計(jì)信息、分頁統(tǒng)計(jì)信息和系統(tǒng)統(tǒng)計(jì)信息。要監(jiān)控磁盤利用率，請(qǐng)使用 -d 選項(xiàng)。該選項(xiàng)將顯示磁盤上讀取 (read) 和寫入 (writ) 操作的總數(shù)。

下圖演示了寫入密集型工作負(fù)載。

9. 我是否在為 NUMA 性能損失付費(fèi)？

非一致性內(nèi)存訪問 (NUMA) 是一種用於多處理的計(jì)算機(jī)內(nèi)存設(shè)計(jì)，其中內(nèi)存訪問時(shí)間取決於相對(duì)於處理器的內(nèi)存位置。在 NUMA 下，處理器可以比非本地內(nèi)存（另一個(gè)處理器的本地內(nèi)存或處理器之間共享的內(nèi)存）更快地訪問其自己的本地內(nèi)存。 NUMA 的好處僅限於工作負(fù)載，尤其是在服務(wù)器上，數(shù)據(jù)通常與某些任務(wù)或用戶緊密相關(guān)。

在 NUMA 系統(tǒng)上，處理器與其內(nèi)存庫之間的距離越大，處理器訪問該內(nèi)存庫的速度就越慢。對(duì)於對(duì)性能敏感的應(yīng)用程序，系統(tǒng)操作系統(tǒng)應(yīng)從最接近的內(nèi)存庫分配內(nèi)存。要實(shí)時(shí)監(jiān)控系統(tǒng)或進(jìn)程的內(nèi)存分配，$numastat 是一個(gè)很好的工具。

numastat 命令提供非一致性內(nèi)存訪問 (NUMA) 系統(tǒng)的統(tǒng)計(jì)信息。這些系統(tǒng)通常是具有多個(gè) CPU 插槽的系統(tǒng)。

Linux 操作系統(tǒng)嘗試在最近的 NUMA 節(jié)點(diǎn)上分配內(nèi)存，$numastat 顯示內(nèi)存分配的當(dāng)前統(tǒng)計(jì)信息。

• Numa_hit：在預(yù)期的 NUMA 節(jié)點(diǎn)上分配內(nèi)存
• Numa_miss：顯示應(yīng)該在其他地方的本地分配
• Numa_foreign：顯示應(yīng)該在本地分配的遠(yuǎn)程分配
• Other_node：在該節(jié)點(diǎn)上分配內(nèi)存，而進(jìn)程在其他地方運(yùn)行

Numa_miss 和 Numa_foreign 都顯示不在首選 NUMA 節(jié)點(diǎn)上的內(nèi)存分配。理想情況下，numa_miss 和 numa_foreign 的值應(yīng)保持在最小值，因?yàn)檩^高的值會(huì)導(dǎo)致較差的內(nèi)存 I/O 性能。

$numastat -p <process></process> 命令也可用於查看進(jìn)程的 NUMA 分佈。

10. 運(yùn)行應(yīng)用程序時(shí)，我的 CPU 正在做什麼？

在系統(tǒng)/實(shí)例上運(yùn)行應(yīng)用程序時(shí)，您將有興趣了解應(yīng)用程序正在做什麼以及應(yīng)用程序在 CPU 上使用的資源。 $pidstat 是一個(gè)命令行工具，可以監(jiān)控系統(tǒng)上運(yùn)行的每個(gè)單獨(dú)進(jìn)程。

pidstat 將把主要的 CPU 使用者分解為用戶時(shí)間和系統(tǒng)時(shí)間。

此 Linux 工具按進(jìn)程或線程細(xì)分 CPU 使用情況，包括用戶時(shí)間和系統(tǒng)時(shí)間。此命令還可以報(bào)告進(jìn)程的 IO 統(tǒng)計(jì)信息（-d 選項(xiàng)）。

• UID：正在監(jiān)控的任務(wù)的真實(shí)用戶標(biāo)識(shí)號(hào)
• PID：正在監(jiān)控的任務(wù)的標(biāo)識(shí)號(hào)
• %usr：任務(wù)在用戶級(jí)別（應(yīng)用程序）執(zhí)行時(shí)使用的 CPU 百分比，不帶優(yōu)先級(jí)。
• %system：任務(wù)在系統(tǒng)級(jí)別（內(nèi)核）執(zhí)行時(shí)使用的 CPU 百分比
• %wait：任務(wù)等待運(yùn)行時(shí)使用的 CPU 百分比
• %CPU：任務(wù)使用的 CPU 時(shí)間的總百分比。
• CPU：任務(wù)附加到的處理器/核心編號(hào)

$pidstat -p 也可以運(yùn)行以收集有關(guān)特定進(jìn)程的數(shù)據(jù)。

請(qǐng)與我們的專家銷售團(tuán)隊(duì)聯(lián)繫，了解合作夥伴關(guān)係或通過我們的開發(fā)者訪問計(jì)劃了解如何訪問 Ampere 系統(tǒng)。

以上是在基於Ampere Altra的實(shí)例上運(yùn)行時(shí)的10個(gè)關(guān)鍵問題的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！