該研究評估了來自NVIDIA，HAILO和AXELERA AI的AI加速器，包括七個對象檢測模型，包括SSD Mobilenet和多個版本的Yolo，以模擬使用14個并發(fā)的1080p視頻流的監(jiān)視系統(tǒng)。目的是評估這些頂級加速器的實時吞吐量，能源效率，部署復(fù)雜性和檢測準(zhǔn)確性，這都符合產(chǎn)品的整體TCO價值主張。

測量機器視覺應(yīng)用中的AI加速器性能

所有測試的加速器都為僅CPU的推斷（更快的速度最高30倍）提供了巨大的收益，以表達對AI推理的重要專用硬件加速器的成就。在經(jīng)過測試的設(shè)備中，來自Axelera的PCIE和M.2加速器在每個模型中均顯示出更強的吞吐量，尤其是較重的Yolov5m和Yolov8l工作負載。值得注意的是，Axelera PCIE卡保持了性能水平，在其他幾個加速器逐漸減少的情況下，它始終在測試的所有模型實現(xiàn)中吸煙。

也就是說，NVIDIA的高端RTX A4000 GPU在某些測試中保持了競爭性能，尤其是在諸如Yolov5s之類的較小型號的情況下。 Hailo的M.2模塊提供了一個緊湊的低功率替代品，盡管它以原始吞吐量為單位。

總體而言，報告說明，推理性能可能會取決于AI模型和硬件配對，這是集成商和開發(fā)人員設(shè)計系統(tǒng)的重要收獲，用于特定圖像檢測工作負載。它還顯示了這種非常常見的AI推理應(yīng)用程序用例中的主導(dǎo)Axelera的METIS加速器與NVIDIA這樣的主要現(xiàn)有競爭者。

推斷功率效率至關(guān)重要，Axelera引線

功耗同樣重要的因素，尤其是在AI邊緣部署中，熱和機械約束以及操作成本可以限制設(shè)計靈活性。我們的研究使用人均能量指標(biāo)發(fā)現(xiàn)，所有加速器的效率都提高了CPU，其中幾種效率都在每框架下使用一個焦耳。

在這里，Axelera的解決方案在所有測試中都表現(xiàn)出色的競爭對手，在所有AI模型中，每幀的能量使用最低。 NVIDIA的GPU在Yolo推論模型中有些縮小了差距，而Hailo保持了可觀的效率，尤其是其緊湊的外形效果。

該報告強調(diào)，根據(jù)架構(gòu)，模型和工作負載優(yōu)化，AI性能增長并不總是以功率效率為代價。

開發(fā)人員的經(jīng)驗很重要，并且Axelera很熟練

除了績效和效率之外，我們的報告還研究了開發(fā)人員的設(shè)置流程，這是總部署成本的不足以滿足的要素。在這里，平臺復(fù)雜性差異更大。

Axelera的SDK提供了相對無縫的體驗，并為多流推斷和最小手動設(shè)置提供了開箱即用的支持。 NVIDIA的解決方案由于模型的兼容性限制與Deepstream的限制需要更多的動手配置，而Hailo的SDK是基于Docker的，但需要特定于模型的預(yù)處理和編譯。

要點：開發(fā)摩擦在平臺之間可能會有很大的不同，并且應(yīng)該考慮到部署時間表，尤其是對于有限的AI或嵌入式系統(tǒng)專業(yè)知識的團隊。在這里，Axelera的解決方案再次在其離式體驗體驗和設(shè)置中證明了我們測試的其他解決方案無法匹配的簡單性。

模型準(zhǔn)確性和現(xiàn)實世界可用性

我們的研究還使用現(xiàn)實世界的視頻錄像分析了對象檢測精度。盡管所有平臺都產(chǎn)生了可用的結(jié)果，但出現(xiàn)了檢測信心和對象識別的差異。 Axelera的加速器顯示出一種檢測更多對象并在測試場景中繪制更多邊界框的趨勢，這可能是其模型調(diào)整和后處理默認值似乎更精致的結(jié)果。

盡管如此，我們的報告仍指出，可以通過定制訓(xùn)練的模型和閾值調(diào)整來進一步優(yōu)化所有測試的平臺。因此，開箱即用的準(zhǔn)確性可能對概念驗證的開發(fā)最重要，而其他更復(fù)雜的部署可能依賴于特定于域的模型改進和調(diào)整。

市場含義：專業(yè)與概括

我們的AI研究和績效驗證報告強調(diào)了AI推理硬件中日益增長的細分。一方面，像NVIDIA的通用GPU一樣，具有很高的靈活性和深度軟件生態(tài)系統(tǒng)的支持，這在異質(zhì)環(huán)境中很有價值。另一方面，像Axelera的專用推理引擎為更集中的用例提供了令人信服的效率和性能優(yōu)勢。

隨著Edge AI的采用量的增長，尤其是在以視覺為中心的應(yīng)用中，對節(jié)能，實時推斷的需求正在加速。物流，零售分析，運輸，機器人技術(shù)和安全性等市場正在驅(qū)動需要，以形式，功率效率和易于融合的作用，而不是僅原始計算吞吐量就發(fā)揮了更大的作用。

盡管這一輪測試（您可以在此處找到我們的完整研究論文）在幾個方面（包括性能，效率和設(shè)置簡單性）偏愛Axelera，但這并不是一個尺寸適合的結(jié)果。平臺選擇將在很大程度上取決于用例，模型需求，部署約束和可用開發(fā)人員資源。

數(shù)據(jù)確實清楚的是，Edge AI推斷不再是獨家市場GPU加速。特定于域的加速器正在證明他們可以競爭，在某些情況下，在對現(xiàn)實世界部署最重要的指標(biāo)中。

以上是Axelera AI加速器在機器視覺研究中吸煙競爭者的詳細內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！