この研究では、SSD MobileNetおよびYoloの複數(shù)のバージョンを含む7つのオブジェクト検出モデルにわたって、Nvidia、Hailo、およびAxelera AIのAI加速器を評(píng)価し、14の同時(shí)1080pビデオストリームを持つ監(jiān)視システムをシミュレートしました。目標(biāo)は、リアルタイムのスループット、エネルギー効率、展開の複雑さ、およびこれらのトップアクセラレーターの検出精度を評(píng)価することでした。

マシンビジョンアプリケーションでのAIアクセラレータのパフォーマンスの測(cè)定

テストされたすべてのアクセラレータは、CPUのみの推論（最大30倍の速さ）よりも大きな利益をもたらしました。テストされたデバイスの中で、AxeleraのPCIEとM.2アクセラレータは、特により重いYolov5MおよびYolov8Lワークロードを使用して、すべてのモデルで一貫して強(qiáng)いスループットを示しました。特に、Axelera PCIEカードは、他のいくつかの加速器がテーパーオフになったパフォーマンスレベルを維持し、テストされたすべてのモデル実裝で競合を一貫して喫煙しました。

とはいえ、NvidiaのハイエンドRTX A4000 GPUは、特にYolov5sなどの小規(guī)模なモデルを使用して、特定のテストで競爭力のあるパフォーマンスを維持しました。 HailoのM.2モジュールは、生のスループットで続いたものの、コンパクトで低電力の代替品を提供しました。

全體として、このレポートは、推論のパフォーマンスがAIモデルとハードウェアのペアリングによって大きく異なる可能性があることを示しています。これは、特定の畫像検出ワークロードのためにシステムを設(shè)計(jì)するインテグレーターと開発者にとって重要な要點(diǎn)です。また、Nvidiaのような主要な現(xiàn)職の競合他社と比較して、この非常に一般的なAI推論アプリケーションのユースケースにどのように支配的なAxeleraのメティスアクセラレーターがいるかを示しています。

推測(cè)力効率が最重要であり、アクセルラがリードしています

消費(fèi)電力は、特にAIエッジの展開においても同様に重要な要素であり、熱および機(jī)械的制約と運(yùn)用コストが設(shè)計(jì)の柔軟性を制限する可能性があります。フレームあたりのエネルギーメトリックを使用して、私たちの調(diào)査では、すべての加速器がCPUよりも効率が改善され、推論のフレームごとに1つのジュール未満を使用して、いくつかが使用されていることがわかりました。

ここでは、Axeleraのソリューションがすべてのテストで競合他社を廃止し、テストされたすべてのAIモデルでフレームごとの最低エネルギー使用を提供します。 NvidiaのGPUは、Yolo推論モデルのギャップをいくらか閉じましたが、Hailoは特にそのコンパクトなフォームファクターのために立派な効率を維持しました。

このレポートは、AIのパフォーマンスの向上が、アーキテクチャ、モデル、および採用されているワークロードの最適化に応じて、常に電力効率を犠牲にして來る必要はないことを強(qiáng)調(diào)しています。

開発者のエクスペリエンスが重要であり、Axeleraはよくツールされています

パフォーマンスと効率を超えて、私たちのレポートは、開発者のセットアッププロセスについても検討しました。これは、総展開コストの過小評(píng)価されている要素です。ここでは、プラットフォームの複雑さはより鋭く分岐しました。

AxeleraのSDKは、マルチストリームの推論と最小限の手動(dòng)セットアップをすぐにサポートするために、比較的シームレスなエクスペリエンスを提供しました。 Nvidiaのソリューションでは、Deepstreamでのモデル互換性の制限により、より多くの実踐的な構(gòu)成が必要でしたが、HailoのSDKはDockerベースでしたが、モデル固有の前処理とコンパイルが必要でした。

テイクアウト：開発摩擦はプラットフォーム間で大きく異なる可能性があり、特にAIまたは組み込みシステムの専門知識(shí)が限られているチームでは、展開のタイムラインに考慮されるはずです。ここで、Axeleraのソリューションは、テストした他のソリューションが一致できなかったというボックス外のエクスペリエンスとセットアップのシンプルさを再び実証しました。

モデルの精度と現(xiàn)実世界の使いやすさ

また、私たちの調(diào)査では、実際のビデオ映像を使用してオブジェクト検出精度を分析しました。すべてのプラットフォームは使用可能な結(jié)果を??生み出しましたが、検出信頼性とオブジェクト認(rèn)識(shí)の違いが現(xiàn)れました。 Axeleraのアクセラレーターは、より多くのオブジェクトを検出し、テストシーン全體でより多くの境界ボックスを描く傾向を示しました。これは、モデルの調(diào)整と後処理のデフォルトの結(jié)果、より洗練されたと思われるものです。

それでも、私たちのレポートは、テストされたすべてのプラットフォームを、カスタムトレーニングを受けたモデルとしきい値調(diào)整でさらに最適化できると指摘しています。そのため、すぐに使用できる精度は、概念実証開発に最も重要な場合がありますが、他のより複雑な展開はドメイン固有のモデルの改良とチューニングに依存する可能性があります。

市場への影響：専門化と一般化

AIの研究およびパフォーマンス検証レポートは、AI推論ハードウェアのセグメンテーションの増加を強(qiáng)調(diào)しています。一方、NVIDIAのような汎用GPUは、異種環(huán)境で価値がある柔軟性と深いソフトウェアエコシステムのサポートを提供します。他方では、Axeleraのような専用の推論エンジンは、より集中的なユースケースに魅力的な効率とパフォーマンスの利點(diǎn)を提供します。

特に視覚中心のアプリケーションでは、エッジAIの採用が増加するにつれて、エネルギー効率の良いリアルタイム推論の需要が加速しています。ロジスティクス、小売分析、輸送、ロボット工學(xué)、セキュリティなどの市場は、フォームファクター、電力効率、および統(tǒng)合の容易さが、生の計(jì)算スループットだけよりも大きな役割を果たす必要性を促進(jìn)しています。

このラウンドのテスト（ここで私たちの完全な研究論文を見つけることができます）は、パフォーマンス、効率、セットアップのシンプルさを含むいくつかの面でAxeleraを支持しましたが、これはすべてのサイズの結(jié)果ではありません。プラットフォームの選択は、ユースケース、モデル要件、展開制約、および利用可能な開発者リソースに大きく依存します。

データが明確にしているのは、Edge AI推論が排他的な市場GPU加速ではなくなったことです。ドメイン固有の加速器は、実際の展開に最も重要なメトリックで、競爭できることを証明しています。

以上がAxelera AI Acceleratorsは、マシンビジョン調(diào)査研究で競合他社を吸う競爭相手の詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國語 Web サイトの他の関連記事を參照してください。