Deepseek ver?ffentlicht Deepgemm: eine Hochleistungs-FP8-Gemm-Bibliothek für Ai

als Teil von #OpenSourceWeek enthüllte Deepseek DeepGemm, eine modernste Bibliothek, die für effiziente FP8-allgemeine Matrix-Multiplikationen (GEMMs) optimiert wurde. Diese Bibliothek unterstützt sowohl Dicht- als auch Mischungsprogramme (MEE-Experten). DeepGemm zielt darauf ab, die Leistung und Effizienz bei KI-Arbeitsbelastungen erheblich zu steigern und Deepseeks Engagement für Open-Source-Innovation zu verst?rken.

? Tag 3 von #OpenSourceWeek: DeepGemm

Einführung von DeepGemm - eine FP8 -Gemmm -Bibliothek, die dichte und Moe -Gemms unterstützt, ein V3/R1 -Training und die Inferenz.

? bis zu 1350 fp8 tflops auf Hopper gpus
? Minimale Abh?ngigkeiten, ausgelegt für die Benutzerfreundlichkeit
? Ganz in der Zeit zusammengestellt…

- Deepseek (@deepseek_ai) 26. Februar 2025

Diese Ver?ffentlichung folgt den erfolgreichen Starts von Deepseek FlashML (Tag 1) und Deepseek Deepp (Tag 2).

Inhaltsverzeichnis

• Was ist Gemm?
• Was ist fp8?
• Die Notwendigkeit von Deepgemm
• Schlüsselmerkmale von DeepGemm
• Performance Benchmarks
• Installationsanweisungen
• Schlussfolgerung

Was ist Gemm?

Allgemeine Matrix -Multiplikation (GEMM) ist ein grundlegender linearer Algebra -Betrieb, der zwei Matrizen multipliziert, um ein Drittel zu erzeugen. In zahlreichen Anwendungen h?ufig verwendet, ist seine Formel:

GEMM ist entscheidend für die Modellleistung der Modellleistung, insbesondere für das Tiefenlernen für das Training und die Inferenz für neuronale Netzwerke.

Diese Illustration zeigt GEMM, das Kacheln (Teilen von Matrizen in kleinere Bl?cke - mtile, ntile, ktile) zur optimierten Cache -Nutzung hervorhebt. Dies verbessert die Leistung durch verbesserte Datenlokalit?t und -parallelit?t.

Was ist fp8?

FP8 (8-Bit-Gleitpunkt) ist ein Hochleistungs-Computing-Format, das eine verringerte Pr?zision und eine effiziente numerische Datendarstellung bietet. Es ist besonders vorteilhaft für den Umgang mit den Rechenanforderungen gro?er Datens?tze im maschinellen Lernen.

Das typische FP8 -Format enth?lt:

• 1 Zeichen bit
• 5 Exponent Bits
• 2 Fraktionsbits

Diese kompakte Struktur erm?glicht schnellere Berechnungen und reduzierter Speicherverbrauch, ideal für das Training gro?er Modelle. W?hrend Pr?zision m?glicherweise geringfügig beeintr?chtigt wird, ist dies h?ufig akzeptabel, selbst wenn es zu Leistungsgewinnen aufgrund reduzierter Rechenaufwand führt.

Dieses Bild vergleicht FP8 (E4M3- und E5M2-Formate) mit FP16 und BF16 und veranschaulicht die Kompromisse zwischen Pr?zision und Bereich für verschiedene Gleitpunktformate.

Das Bedürfnis nach Deepgemm

DeepGemm befasst sich mit den Herausforderungen der Matrix-Multiplikationen, indem sie eine leichte, leistungsstarke und benutzerfreundliche Bibliothek für verschiedene GEMM-Operationen anbieten.

• erfüllt einen kritischen Bedarf an optimiertem FP8 GEMM in der AI -Community.
• hohe Leistung mit einem kleinen Speicherpfunddruck.
• unterstützt sowohl dichte als auch MOE -Layouts.
• entscheidend für gro? angelegte KI-Modelltraining und -ausführung.
• optimiert MOE -Architekturen mit speziellen Gemmm -Typen.
• verbessert die KI -Modelle von Deepseek direkt.
• kommt dem breiteren AI -Entwicklungs -?kosystem zugute.

Schlüsselmerkmale von DeepGemm

DeepGemms St?rken umfassen:

• hohe Leistung: erreicht bis zu 1350 fp8 tflops auf nvidia Hopper gpus.
• Leichtes Design: Minimale Abh?ngigkeiten für die vereinfachte Verwendung.
• Just-in-Time-Zusammenstellung: Kompiliert Kernel zur Laufzeit für optimierte Benutzererfahrung.
• pr?zise Kernlogik: ungef?hr 300 Zeilen des Kerncode, die viele erfahrene Kernel übertreffen.
• Unterstützung für verschiedene Layouts: Unterstützt dichte und zwei MOE -Layouts.

Leistungsbenchmarks

Die Effizienz von

DeepGemm über verschiedene Matrixkonfigurationen ist unten gezeigt:

/ benutzerdefinierte Stile für Tabelle / .Custom-table { Breite: 100%; Grenzkollapse: Zusammenbruch; / stellt sicher, dass Grenzen nicht verdoppeln // Rand: 20px 0; } .Custom-table th,. Grenze: 1PX Solid #000; / sichtbare Grenzen / Polsterung: 12px; / bequeme Polsterung / Text-Align: Mitte; / zentrierter Text // } .Custom-table th { Hintergrundfarbe: #f8f9fa; / hellgrau für Header / Schriftgewicht: fett; } / Responsive Anpassungen / @media (max-Width: 768px) { .Custom-table th,. Schriftgr??e: 14px; / kleinerer Text auf kleineren Bildschirmen / Polsterung: 8px; } }

M	N	K	Computation	Memory Bandwidth	Speedup
64	2112	7168	206 TFLOPS	1688 GB/s	2.7x
128	7168	2048	510 TFLOPS	2277 GB/s	1.7x
4096	4096	7168	1304 TFLOPS	500 GB/s	1.1x

Tabelle 1: DeepGemm Performance Benchmarks

Installationsanweisungen

DeepGemm -Installation ist einfach:

Schritt 1: Voraussetzungen

• Hopper Architecture gpus (sm_90a)
• Python 3.8
• CUDA 12.3 (Empfohlen: 12.8)
• pytorch 2.1
• Cutlass 3.6 (kann ein Git -Submodul sein)

Schritt 2: Klon das Repository

git clone --recursive [email?protected]:deepseek-ai/DeepGEMM.git

Schritt 3: Installieren Sie die Bibliothek

python setup.py install

Schritt 4: DeepGemm

importieren

import deep_gemm

Siehe das DeepGemm Github -Repository für detaillierte Anweisungen.

Schlussfolgerung

DeepGemm ist eine leistungsstarke, benutzerfreundliche FP8-GEMM-Bibliothek, die ideal für erweiterte maschinelle Lernaufgaben ist. Das leichte Design, die Geschwindigkeit und die Flexibilit?t machen es zu einem wertvollen Werkzeug für KI -Entwickler. überprüfen Sie den Analytics Vidhya -Blog, um Updates zu Deepseek's Day 4 Release!

Das obige ist der detaillierte Inhalt vonDeepGemm am dritten Tag der Deek Open Source Week ver?ffentlicht. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!