De diepe creatie van Deepseek: AI Development Cost steeg naar $ 1,6 miljard

Het verrassend goedkope AI -model van Deepseek, Deepseek V3, schudt de AI -industrie op en veroorzaakt aanzienlijke rimpelingen, met name een grote daling van de aandelenkoers voor NVIDIA. Terwijl Deepseek aanvankelijk een trainingskosten van slechts $ 6 miljoen claimde met behulp van 2048 GPU's, onthult een nadere blik een veel meer substantiële investering.

afbeelding: ensigame.com

De innovatieve architectuur van Deepseek V3 is de sleutel tot de prestaties. Het gebruikt:

• Multi-Token Prediction (MTP): Het tegelijkertijd voorspellen van meerdere woorden voor verbeterde snelheid en nauwkeurigheid.
• Mix van experts (MOE): met 256 neurale netwerken, die acht activeren voor elke token, het stimuleren van trainingssnelheid en prestaties.
• Multi-head latente aandacht (MLA): Herhaaldelijk extraheren van belangrijke informatie uit tekstfragmenten om het risico op cruciale details te minimaliseren.

afbeelding: ensigame.com

De semianyse ontdekte echter het gebruik van Deepseek van ongeveer 50.000 NVIDIA -hopper GPU's (inclusief 10.000 H800, 10.000 H100 en extra H20 GPU's) verspreid over meerdere datacenters. Deze enorme infrastructuur vertegenwoordigt een totale serverinvestering van ongeveer $ 1,6 miljard, met operationele kosten geschat op $ 944 miljoen. Deepseek, een dochteronderneming van high-flyer, een Chinees hedgefonds, bezit deze datacenters en biedt een ongeëvenaarde controle en innovatiesnelheid. De zelf gefinancierde status van het bedrijf verbetert verder zijn behendigheid.

afbeelding: ensigame.com

De hoge salarissen van Deepseek (sommige onderzoekers verdienen jaarlijks meer dan $ 1,3 miljoen), die het top Chinees talent aantrekken, dragen verder bij aan het succes ervan. Het initiële cijfer van $ 6 miljoen weerspiegelt alleen PRPU-kosten voor de training, het weglaten van onderzoek, verfijning, gegevensverwerking en infrastructuur. De werkelijke investering van Deepseek in AI -ontwikkeling is groter dan $ 500 miljoen. Desondanks maakt de magere structuur efficiënte innovatie mogelijk in vergelijking met grotere, meer bureaucratische concurrenten.

afbeelding: ensigame.com

Het verhaal van Deepseek benadrukt het potentieel van goed gefinancierde, onafhankelijke AI-bedrijven om te concurreren met gevestigde reuzen. Hoewel het "budgetvriendelijke" verhaal enigszins is opgeblazen, blijft het kostenvoordeel in vergelijking met concurrenten (bijvoorbeeld de $ 5 miljoen van Deepseek voor R1 versus Chatgpt's $ 100 miljoen voor chatgpt4o) aanzienlijk. Het succes van het bedrijf komt uiteindelijk voort uit substantiële investeringen, technologische vooruitgang en een zeer bekwaam team.