Drogie stworzenie Deepseek: Koszt rozwoju AI wzrasta do 1,6 mld USD

Zaskakująco niedrogi model AI Deepseek, Deepseek V3, wstrząsa przemysłem AI i powoduje znaczne fale, w szczególności poważny spadek ceny akcji dla NVIDIA. Podczas gdy Deepseek początkowo stwierdził, że koszt szkolenia w wysokości zaledwie 6 milionów dolarów za pomocą 2048 GPU, bliższe spojrzenie ujawnia znacznie bardziej znaczącą inwestycję.

Obraz: engame.com

Innowacyjna architektura Deepseek V3 jest kluczem do jej wydajności. Wykorzystuje:

• Prognozowanie wielu tokenów (MTP): Prognozowanie wielu słów jednocześnie dla lepszej prędkości i dokładności.
• Mieszanka ekspertów (MOE): Zastosowanie 256 sieci neuronowych, aktywując osiem dla każdego tokena, zwiększając szybkość treningu i wydajność.
• Uczciwa uwaga wielowłócona (MLA): Wielokrotne wyodrębnienie kluczowych informacji z fragmentów tekstu, aby zminimalizować ryzyko przeoczenia kluczowych szczegółów.

Obraz: engame.com

Jednak semianaliza odkryła wykorzystanie Deepseek około 50 000 GPU Nvidia Hopper (w tym 10 000 H800, 10 000 H100 i dodatkowych GPU H20) w wielu centrach danych. Ta ogromna infrastruktura stanowi całkowitą inwestycję serwerową w wysokości około 1,6 miliarda USD, a koszty operacyjne wynoszą 944 mln USD. Deepseek, spółka zależna od High-Flyer, chińskiego funduszu hedgingowego, jest właścicielem tych centrów danych, zapewniając niezrównaną kontrolę i szybkość innowacji. Samofinansowany status firmy dodatkowo zwiększa jej zwinność.

Obraz: engame.com

Wysokie pensje Deepseek (niektórzy badacze zarabiają ponad 1,3 miliona dolarów rocznie), przyciągając najlepsze chińskie talenty, dodatkowo przyczyniają się do jego sukcesu. Początkowa liczba 6 mln USD odzwierciedla jedynie koszty GPU przed treningiem, pomijając badania, udoskonalenie, przetwarzanie danych i infrastrukturę. Rzeczywista inwestycja Deepseek w rozwój AI przekracza 500 milionów dolarów. Mimo to jego szczupła struktura umożliwia wydajne innowacje w porównaniu z większymi, bardziej biurokratycznymi konkurentami.

Obraz: engame.com

Historia Deepseeka podkreśla potencjał dobrze finansowanych, niezależnych firm AI do konkurowania z uznanymi gigantami. Podczas gdy narracja „przyjazna budżetowi” jest nieco zawyżona, przewaga kosztowa w porównaniu z konkurentami (np. 5 milionów dolarów Deepseek dla R1 w porównaniu z 100 milionami dolarów Chatgpt dla Chatgpt4o) pozostaje znacząca. Sukces firmy ostatecznie wynika z znacznych inwestycji, postępów technologicznych i wysoko wykwalifikowanego zespołu.