Nowy chatbot Deepseek ma imponujące wprowadzenie: „Cześć, zostałem stworzony, abyś mógł zapytać wszystko i uzyskać odpowiedź, która może cię nawet zaskoczyć”. Ta sztuczna inteligencja, produkt chińskiego startupu Deepseek, szybko stał się głównym konkurentem rynku, nawet przyczyniając się do znacznego spadku ceny akcji NVIDIA. Jego sukces wynika z unikalnej metodologii architektury i szkoleń obejmującej kilka innowacyjnych technologii.

Prognozowanie wielu tokenów (MTP): W przeciwieństwie do tradycyjnej prognozy słowa, MTP prognozuje wiele słów jednocześnie, analizując różne części zdań w celu zwiększenia dokładności i wydajności.

Mieszanka ekspertów (MOE): Architektura ta wykorzystuje wiele sieci neuronowych do przetwarzania danych wejściowych, przyspieszając szkolenie AI i poprawę wydajności. Deepseek V3 wykorzystuje 256 sieci neuronowych, aktywując osiem dla każdego zadania przetwarzania tokenu.

Wielowłótnie utajone uwaga (MLA): Mechanizm ten koncentruje się na kluczowych częściach zdań, wielokrotnie wydobywając kluczowe szczegóły z fragmentów tekstu w celu zminimalizowania utraty informacji i przechwytywania subtelnych niuansów.

Deepseek początkowo twierdził, że wyszkolił swoją potężną sieć neuronową Deepseek V3 za zaledwie 6 milionów dolarów za pomocą zaledwie 2048 GPU. Jednak semianaliza ujawniła o wiele bardziej znaczącą infrastrukturę: około 50 000 GPU Nvidia Hopper, w tym 10 000 H800s, 10 000 H100 i dodatkowe GPU H20, rozmieszczone w wielu centrach danych. Przekłada się to na inwestycję serwerową w wysokości około 1,6 miliarda USD, a wydatki operacyjne szacowane na 944 mln USD.

Deepseek, spółka zależna chińskiego funduszu hedgingowego High-Flyer, jest właścicielem swoich centrów danych, zapewniając pełną kontrolę nad optymalizacją modelu AI i szybszą wdrażanie innowacji. To samofinansowane podejście zwiększa elastyczność i szybkość podejmowania decyzji. Ponadto firma przyciąga najlepsze talenty, a niektórzy badacze zarabiają ponad 1,3 miliona dolarów rocznie, głównie z chińskich uniwersytetów.

Podczas gdy początkowe roszczenie dotyczące kosztów szkoleń DeEPSEEEK w wysokości 6 milionów dolarów wydaje się nierealistyczne-odnosząc się jedynie do korzystania z GPU przed treningiem i wykluczeniem badań, udoskonalania, przetwarzania danych i infrastruktury-firma zainwestowała ponad 500 milionów dolarów w rozwój AI. Jego kompaktowa struktura ułatwia wydajne wdrożenie innowacji w porównaniu z większymi, bardziej biurokratycznymi konkurentami.

Przykład Deepseek pokazuje dobrze finansowaną niezależną firmę AI z powodzeniem konkurującym z gigantami branżowymi. Jednak jego sukces jest niezaprzeczalnie powiązany ze znacznymi inwestycjami, przełomami technicznymi i silnym zespołem, co sprawia, że ​​„rewolucyjny budżet” roszczył nieco mylące. Niemniej jednak koszty firmy pozostają znacznie niższe niż konkurenci; Na przykład Deepseek wydał 5 milionów dolarów na R1, podczas gdy Chatgpt4 kosztował 100 milionów dolarów. Ta różnica kosztów, nawet biorąc pod uwagę faktyczne wydatki Deepseek, podkreśla znaczącą przewagę konkurencyjną.