De nieuwe Chatbot van Deepseek heeft een indrukwekkende introductie: "Hallo, ik ben gemaakt zodat je alles kunt vragen en een antwoord kunt krijgen dat je misschien zelfs zou verrassen." Deze AI, een product van de Chinese startup Deepseek, is snel een belangrijke marktconcurrent geworden en draagt ​​zelfs bij aan een aanzienlijke daling van de aandelenkoers van Nvidia. Het succes ervan komt voort uit een unieke architectuur- en trainingsmethode met verschillende innovatieve technologieën.

Multi-Token Prediction (MTP): in tegenstelling tot traditionele voorspelling van het woord voor woord voorspelt MTP meerdere woorden tegelijkertijd, met verschillende zinsdelen voor verbeterde nauwkeurigheid en efficiëntie.

Mix van experts (MOE): deze architectuur maakt gebruik van meerdere neurale netwerken om invoergegevens te verwerken, AI -training te versnellen en de prestaties te verbeteren. Deepseek V3 maakt gebruik van 256 neurale netwerken en activeert acht voor elke tokenverwerkingstaak.

Multi-head latent aandacht (MLA): dit mechanisme richt zich op cruciale zinsdelen, die herhaaldelijk belangrijke details uit tekstfragmenten extraheren om informatieverlies te minimaliseren en subtiele nuances vast te leggen.

Deepseek beweerde aanvankelijk zijn krachtige Deepseek V3 -neurale netwerk te hebben getraind voor slechts $ 6 miljoen met slechts 2048 GPU's. Semianyse onthulde echter een veel meer substantiële infrastructuur: ongeveer 50.000 Nvidia Hopper GPU's, waaronder 10.000 H800s, 10.000 H100s en extra H20 GPU's, verdeeld over meerdere datacenters. Dit vertaalt zich in een serverinvestering van ongeveer $ 1,6 miljard en operationele kosten geschat op $ 944 miljoen.

Deepseek, een dochteronderneming van het Chinese hedgefonds High-Flyer, bezit zijn datacenters en geeft volledige controle over AI-modeloptimalisatie en snellere innovatie-implementatie. Deze zelf gefinancierde aanpak verbetert de flexibiliteit en de besluitvormingssnelheid. Bovendien trekt het bedrijf toptalent aan, waarbij sommige onderzoekers jaarlijks meer dan $ 1,3 miljoen verdienen, voornamelijk van Chinese universiteiten.

Hoewel de initiële claim van DeepSeek's initiële $ 6 miljoen trainingskosten onrealistisch lijkt-alleen verwijzen naar het pre-training GPU-gebruik en het uitsluiten van onderzoek, verfijning, gegevensverwerking en infrastructuur-heeft het bedrijf meer dan $ 500 miljoen geïnvesteerd in AI-ontwikkeling. De compacte structuur vergemakkelijkt een efficiënte innovatie -implementatie in vergelijking met grotere, meer bureaucratische concurrenten.

Het voorbeeld van Deepseek toont een goed gefinancierd onafhankelijk AI-bedrijf dat met succes concurreert met industriële reuzen. Het succes ervan is echter onmiskenbaar gekoppeld aan substantiële investeringen, technische doorbraken en een sterk team, waardoor de "revolutionaire budget" enigszins misleidend claimt. Desalniettemin blijven de kosten van het bedrijf aanzienlijk lager dan concurrenten; Deepseek besteedde bijvoorbeeld $ 5 miljoen aan R1, terwijl Chatgpt4 $ 100 miljoen kostte. Dit kostenverschil, zelfs rekening houdend met de daadwerkelijke uitgaven van Deepseek, wijst op een aanzienlijk concurrentievoordeel.