Il nuovo chatbot di Deepseek vanta un'impressionante introduzione: "Ciao, sono stato creato in modo da poter chiedere qualsiasi cosa e ottenere una risposta che potrebbe persino sorprenderti." Questa intelligenza artificiale, un prodotto della startup cinese Deepseek, è rapidamente diventata un importante concorrente del mercato, contribuendo anche a un calo significativo del prezzo delle azioni di Nvidia. Il suo successo deriva da una metodologia di architettura e formazione unica che incorpora diverse tecnologie innovative.

Previsione multi-token (MTP): a differenza della previsione tradizionale di parole per parola, MTP prevede contemporaneamente più parole, analizzando diverse frasi per una maggiore precisione ed efficienza.

Miscela di esperti (MOE): questa architettura sfrutta più reti neurali per elaborare i dati di input, accelerare la formazione dell'IA e migliorare le prestazioni. DeepSeek V3 utilizza 256 reti neurali, attivando otto per ciascuna attività di elaborazione dei token.

Attenzione latente multi-testa (MLA): questo meccanismo si concentra su parti cruciali delle frasi, estraendo ripetutamente i dettagli chiave dai frammenti di testo per ridurre al minimo la perdita di informazioni e acquisire sottili sfumature.

Deepseek inizialmente ha affermato di aver addestrato la sua potente rete neurale Deepseek V3 per soli $ 6 milioni utilizzando solo 2048 GPU. Tuttavia, la semianalisi ha rivelato un'infrastruttura molto più sostanziale: circa 50.000 GPU della tramoggia Nvidia, tra cui 10.000 H800, 10.000 H100 e GPU H20 aggiuntive, distribuite su più data center. Ciò si traduce in un investimento server di circa $ 1,6 miliardi e le spese operative stimate in $ 944 milioni.

DeepSeek, una consociata dell'hedge fund cinese High-Flyer, possiede i suoi data center, che concede un controllo completo sull'ottimizzazione del modello di intelligenza artificiale e sull'implementazione più rapida dell'innovazione. Questo approccio autofinanziato migliora la flessibilità e la velocità decisionale. Inoltre, la società attira i migliori talenti, con alcuni ricercatori che guadagnano oltre $ 1,3 milioni all'anno, principalmente dalle università cinesi.

Mentre la richiesta iniziale di costi di formazione di $ 6 milioni di Deepseek appare irrealistica, riferendosi solo all'utilizzo della GPU pre-allenamento ed escluso la ricerca, la raffinatezza, l'elaborazione dei dati e le infrastrutture-la società ha investito oltre 500 milioni di dollari nello sviluppo dell'intelligenza artificiale. La sua struttura compatta facilita un'implementazione di innovazione efficiente rispetto a concorrenti più grandi e burocratici.

L'esempio di Deepseek mostra una società di intelligenza artificiale indipendente ben finanziata con successo con i giganti del settore. Tuttavia, il suo successo è innegabilmente legato a investimenti sostanziali, scoperte tecniche e una squadra forte, che fa un po 'fuorviante la rivendicazione del "bilancio rivoluzionario". Tuttavia, i costi dell'azienda rimangono significativamente inferiori rispetto ai concorrenti; Ad esempio, DeepSeek ha speso $ 5 milioni in R1, mentre CHATGPT4 costa $ 100 milioni. Questa differenza di costo, anche considerando le spese effettive di DeepSeek, evidenzia un significativo vantaggio competitivo.