Le nouveau chatbot de Deepseek possède une introduction impressionnante: "Salut, j'ai été créé pour que vous puissiez demander n'importe quoi et obtenir une réponse qui pourrait même vous surprendre." Cette IA, un produit de la startup chinoise Deepseek, est rapidement devenue un concurrent majeur du marché, contribuant même à une baisse significative du cours des actions de NVIDIA. Son succès provient d'une méthodologie d'architecture et de formation unique incorporant plusieurs technologies innovantes.

Prédiction multi-token (MTP): Contrairement à la prédiction traditionnelle mot par mot, MTP prévoit plusieurs mots simultanément, en analysant différentes parties de phrases pour une précision et une efficacité améliorées.

Mélange d'experts (MOE): Cette architecture exploite plusieurs réseaux de neurones pour traiter les données d'entrée, accélérer la formation d'IA et améliorer les performances. Deepseek V3 utilise 256 réseaux de neurones, activant huit pour chaque tâche de traitement de jeton.

Attention latente multi-tête (MLA): Ce mécanisme se concentre sur les parties cruciales de la phrase, extrait à plusieurs reprises les détails clés des fragments de texte pour minimiser la perte d'informations et capturer des nuances subtiles.

Deepseek a initialement affirmé avoir formé son puissant réseau neuronal Deepseek V3 pour seulement 6 millions de dollars en utilisant seulement 2048 GPU. Cependant, la semianalyse a révélé une infrastructure beaucoup plus substantielle: environ 50 000 GPU de trémie NVIDIA, dont 10 000 H800, 10 000 H100 et des GPU H20 supplémentaires, distribués dans plusieurs centres de données. Cela se traduit par un investissement de serveur d'environ 1,6 milliard de dollars et les dépenses opérationnelles estimées à 944 millions de dollars.

Deepseek, une filiale du High Flyer de fonds spéculatifs chinois, possède ses centres de données, accordant un contrôle complet sur l'optimisation des modèles d'IA et la mise en œuvre plus rapide de l'innovation. Cette approche autofinancée améliore la flexibilité et la vitesse de prise de décision. En outre, la société attire les meilleurs talents, certains chercheurs gagnant plus de 1,3 million de dollars par an, principalement des universités chinoises.

Alors que la réclamation de coûts de formation initiale de 6 millions de dollars de Deepseek semble irréaliste - ne référence qu'à l'utilisation du GPU avant la formation et à l'exclusion de la recherche, du raffinement, du traitement des données et des infrastructures - la société a investi plus de 500 millions de dollars dans le développement de l'IA. Sa structure compacte facilite une mise en œuvre efficace de l'innovation par rapport aux concurrents plus grands et plus bureaucratiques.

L'exemple de Deepseek présente une entreprise d'IA indépendante bien financée en concurrence avec succès avec les géants de l'industrie. Cependant, son succès est indéniablement lié à des investissements substantiels, à des percées techniques et à une équipe solide, ce qui rend le "budget révolutionnaire" quelque peu trompeur. Néanmoins, les coûts de l'entreprise restent nettement inférieurs à ceux des concurrents; Par exemple, Deepseek a dépensé 5 millions de dollars pour R1, tandis que ChatGpt4 a coûté 100 millions de dollars. Cette différence de coût, même en considérant les dépenses réelles de Deepseek, met en évidence un avantage concurrentiel important.