Deepseekの新しいチャットボットには、印象的な紹介があります。中国のスタートアップDeepSeekの製品であるこのAIは、急速に主要な市場競合他社になり、Nvidiaの株価の大幅な低下に貢献しています。その成功は、いくつかの革新的な技術を組み込んだユニークなアーキテクチャとトレーニング方法に由来しています。

マルチトークン予測（MTP）：従来の単語ごとの予測とは異なり、MTPは複数の単語を同時に予測し、異なる文章を精度と効率の向上について分析します。

専門家の混合（MOE）：このアーキテクチャは、複数のニューラルネットワークを活用して入力データを処理し、AIトレーニングの加速、パフォーマンスの向上を活用します。 Deepseek V3は256個のニューラルネットワークを利用して、トークン処理タスクごとに8個をアクティブにします。

マルチヘッド潜在的注意（MLA）：このメカニズムは、重要な文の部分に焦点を当てており、テキストフラグメントから重要な詳細を繰り返し抽出して、情報の損失を最小限に抑え、微妙なニュアンスをキャプチャします。

Deepseekは当初、2048 GPUを使用して強力なDeepseek V3ニューラルネットワークをわずか600万ドルで訓練したと主張しました。ただし、セミアン癒合により、はるかに重要なインフラストラクチャが明らかになりました。10,000H800、10,000 H100、および追加のH20 GPUを含む約50,000個のNVIDIAホッパーGPUが、複数のデータセンターに分布しています。これは、サーバー投資が約16億ドルで、運用費用は9億4,400万ドルと推定されます。

中国のヘッジファンド高飛行者の子会社であるDeepseekは、データセンターを所有しており、AIモデルの最適化とより高速なイノベーションの実装を完全に制御しています。この自己資金によるアプローチは、柔軟性と意思決定速度を向上させます。さらに、同社はトップの才能を集めており、一部の研究者は主に中国の大学から年間130万ドル以上を稼いでいます。

DeepSeekの最初の600万ドルのトレーニングコスト請求は非現実的であるように見えますが、GPUの使用前にのみを参照し、調査、改良、データ処理、インフラストラクチャを除外していますが、同社はAI開発に5億ドル以上を投資しています。そのコンパクト構造は、より大きく、より官僚的な競合他社と比較して、効率的なイノベーションの実装を促進します。

Deepseekの例は、資金提供された独立したAI会社を紹介しています。しかし、その成功は、大規模な投資、技術的なブレークスルー、強力なチームに紛れもなくリンクされており、「革新的な予算」の請求をやや誤解させています。それにもかかわらず、会社のコストは競合他社よりも大幅に低いままです。たとえば、DeepseekはR1に500万ドルを費やしましたが、ChatGpt4の費用は1億ドルでした。このコストの違いは、DeepSeekの実際の支出を考慮しても、大きな競争上の優位性を強調しています。