DeepSeek的新聊天機器人擁有令人印象深刻的介紹：“嗨，我被創建了，您可以問任何東西，並得到一個甚至可能讓您感到驚訝的答案。”這種AI是中國初創公司DeepSeek的產物，已迅速成為主要的市場競爭對手，甚至導致NVIDIA的股價大幅下降。它的成功源於一種獨特的建築和培訓方法，結合了幾種創新技術。

多語預測（MTP）：與傳統的單詞預測不同，MTP同時預測多個單詞，分析不同的句子以提高準確性和效率。

專家（MOE）的混合：該體系結構利用多個神經網絡處理輸入數據，加速AI培訓並提高性能。 DeepSeek V3使用256個神經網絡，為每個令牌處理任務激活8個。

多頭潛在註意力（MLA）：這種機制著重於關鍵的句子部分，從文本片段中反复提取關鍵細節，以最大程度地減少信息丟失並捕獲細微的細微差別。

DeepSeek最初聲稱已經培訓了其強大的DeepSeek V3神經網絡，僅使用2048 GPU，僅使用600萬美元。但是，半分析顯示出更大的基礎設施：大約50,000個NVIDIA HOPPER GPU，包括10,000 H800，10,000 H100和其他H20 GPU，分佈在多個數據中心。這意味著服務器投資約為16億美元，運營費用估計為9.44億美元。

DeepSeek是中國對沖基金高級飛行者的子公司擁有其數據中心，授予AI模型優化和更快的創新實施的完全控制。這種自資助的方法提高了靈活性和決策速度。此外，該公司吸引了頂尖人才，一些研究人員每年收入超過130萬美元，主要來自中國大學。

雖然DeepSeek最初的600萬美元培訓成本索賠似乎是不現實的，但僅引用了培訓的GPU使用情況，並排除了研究，改進，數據處理和基礎設施，但該公司已在AI開發方面投資了超過5億美元。與更大的官僚競爭者相比，其緊湊的結構有助於有效的創新實施。

DeepSeek的示例展示了一家資金充足的獨立AI公司，成功與行業巨頭競爭。但是，它的成功無疑與大量投資，技術突破和強大的團隊有關，這使“革命預算”聲稱有些誤導。然而，公司的成本仍然明顯低於競爭對手；例如，DeepSeek在R1上花費了500萬美元，而Chatgpt4的費用為1億美元。即使考慮到DeepSeek的實際支出，這種成本差異也強調了競爭優勢。