DeepSeek的$ 1.6B開發成本揭穿了

DeepSeek的新聊天機器人擁有令人印象深刻的介紹:“嗨,我被創建了,您可以問任何東西,並得到一個甚至可能讓您感到驚訝的答案。”這種AI是中國初創公司DeepSeek的產物,已迅速成為主要的市場競爭對手,甚至導致NVIDIA的股價大幅下降。它的成功源於一種獨特的建築和培訓方法,結合了幾種創新技術。
多語預測(MTP):與傳統的單詞預測不同,MTP同時預測多個單詞,分析不同的句子以提高準確性和效率。
專家(MOE)的混合:該體系結構利用多個神經網絡處理輸入數據,加速AI培訓並提高性能。 DeepSeek V3使用256個神經網絡,為每個令牌處理任務激活8個。
多頭潛在註意力(MLA):這種機制著重於關鍵的句子部分,從文本片段中反复提取關鍵細節,以最大程度地減少信息丟失並捕獲細微的細微差別。
DeepSeek最初聲稱已經培訓了其強大的DeepSeek V3神經網絡,僅使用2048 GPU,僅使用600萬美元。但是,半分析顯示出更大的基礎設施:大約50,000個NVIDIA HOPPER GPU,包括10,000 H800,10,000 H100和其他H20 GPU,分佈在多個數據中心。這意味著服務器投資約為16億美元,運營費用估計為9.44億美元。
DeepSeek是中國對沖基金高級飛行者的子公司擁有其數據中心,授予AI模型優化和更快的創新實施的完全控制。這種自資助的方法提高了靈活性和決策速度。此外,該公司吸引了頂尖人才,一些研究人員每年收入超過130萬美元,主要來自中國大學。
雖然DeepSeek最初的600萬美元培訓成本索賠似乎是不現實的,但僅引用了培訓的GPU使用情況,並排除了研究,改進,數據處理和基礎設施,但該公司已在AI開發方面投資了超過5億美元。與更大的官僚競爭者相比,其緊湊的結構有助於有效的創新實施。
DeepSeek的示例展示了一家資金充足的獨立AI公司,成功與行業巨頭競爭。但是,它的成功無疑與大量投資,技術突破和強大的團隊有關,這使“革命預算”聲稱有些誤導。然而,公司的成本仍然明顯低於競爭對手;例如,DeepSeek在R1上花費了500萬美元,而Chatgpt4的費用為1億美元。即使考慮到DeepSeek的實際支出,這種成本差異也強調了競爭優勢。
-
婚禮髮型與婚禮髮型編輯器一起發現您夢dream以求的婚禮髮型!歡迎來到婚禮髮型的世界,在那裡您只需輕按一下即可將新娘照片轉變為令人驚嘆的傑作。我們的應用程序是一種多功能的新娘照片編輯器,可讓您添加各種美麗
-
Whack Whack War準備好與** Whack War **一起進行令人振奮的新冒險,這款遊戲不僅令人上癮,而且非常容易通過其可愛的圖形和直觀的單尾控制措施深入研究。進入激動人心的舞台,您將指揮您的英雄並開始任務
-
Army Bomb Games 3D Nuclear War核炸彈模擬器和炸彈減少3D:炸彈爆炸與核彈遊戲戰爭。讓我們享受炸彈破壞核炸彈遊戲3D脫機多人遊戲,並在令人驚嘆的核彈炸彈遊戲中引入了炸彈減少小隊。下載炸彈切割遊戲,並謹慎對待原子彈的攻擊
-
One Lab - Artful Photo Editor使用Onelab -Artful Photo Editor釋放您的創造力,這是一個革命性的應用程序,可觸手可及。從簡單的照片編輯到有彎曲的小故障藝術,圖像扭曲,過程產生和3D操縱,此應用程序是Artis的寶庫
-
LEGO DUPLO WORLDLego Duplo World不僅是常規遊戲。這是一個專門為兒童設計的引人入勝且教育的平台。有一個巨大的世界,可以探索充滿樂高樂高樂團製成的豐富多彩的動物,建築物,車輛和火車,孩子們正在互動和刺激性的體驗。 t
-
Doppelgangers - find your twin釋放了與我們的Doppelgangers一起找到完美外觀的樂趣 - 找到您的雙胞胎應用程序!通過下載應用程序並毫不費力地使用您的首選方法開始您的旅程。一旦進入,請拍攝清晰的自拍照,確保這一切與您有關,而無需分心。我們的加油