Chatbot baru Deepseek mempunyai pengenalan yang mengagumkan: "Hai, saya telah dicipta supaya anda boleh meminta apa -apa dan mendapatkan jawapan yang mungkin mengejutkan anda." AI ini, produk permulaan Cina Deepseek, telah menjadi pesaing pasaran utama, bahkan menyumbang kepada penurunan harga saham Nvidia yang signifikan. Kejayaannya berpunca daripada metodologi seni bina dan latihan yang unik yang menggabungkan beberapa teknologi inovatif.

Ramalan Multi-Token (MTP): Tidak seperti ramalan kata-kata tradisional, MTP meramalkan pelbagai perkataan secara serentak, menganalisis bahagian ayat yang berbeza untuk ketepatan dan kecekapan yang dipertingkatkan.

Campuran Pakar (MOE): Senibina ini memanfaatkan pelbagai rangkaian saraf untuk memproses data input, mempercepatkan latihan AI dan meningkatkan prestasi. DeepSeek V3 menggunakan 256 rangkaian saraf, mengaktifkan lapan untuk setiap tugas pemprosesan token.

Perhatian Laten Multi-Head (MLA): Mekanisme ini memberi tumpuan kepada bahagian-bahagian kalimat yang penting, berulang kali mengeluarkan butiran utama dari serpihan teks untuk meminimumkan kehilangan maklumat dan menangkap nuansa halus.

Deepseek pada mulanya mendakwa telah melatih rangkaian saraf Deepseek V3 yang kuat untuk hanya $ 6 juta menggunakan hanya 2048 GPU. Walau bagaimanapun, semianalisis mendedahkan infrastruktur yang jauh lebih besar: kira -kira 50,000 NVIDIA Hopper GPU, termasuk 10,000 H800s, 10,000 H100s, dan GPU tambahan H20, diedarkan di pelbagai pusat data. Ini diterjemahkan kepada pelaburan pelayan kira -kira $ 1.6 bilion dan perbelanjaan operasi yang dianggarkan sebanyak $ 944 juta.

DeepSeek, anak syarikat dana lindung nilai Cina yang tinggi, memiliki pusat datanya, memberikan kawalan sepenuhnya ke atas pengoptimuman model AI dan pelaksanaan inovasi yang lebih cepat. Pendekatan yang dibiayai sendiri ini meningkatkan kelajuan fleksibiliti dan membuat keputusan. Selain itu, syarikat itu menarik bakat terbaik, dengan beberapa penyelidik memperoleh lebih dari $ 1.3 juta setiap tahun, terutamanya dari universiti -universiti China.

Walaupun tuntutan kos latihan awal $ 6 juta DeepSeek muncul tidak realistik-merujuk hanya kepada penggunaan pra-latihan GPU dan tidak termasuk penyelidikan, penghalusan, pemprosesan data, dan infrastruktur-syarikat telah melabur lebih daripada $ 500 juta dalam pembangunan AI. Struktur padatnya memudahkan pelaksanaan inovasi yang cekap berbanding dengan pesaing birokrasi yang lebih besar.

Contoh DeepSeek mempamerkan syarikat AI bebas yang dibiayai dengan baik bersaing dengan gergasi industri. Walau bagaimanapun, kejayaannya tidak dapat dinafikan dikaitkan dengan pelaburan yang besar, kejayaan teknikal, dan pasukan yang kuat, menjadikan tuntutan "anggaran revolusioner" agak mengelirukan. Walau bagaimanapun, kos syarikat kekal jauh lebih rendah daripada pesaing; Sebagai contoh, DeepSeek membelanjakan $ 5 juta pada R1, manakala CHATGPT4 berharga $ 100 juta. Perbezaan kos ini, walaupun mempertimbangkan perbelanjaan sebenar DeepSeek, menyoroti kelebihan daya saing yang signifikan.