दीपसेक के नए चैटबोट में एक प्रभावशाली परिचय है: "हाय, मैं बनाया गया था ताकि आप कुछ भी पूछ सकें और एक जवाब प्राप्त कर सकें जो आपको आश्चर्यचकित भी कर सके।" यह एआई, चीनी स्टार्टअप दीपसेक का एक उत्पाद, तेजी से एक प्रमुख बाजार प्रतियोगी बन गया है, यहां तक ​​कि एनवीडिया के स्टॉक मूल्य में एक महत्वपूर्ण गिरावट में भी योगदान देता है। इसकी सफलता एक अद्वितीय वास्तुकला और प्रशिक्षण पद्धति से उपजी है जिसमें कई नवीन तकनीकों को शामिल किया गया है।

मल्टी-टोकन भविष्यवाणी (एमटीपी): पारंपरिक शब्द-दर-शब्द भविष्यवाणी के विपरीत, एमटीपी एक साथ कई शब्दों का अनुमान लगाता है, बढ़ाया सटीकता और दक्षता के लिए विभिन्न वाक्य भागों का विश्लेषण करता है।

विशेषज्ञों का मिश्रण (एमओई): यह आर्किटेक्चर इनपुट डेटा को संसाधित करने, एआई प्रशिक्षण को तेज करने और प्रदर्शन में सुधार करने के लिए कई तंत्रिका नेटवर्क का लाभ उठाता है। दीपसेक वी 3 256 तंत्रिका नेटवर्क का उपयोग करता है, प्रत्येक टोकन प्रसंस्करण कार्य के लिए आठ को सक्रिय करता है।

मल्टी-हेड लेटेंट ध्यान (एमएलए): यह तंत्र महत्वपूर्ण वाक्य भागों पर केंद्रित है, बार-बार सूचना हानि को कम करने और सूक्ष्म बारीकियों को कैप्चर करने के लिए पाठ के टुकड़ों से महत्वपूर्ण विवरण निकालता है।

दीपसेक ने शुरू में केवल 2048 जीपीयू का उपयोग करके अपने शक्तिशाली डीपसेक वी 3 न्यूरल नेटवर्क को केवल $ 6 मिलियन के लिए प्रशिक्षित करने का दावा किया था। हालांकि, सेमियालिसिस ने कहीं अधिक पर्याप्त बुनियादी ढांचे का खुलासा किया: लगभग 50,000 एनवीडिया हॉपर जीपीयू, जिसमें 10,000 H800s, 10,000 H100, और अतिरिक्त H20 GPU शामिल हैं, कई डेटा केंद्रों में वितरित किए गए। यह लगभग $ 1.6 बिलियन के सर्वर निवेश में अनुवाद करता है और $ 944 मिलियन में अनुमानित परिचालन व्यय है।

चाइनीज हेज फंड हाई-फ्लायर की सहायक कंपनी दीपसेक अपने डेटा केंद्रों का मालिक है, जो एआई मॉडल अनुकूलन और तेजी से नवाचार कार्यान्वयन पर पूर्ण नियंत्रण प्रदान करता है। यह स्व-वित्त पोषित दृष्टिकोण लचीलापन और निर्णय लेने की गति को बढ़ाता है। इसके अलावा, कंपनी शीर्ष प्रतिभा को आकर्षित करती है, कुछ शोधकर्ताओं ने मुख्य रूप से चीनी विश्वविद्यालयों से सालाना $ 1.3 मिलियन से अधिक कमाई की।

जबकि दीपसेक के शुरुआती $ 6 मिलियन प्रशिक्षण लागत का दावा अवास्तविक प्रतीत होता है-केवल जीपीयू के उपयोग को पूर्व-प्रशिक्षण देने और अनुसंधान, शोधन, डेटा प्रोसेसिंग और बुनियादी ढांचे को छोड़कर-कंपनी ने एआई विकास में $ 500 मिलियन से अधिक का निवेश किया है। इसकी कॉम्पैक्ट संरचना बड़े, अधिक नौकरशाही प्रतियोगियों की तुलना में कुशल नवाचार कार्यान्वयन की सुविधा प्रदान करती है।

दीपसेक का उदाहरण एक अच्छी तरह से वित्त पोषित स्वतंत्र एआई कंपनी को सफलतापूर्वक उद्योग के दिग्गजों के साथ प्रतिस्पर्धा करने वाला दिखाता है। हालांकि, इसकी सफलता निर्विवाद रूप से पर्याप्त निवेश, तकनीकी सफलताओं और एक मजबूत टीम से जुड़ी हुई है, जिससे "क्रांतिकारी बजट" कुछ भ्रामक है। फिर भी, कंपनी की लागत प्रतियोगियों की तुलना में काफी कम है; उदाहरण के लिए, दीपसेक ने R1 पर $ 5 मिलियन खर्च किए, जबकि CHATGPT4 की लागत $ 100 मिलियन है। यह लागत अंतर, यहां तक ​​कि दीपसेक के वास्तविक खर्च पर विचार करते हुए, एक महत्वपूर्ण प्रतिस्पर्धात्मक लाभ पर प्रकाश डालता है।