DeepSeek의 새로운 챗봇은 인상적인 소개를 자랑합니다. "안녕하세요, 나는 당신이 무엇이든 물어보고 당신을 놀라게 할 수있는 답을 얻을 수 있도록 만들어졌습니다." 중국 스타트 업 DeepSeek의 제품인이 AI는 빠르게 주요 시장 경쟁자가되어 NVIDIA의 주가의 상당한 하락에 기여했습니다. 성공은 몇 가지 혁신적인 기술을 통합 한 독특한 아키텍처 및 교육 방법론에서 비롯됩니다.

MTP (Multi-Token Prediction) : 전통적인 단어 별 예측과 달리 MTP는 여러 단어를 동시에 예측하여 정확도와 효율성을 높이기 위해 다른 문장 부분을 분석합니다.

전문가 (MOE)의 혼합 : 이 아키텍처는 여러 신경망을 활용하여 입력 데이터를 처리하고 AI 교육을 가속화하고 성능을 향상시킵니다. DeepSeek V3는 256 개의 신경망을 사용하여 각 토큰 처리 작업마다 8 개를 활성화합니다.

MLA (Multi-Head Senent Attention) : 이 메커니즘은 중요한 문장 부분에 중점을 두어 텍스트 조각에서 주요 세부 정보를 반복적으로 추출하여 정보 손실을 최소화하고 미묘한 뉘앙스를 포착합니다.

DeepSeek은 처음에 강력한 Deepseek V3 Neural Network를 2048 GPU 만 사용하여 6 백만 달러에 달하는 교육을 받았다고 주장했습니다. 그러나 Semianalysis는 여러 데이터 센터에 분포 된 10,000 H800, 10,000 H100 및 추가 H20 GPU를 포함하여 약 50,000 NVIDIA HOPPER GPU를 포함하여 훨씬 더 실질적인 인프라를 나타 냈습니다. 이는 약 16 억 달러의 서버 투자와 9 억 9,400 만 달러로 추정되는 운영 비용으로 이어집니다.

중국 헤지 펀드 High-Flyer의 자회사 인 DeepSeek는 데이터 센터를 소유하여 AI 모델 최적화와 더 빠른 혁신 구현을 완전히 제어 할 수 있습니다. 이 자체 지원 접근 방식은 유연성과 의사 결정 속도를 향상시킵니다. 또한이 회사는 최고의 인재를 유치하며 일부 연구자들은 주로 중국 대학에서 매년 130 만 달러 이상을 벌고 있습니다.

DeepSeek의 초기 6 백만 달러의 교육 비용 청구는 비현실적으로 보이지만 GPU 사용을 사전 훈련하고 연구, 개선, 데이터 처리 및 인프라를 제외한 것으로 보이지만 AI 개발에 5 억 달러 이상을 투자했습니다. 소형 구조는 더 큰 관료적 경쟁자에 비해 효율적인 혁신 구현을 촉진합니다.

DeepSeek의 예는 산업 거대 기업과 성공적으로 경쟁하는 잘 자금을 지원하는 독립 AI 회사를 보여줍니다. 그러나 그 성공은 실질적인 투자, 기술 혁신 및 강력한 팀과 의심 할 여지없이 "혁신적인 예산"이 다소 오해의 소지가 있다고 주장합니다. 그럼에도 불구하고, 회사의 비용은 경쟁 업체보다 훨씬 저렴합니다. 예를 들어, DeepSeek은 R1에 5 백만 달러를 소비 한 반면 ChatGpt4는 1 억 달러가 들었습니다. DeepSeek의 실제 지출을 고려 하더라도이 비용 차이는 경쟁 우위를 강조합니다.