Новый чат -бот DeepSeek может похвастаться впечатляющим введением: «Привет, я был создан, чтобы вы могли спросить что угодно и получить ответ, который может даже удивить вас». Этот ИИ, продукт китайского стартапа DeepSeek, быстро стал основным конкурентом на рынке, даже способствуя значительному снижению цены акций Nvidia. Его успех проистекает из уникальной методологии архитектуры и обучения, включающей несколько инновационных технологий.

Multi-Token Production (MTP): в отличие от традиционного прогнозирования слов за словесным прогнозом, MTP прогнозирует несколько слов одновременно, анализируя различные части предложений для повышения точности и эффективности.

Смесь экспертов (MOE): эта архитектура использует несколько нейронных сетей для обработки входных данных, ускорения обучения ИИ и повышения производительности. DeepSeek V3 использует 256 нейронных сетей, активируя восемь для каждой задачи обработки токенов.

Многоугольное скрытое внимание (MLA): этот механизм фокусируется на важных частях предложения, неоднократно извлекая ключевые детали из фрагментов текста, чтобы минимизировать потерю информации и захватить тонкие нюансы.

Первоначально Deepseek утверждал, что обучил свою мощную нейронную сеть Deepseek V3 всего за 6 миллионов долларов, используя только 2048 графических процессоров. Тем не менее, полуанализ выявил гораздо более существенную инфраструктуру: приблизительно 50 000 графических процессоров Nvidia, включая 10 000 H800, 10 000 H100 и дополнительные графические процессоры H20, распределенные по нескольким центрам обработки данных. Это приводит к инвестициям в сервер в размере примерно 1,6 миллиарда долларов, а эксплуатационные расходы оцениваются в 944 миллиона долларов.

Deepseek, дочерняя компания китайского хедж-фонда High-Fund, владеет своими центрами обработки данных, обеспечивая полный контроль над оптимизацией модели искусственного интеллекта и более быстрой реализации инноваций. Этот самофинансируемый подход повышает гибкость и скорость принятия решений. Кроме того, компания привлекает лучших талантов, некоторые исследователи зарабатывают более 1,3 миллиона долларов в год, в основном из китайских университетов.

Несмотря на то, что первоначальная требование DeepSeek в 6 миллионов долларов США кажется нереалистичным, что при употреблении только предварительного обучения использования графических процессоров и исключения исследований, уточнения, обработки данных и инфраструктуры, компания инвестировала более 500 миллионов долларов в разработку искусственного интеллекта. Его компактная структура облегчает эффективную инновационную реализацию по сравнению с более крупными, более бюрократическими конкурентами.

Пример DeepSeek демонстрирует хорошо финансируемую независимую компанию по искусственному искусству, успешно конкурирующую с отраслевыми гигантами. Тем не менее, его успех, несомненно, связан с существенными инвестициями, техническими прорывами и сильной командой, заставляя «революционный бюджет» претендовать на некоторое вводящее в заблуждение. Тем не менее, расходы компании остаются значительно ниже, чем конкуренты; Например, Deepseek потратил 5 миллионов долларов на R1, а Catgpt4 стоил 100 миллионов долларов. Эта разница в стоимости, даже учитывая фактические расходы DeepSeek, подчеркивает значительное конкурентное преимущество.