O novo chatbot de Deepseek possui uma introdução impressionante: "Oi, fui criado para que você possa perguntar qualquer coisa e obter uma resposta que possa até surpreendê -lo". Esta IA, um produto da startup chinesa Deepseek, tornou -se rapidamente um grande concorrente de mercado, contribuindo para uma queda significativa no preço das ações da NVIDIA. Seu sucesso decorre de uma metodologia exclusiva de arquitetura e treinamento que incorpora várias tecnologias inovadoras.

Previsão com vários toques (MTP): Ao contrário da previsão tradicional de palavra por palavra, o MTP prevê várias palavras simultaneamente, analisando peças de frase diferentes para maior precisão e eficiência.

Mistura de especialistas (MOE): Esta arquitetura aproveita várias redes neurais para processar dados de entrada, acelerando o treinamento de IA e melhorando o desempenho. O Deepseek V3 utiliza 256 redes neurais, ativando oito para cada tarefa de processamento de token.

Atenção latente de várias cabeças (MLA): Esse mecanismo se concentra nas peças cruciais da frase, extraindo repetidamente os principais detalhes dos fragmentos de texto para minimizar a perda de informações e capturar nuances sutis.

A Deepseek alegou inicialmente ter treinado sua poderosa rede neural Deepseek V3 por meros US $ 6 milhões usando apenas 2048 GPUs. No entanto, a semiânica revelou uma infraestrutura muito mais substancial: aproximadamente 50.000 GPUs NVIDIA Hopper, incluindo 10.000 H800s, 10.000 H100s e GPUs H20 adicionais, distribuídos por vários data centers. Isso se traduz em um investimento em servidor de aproximadamente US $ 1,6 bilhão e despesas operacionais estimadas em US $ 944 milhões.

A Deepseek, uma subsidiária do fundo de hedge chinês, possui seus data centers, concedendo controle completo sobre a otimização do modelo de IA e uma implementação mais rápida da inovação. Essa abordagem autofinanciada aumenta a flexibilidade e a velocidade de tomada de decisão. Além disso, a empresa atrai os melhores talentos, com alguns pesquisadores ganhando mais de US $ 1,3 milhão anualmente, principalmente das universidades chinesas.

Embora a reivindicação inicial de custo de treinamento de US $ 6 milhões da Deepseek pareça irrealista-referindo-se apenas para pré-treinamento de uso da GPU e excluir pesquisas, refinamento, processamento de dados e infraestrutura-a empresa investiu mais de US $ 500 milhões em desenvolvimento de IA. Sua estrutura compacta facilita a implementação eficiente da inovação em comparação com concorrentes maiores e mais burocráticos.

O exemplo da Deepseek mostra uma empresa independente de IA bem financiada competindo com sucesso com gigantes do setor. No entanto, seu sucesso está inegavelmente ligado a investimentos substanciais, avanços técnicos e uma equipe forte, fazendo com que o "orçamento revolucionário" afirme um pouco enganoso. No entanto, os custos da empresa permanecem significativamente menores que os concorrentes; Por exemplo, a Deepseek gastou US $ 5 milhões em R1, enquanto o ChatGPT4 custou US $ 100 milhões. Essa diferença de custo, mesmo considerando as despesas reais da Deepseek, destaca uma vantagem competitiva significativa.