El nuevo chatbot de Deepseek cuenta con una introducción impresionante: "Hola, fui creado para que puedas preguntar cualquier cosa y obtener una respuesta que incluso te sorprenda". Esta IA, un producto de la startup china Deepseek, se ha convertido rápidamente en un importante competidor del mercado, incluso contribuyendo a una caída significativa en el precio de las acciones de Nvidia. Su éxito proviene de una metodología única de arquitectura y capacitación que incorpora varias tecnologías innovadoras.

Predicción de múltiples token (MTP): a diferencia de la predicción tradicional de palabras por palabra, MTP pronostica múltiples palabras simultáneamente, analizando diferentes piezas de oraciones para una mayor precisión y eficiencia.

Mezcla de expertos (MOE): esta arquitectura aprovecha múltiples redes neuronales para procesar datos de entrada, acelerar la capacitación de IA y mejorar el rendimiento. Deepseek V3 utiliza 256 redes neuronales, activando ocho para cada tarea de procesamiento de tokens.

Atención latente de múltiples cabezas (MLA): este mecanismo se centra en piezas de oración cruciales, extrayendo repetidamente detalles clave de fragmentos de texto para minimizar la pérdida de información y capturar matices sutiles.

Inicialmente, Deepseek afirmó haber entrenado su poderosa red neuronal Deepseek V3 por solo $ 6 millones utilizando solo 2048 GPU. Sin embargo, el semianálisis reveló una infraestructura mucho más sustancial: aproximadamente 50,000 GPU de tolva NVIDIA, incluidas 10,000 H800, 10,000 H100 y GPU H20 adicionales, distribuidas en múltiples centros de datos. Esto se traduce en una inversión de servidor de aproximadamente $ 1.6 mil millones y los gastos operativos estimados en $ 944 millones.

Deepseek, una subsidiaria del Fondo de cobertura chino High-Flyer, posee sus centros de datos, que otorga un control completo sobre la optimización del modelo de IA y la implementación de innovación más rápida. Este enfoque autofinanciado mejora la flexibilidad y la velocidad de toma de decisiones. Además, la compañía atrae a los mejores talentos, con algunos investigadores ganando más de $ 1.3 millones anuales, principalmente de universidades chinas.

Si bien el reclamo inicial de costos de capacitación de $ 6 millones de Deepseek parece poco realista, solo se refiere al uso previo al uso de GPU y excluyendo la investigación, el refinamiento, el procesamiento de datos e infraestructura, la compañía ha invertido más de $ 500 millones en desarrollo de IA. Su estructura compacta facilita la implementación de innovación eficiente en comparación con competidores más grandes y burocráticos.

El ejemplo de Deepseek muestra una compañía de IA independiente bien financiada que compite con éxito con los gigantes de la industria. Sin embargo, su éxito está indudablemente vinculado a inversiones sustanciales, avances técnicos y un equipo fuerte, lo que hace que el "presupuesto revolucionario" reclame algo engañoso. Sin embargo, los costos de la compañía siguen siendo significativamente más bajos que los competidores; Por ejemplo, Deepseek gastó $ 5 millones en R1, mientras que ChatGPT4 costó $ 100 millones. Esta diferencia de costos, incluso considerando el gasto real de Deepseek, destaca una ventaja competitiva significativa.