Chatbot mới của Deepseek tự hào về phần giới thiệu ấn tượng: "Xin chào, tôi được tạo ra để bạn có thể hỏi bất cứ điều gì và nhận được câu trả lời thậm chí có thể làm bạn ngạc nhiên." AI này, một sản phẩm của công ty khởi nghiệp Trung Quốc Deepseek, đã nhanh chóng trở thành một đối thủ cạnh tranh thị trường lớn, thậm chí góp phần làm giảm đáng kể giá cổ phiếu của NVIDIA. Thành công của nó bắt nguồn từ một phương pháp đào tạo và kiến ​​trúc độc đáo kết hợp một số công nghệ sáng tạo.

Dự đoán đa điểm (MTP): Không giống như dự đoán từng từ truyền thống, MTP dự báo đồng thời nhiều từ, phân tích các phần câu khác nhau để nâng cao độ chính xác và hiệu quả.

Hỗn hợp các chuyên gia (MOE): Kiến trúc này tận dụng nhiều mạng lưới thần kinh để xử lý dữ liệu đầu vào, tăng tốc đào tạo AI và cải thiện hiệu suất. Deepseek V3 sử dụng 256 mạng thần kinh, kích hoạt tám mạng cho mỗi nhiệm vụ xử lý mã thông báo.

Sự chú ý tiềm ẩn đa đầu (MLA): Cơ chế này tập trung vào các phần câu quan trọng, liên tục trích xuất các chi tiết chính từ các đoạn văn bản để giảm thiểu mất thông tin và nắm bắt các sắc thái tinh tế.

Deepseek ban đầu tuyên bố đã đào tạo mạng lưới thần kinh DeepSeek V3 mạnh mẽ của mình chỉ với 6 triệu đô la chỉ sử dụng GPU 2048. Tuy nhiên, bán phân giải cho thấy cơ sở hạ tầng đáng kể hơn nhiều: khoảng 50.000 GPU phễu NVIDIA, bao gồm 10.000 H800, 10.000 H100 và GPU H20 bổ sung, được phân phối trên nhiều trung tâm dữ liệu. Điều này có nghĩa là đầu tư máy chủ khoảng 1,6 tỷ đô la và chi phí hoạt động ước tính là 944 triệu đô la.

Deepseek, một công ty con của Quỹ phòng hộ Trung Quốc High Flyer, sở hữu các trung tâm dữ liệu của mình, cấp quyền kiểm soát hoàn toàn đối với tối ưu hóa mô hình AI và triển khai đổi mới nhanh hơn. Cách tiếp cận tự tài trợ này giúp tăng cường tính linh hoạt và tốc độ ra quyết định. Hơn nữa, công ty thu hút tài năng hàng đầu, với một số nhà nghiên cứu kiếm được hơn 1,3 triệu đô la hàng năm, chủ yếu từ các trường đại học Trung Quốc.

Trong khi yêu cầu chi phí đào tạo trị giá 6 triệu đô la của Deepseek xuất hiện không thực tế chỉ giới thiệu việc sử dụng GPU trước khi đào tạo và loại trừ nghiên cứu, tinh chỉnh, xử lý dữ liệu và cơ sở hạ tầng, công ty đã đầu tư hơn 500 triệu đô la vào phát triển AI. Cấu trúc nhỏ gọn của nó tạo điều kiện cho việc thực hiện đổi mới hiệu quả so với các đối thủ lớn hơn, quan liêu hơn.

Ví dụ của Deepseek cho thấy một công ty AI độc lập được tài trợ tốt cạnh tranh thành công với các đại gia công nghiệp. Tuy nhiên, thành công của nó không thể phủ nhận liên quan đến các khoản đầu tư đáng kể, những đột phá kỹ thuật và một nhóm mạnh mẽ, khiến cho "Ngân sách cách mạng" tuyên bố có phần sai lệch. Tuy nhiên, chi phí của công ty vẫn thấp hơn đáng kể so với các đối thủ cạnh tranh; Ví dụ, Deepseek đã chi 5 triệu đô la cho R1, trong khi TATGPT4 có giá 100 triệu đô la. Sự khác biệt về chi phí này, thậm chí xem xét chi tiêu thực tế của Deepseek, nêu bật một lợi thế cạnh tranh đáng kể.