Vị Trí Thống Trị Phần Cứng AI Của NVIDIA Bị Thách Thức Khi OpenAI Sử Dụng Dịch Vụ Của Google TPU

Cho đến gần đây, GPU NVIDIA cung cấp năng lượng cho cả đào tạo mô hình và suy luận cho các sản phẩm của OpenAI. Đào tạo các mô hình ngôn ngữ lớn trên các thẻ đó vẫn tốn kém, nhưng đó là một quá trình định kỳ. Ngược lại, suy luận chạy liên tục và có chi phí đáng kể riêng. ChatGPT hiện phục vụ hơn 100 triệu người dùng hoạt động hàng ngày, bao gồm 25 triệu người đăng ký trả phí. Các hoạt động suy luận chiếm gần một nửa trong ngân sách tính toán hàng năm ước tính là 40 tỷ đô la của OpenAI. TPU của Google, như v6e “Trillium” cung cấp giải pháp tiết kiệm chi phí hơn cho suy luận trạng thái ổn định, vì chúng được thiết kế dành riêng cho thông lượng cao và độ trễ thấp.

Ngoài việc tiết kiệm chi phí, quyết định này phản ánh mong muốn của OpenAI là giảm sự phụ thuộc vào bất kỳ nhà cung cấp nào. Microsoft Azure là nhà cung cấp đám mây chính của họ kể từ khi đầu tư và hợp tác ban đầu. Tuy nhiên, tình trạng thiếu hụt nguồn cung GPU và biến động giá đã bộc lộ điểm yếu khi phụ thuộc quá nhiều vào một nguồn duy nhất. Bằng cách thêm Google Cloud vào cơ sở hạ tầng của mình, OpenAI có được sự linh hoạt hơn, tránh bị nhà cung cấp khóa chặt và có thể mở rộng quy mô trơn tru hơn trong thời gian sử dụng cao điểm.

Đối với Google, việc giành được OpenAI làm khách hàng TPU mang lại sự xác thực mạnh mẽ cho quá trình phát triển chip nội bộ của họ. TPU trước đây hầu như chỉ dành riêng cho các dự án nội bộ như cung cấp năng lượng cho mô hình Gemini. Giờ đây, chúng đang thu hút các tổ chức hàng đầu như Apple và Anthropic. Lưu ý rằng, ngoài suy luận v6e, Google còn thiết kế TPU để đào tạo (v6p chưa được công bố), nghĩa là các công ty có thể mở rộng toàn bộ quá trình đào tạo của mình trên cơ sở hạ tầng của Google theo yêu cầu.