OpenAI tới 700.000 đô la (hơn 16 tỷ đồng) mỗi ngày cho cơ sở hạ tầng công nghệ để AI chạy trên đó, Dylan Patel, nhà phân tích chính của công ty nghiên cứu chất bán dẫn SemiAnalysis, nói với The Information.
Đó là vì ChatGPT yêu cầu sức mạnh tính toán cực lớn để tính toán phản hồi dựa trên lời nhắc của người dùng. "Hầu hết chi phí này dựa trên các máy chủ đắt tiền mà họ yêu cầu," Patel nói.
Trong một cuộc phỏng vấn với Insider, Patel cho biết việc vận hành bây giờ thậm chí còn tốn kém hơn, vì ước tính ban đầu của ông dựa trên mô hình GPT-3 của OpenAI, nhưng GPT-4, mô hình mới nhất của công ty, thậm chí còn đắt hơn để chạy.
Patel và Afzal Ahmad, một nhà phân tích khác tại SemiAnalysis, cho biết: Mặc dù việc đào tạo các mô hình ngôn ngữ lớn của ChatGPT có thể tiêu tốn hàng chục triệu đô la, nhưng chi phí vận hành hoặc chi phí suy luận vượt xa chi phí đào tạo khi triển khai một mô hình ở bất kỳ quy mô hợp lý nào.
Trên thực tế, chi phí suy luận ChatGPT vượt quá chi phí đào tạo hàng tuần. Các công ty sử dụng mô hình ngôn ngữ của OpenAI đã phải trả giá đắt trong nhiều năm.
Nick Walton, Giám đốc điều hành của Latitude, một công ty khởi nghiệp đằng sau trò chơi dungeon AI sử dụng lời nhắc để tạo cốt truyện, cho biết việc chạy mô hình này khiến công ty phải trả 200.000 USD (hơn 4,6 tỷ đồng) mỗi tháng để AI trả lời hàng triệu câu hỏi. truy vấn của người dùng vào năm 2021, CNBC đưa tin.
Chi phí cao là lý do tại sao Walton quyết định chuyển sang một nhà cung cấp phần mềm ngôn ngữ được hỗ trợ bởi AI21 Labs. Theo ông, điều này đã cắt giảm một nửa chi phí AI của công ty xuống còn 100.000 đô la (hơn 2,3 tỷ đồng) một tháng.
