Vận hành ChatGPT tốn kém thế nào?
Với chi phí vận hành ChatGPT vô cùng tốn kém, OpenAI có thể đang cùng Microsoft phát triển phần cứng nhằm giảm chi phí hoạt động cho ChatGPT.
Ngoài việc nhanh chóng đạt được 100 triệu người dùng tích cực vào tháng 1/2023, một kỳ tích mà trước đây các thương hiệu công nghệ phải mất nhiều năm mới đạt được, ChatGPT đã phải vật lộn với các vấn đề về lưu lượng truy cập và dung lượng cao làm chậm và sập máy chủ.
Dylan Patel, nhà phân tích tài chính tại hãng nghiên cứu bán dẫn SemiAnalysis cho biết, việc vận hành ChatGPT sẽ tiêu tốn đến 700.000 USD mỗi ngày. Đó là chi phí cần thiết cho hệ thống hạ tầng để chatbot AI này giúp hàng triệu người trên thế giới viết thư xin việc, lên kế hoạch tập luyện, làm bài tập hoặc chỉnh sửa bài đăng trên mạng xã hội. Phần lớn chi phí này đến từ các máy chủ đắt đỏ.
OpenAI đã cố gắng khắc phục điều này bằng cách giới thiệu dịch vụ ChatGPT Plus trả phí với mức giá 20 USD mỗi tháng. Tuy nhiên, chưa có thông tin nào về số lượng người dùng đăng ký tùy chọn trả phí.
OpenAI hiện đang sử dụng những con chip đồ họa A100 đắt đỏ của GPU Nvidia. Các chip này chiếm đến 90% thị phần GPU trung tâm dữ liệu dành cho việc huấn luyện và vận hành các mô hình AI. Mới đây nhất, Nvidia còn giới thiệu chip H100 với hiệu năng huấn luyện cao gấp 9 lần so với A100.
Giá thành cả 2 loại GPU trung tâm dữ liệu này đều không hề rẻ. Trong khi chip A100 có giá 10.000 USD mỗi sản phẩm, báo cáo của CNBC cho biết, giá bán của chip H100 còn lên đến mức 40.000 USD khi rao bán trên eBay. Hiệu năng cao cùng với chi phí triển khai các trung tâm dữ liệu AI đắt đỏ là lý do làm cho chi phí vận hành ChatGPT cao đến như vậy. Trong khi đó, các nhà phân tích trong ngành kỳ vọng công ty có thể sẽ cần thêm 30.000 GPU từ Nvidia để duy trì hiệu suất thương mại chỉ trong năm 2023.
Một báo cáo mới đây của trang The Information với các nguồn tin thân cận cho biết, Microsoft đang tìm cách cắt giảm chi phí cho hạ tầng máy chủ bằng cách tự phát triển một con chip riêng cho các mô hình AI có tên gọi Athena.
Theo Windows Central, Microsoft đã có sẵn con chip AI này với tên mã là Athena. Nó được Microsoft phát triển từ năm 2019 – cùng thời điểm với khoản đầu tư 1 tỷ USD đầu tiên của Microsoft vào hãng OpenAI. Con chip này hiện được thử nghiệm nội bộ với các nhóm riêng của thương hiệu và dự kiến sẽ được giới thiệu vào năm tới cho các dịch vụ Azure AI của Microsoft.
Chưa có thông tin nào về cách thức hoặc thời điểm con chip sẽ chuyển sang OpenAI để sử dụng cho ChatGPT nhưng dự kiến nó sẽ xảy ra sớm. Tuy chip AI có thể không thay thế hoàn toàn GPU Nvidia nhưng sẽ giúp giảm nhu cầu về phần cứng. Từ đó, giúp giảm chi phí vận hành ChatGPT, Windows Central cho biết thêm.
