Chi hơn 15 tỷ đồng mỗi ngày để vận hành ChatGPT, Microsoft bí mật tự làm chip AI để giảm chi phí

Theo Dylan Patel, nhà phân tích chính của công ty nghiên cứu chất bán dẫn SemiAnalysis, việc chạy ChatGPT sẽ tiêu tốn tới 700.000 USD mỗi ngày. Đó là chi phí cần thiết cho hệ thống cơ sở hạ tầng dành cho chatbot AI này để giúp hàng triệu người trên thế giới viết thư xin việc, lên kế hoạch tập luyện, làm bài tập hoặc chỉnh sửa bài đăng trên mạng xã hội.

Để đáp ứng các nhu cầu trên, ChatGPT yêu cầu khối lượng tính toán khổng lồ để đưa ra câu trả lời dựa trên truy vấn của người dùng. Ông Patel nói: “Phần lớn chi phí này là do họ cần máy chủ đắt tiền.”

Ngay cả đối với mô hình GPT-4 mới ra mắt của OpenAI, chi phí vận hành này thậm chí còn lớn hơn, vì quy mô dữ liệu của mô hình mới thậm chí còn lớn hơn, do đó sẽ cần nhiều sức mạnh xử lý hơn. .

Một phần đáng kể của chi phí này là do chip đồ họa A100 đắt tiền của Nvidia. Những con chip này chiếm tới 90% thị phần GPU của trung tâm dữ liệu phục vụ đào tạo và vận hành các mô hình AI. Mới đây nhất, Nvidia cũng giới thiệu chip H100 với hiệu suất luyện tập gấp 9 lần A100.

Tất nhiên, cả hai GPU trung tâm dữ liệu này đều không hề rẻ. Trong khi chip A100 có giá 10.000 USD mỗi chiếc thì CNBC đưa tin giá bán của chip H100 lên tới 40.000 USD khi được rao bán trên eBay. Hiệu suất cao cùng với việc triển khai các trung tâm dữ liệu AI tốn kém là lý do khiến chi phí vận hành ChatGPT quá cao.

Do đó, một báo cáo gần đây của The Information với các nguồn thân cận cho biết Microsoft đang muốn cắt giảm chi phí cho cơ sở hạ tầng máy chủ bằng cách phát triển chip riêng cho các mô hình AI. Tên Athena.

Theo nguồn tin từ The Information, dự án chip Athena này được Microsoft bắt đầu phát triển từ năm 2019 – cùng thời điểm với khoản đầu tư 1 tỷ USD đầu tiên của Microsoft vào OpenAI, công ty đã tạo ra ChatGPT và mô hình GPT-4. .

Theo báo cáo, con chip này hiện đang được thử nghiệm bí mật trên một nhóm nhỏ nhân viên của Microsoft và OpenAI. Con chip này được thiết kế để có thể xử lý cả đào tạo và chạy các hệ thống AI — tất nhiên là trên các máy chủ nội bộ của Microsoft chứ không phải PC ở nhà của bạn. Dự kiến, con chip Athena này sẽ được sản xuất trên tiến trình 5nm của TSMC và ra mắt vào đầu năm sau.

Với tham vọng ngày càng lớn đối với các mô hình AI, thật dễ hiểu tại sao Microsoft cần phải có một công nghệ độc quyền của riêng mình. Bên cạnh ChatGPT, một chatbot với công nghệ tương tự cũng được tích hợp vào ứng dụng Bing của hãng, ngoài ra, một chatbot khác cũng được hãng phát triển để đưa vào các ứng dụng kinh doanh khác, bao gồm cả bộ ứng dụng. Microsoft 365 và chính Windows 11.

Với quy mô ứng dụng chatbot ngày càng mở rộng, số lượng người dùng tăng nhanh, chi phí vận hành cũng như xây dựng cơ sở hạ tầng để đào tạo các mô hình AI đó có thể tăng lên gấp nhiều lần. so với 700.000 đô la hiện tại cho ChatGPT. Một bộ xử lý dành riêng cho các tác vụ này có thể giảm đáng kể chi phí đó và cũng giúp tham vọng của Microsoft không bị phụ thuộc hoàn toàn vào đối tác Nvidia.

Điều này càng quan trọng hơn khi đối thủ của họ, Google mới đây cũng đã giới thiệu bộ xử lý AI dành cho siêu máy tính có tên Tensor Processing Unit. Công ty cho biết họ có thể kết nối trực tiếp hàng ngàn con chip này với nhau để tạo ra một siêu máy tính AI học máy. Hệ thống này đang được sử dụng để đào tạo mô hình PaLM AI của công ty, công nghệ nền tảng điều hành chatbot Bard AI hiện tại.

Ngoài việc tăng tốc hiệu suất xử lý máy học AI của hệ thống, Google cho biết con chip này sử dụng ít năng lượng hơn từ 2 đến 6 lần và thải ra lượng khí CO2 ít hơn 20 lần so với “máy gia tốc quy trình”. quản lý tác vụ đương đại”. So với chi phí khổng lồ và tiêu tốn năng lượng khủng khiếp để đào tạo và vận hành các mô hình AI hiện nay, chắc chắn Microsoft cũng sẽ muốn làm điều tương tự để không bị tụt hậu quá xa.

Link nguồn: https://cafef.vn/ton-hon-15-ty-dong-moi-ngay-de-van-hanh-chatgpt-microsoft-bi-mat-tu-lam-chip-ai-de-giam-chi-phi-188230423115542999.chn