Theo thông báo, Cerebras đã đưa ra 7 mô hình, tất cả đều được đào tạo trên một siêu máy tính AI có tên Andromeda, bao gồm một mô hình ngôn ngữ nhỏ với 111 triệu tham số và một mô hình ngôn ngữ lớn hơn với 13 tỷ tham số. Mô hình càng có nhiều tham số thì càng có thể thực hiện các chức năng chung phức tạp hơn.
Ví dụ: chatbot ChatGPT của công ty OpenAI ra mắt vào cuối năm ngoái có 175 tỷ tham số. Chatbot này có thể làm thơ, nghiên cứu, từ đó thu hút sự quan tâm và tài trợ lớn từ các doanh nghiệp để phát triển AI.
Cerebras cho biết các mô hình AI nhỏ có thể được triển khai trên điện thoại hoặc loa thông minh, trong khi các mô hình lớn hơn chạy trên PC hoặc máy chủ. Công ty lưu ý rằng các nhiệm vụ phức tạp như tóm tắt các đoạn văn lớn đòi hỏi các mô hình quy mô lớn hơn.
Tuy nhiên, Karl Freund, một nhà tư vấn chip tại công ty nghiên cứu Cambrian AI, cho biết “lớn hơn không phải lúc nào cũng tốt hơn”.
Ông Freund cho biết đã có một số báo cáo cho rằng một mô hình có số tham số ít hơn vẫn có thể hoạt động chính xác nếu người dùng huấn luyện nó nhiều hơn. Do đó, chuyên gia này đánh giá sẽ có sự đánh đổi giữa mô hình có thang tham số lớn và mô hình được đào tạo sâu hơn.
Andrew Feldman, người sáng lập kiêm Giám đốc điều hành của Cerebras, cho biết mô hình lớn nhất của công ty mất hơn một tuần để đào tạo, trong khi điều này thường có thể mất vài tháng. Khả năng tăng tốc đó là do kiến trúc của hệ thống Cerebras, bao gồm một con chip có kích thước bằng một chiếc đĩa ăn tối được chế tạo dành riêng cho đào tạo AI.
Hầu hết các mô hình AI ngày nay đều được đào tạo trên chip của Nvidia Corp, nhưng ngày càng có nhiều công ty như Cerebras đang cố gắng cạnh tranh để giành thị phần trong thị trường đó. Ông Feldman cho biết các mô hình được đào tạo trên hệ thống Cerebras cũng có thể được sử dụng trên hệ thống Nvidia để đào tạo hoặc tùy chỉnh thêm.
Link nguồn: https://cafef.vn/cerebras-tung-ra-cac-mo-hinh-ma-nguon-mo-tuong-tu-chatgpt-18823032914331753.chn
