Jessica Rumbelow và Matthew Watkins, 2 nhà nghiên cứu tại nhóm nghiên cứu độc lập SERI-MATS, đang điều tra các phản hồi của ChatGPT đối với việc cung cấp cho chatbot các chuỗi mã thông báo GPT lạ như “SolidGoldMagikarp”, “StreamerBot” và “TheNitromeFan”. Tuy nhiên, các phản hồi mà chatbot ChatGPT đưa ra đều khá kỳ quặc khi lảng tránh, đưa ra một từ hoàn toàn khác hoặc một con số lạ và thậm chí xúc phạm người hỏi.
Các nhà nghiên cứu đã gọi những cụm từ này là “từ khóa không thể nói ra” của ChatGPT, và điều này càng khẳng định các mô hình AI tồn tại những “hộp đen” bí ẩn. Chúng có những hạn chế và lỗi ngay cả với những yêu cầu đơn giản nhất liệu một công cụ như ChatGPT có thể tạo bài luận, viết mã hay vượt qua kỳ thi MBA hay không.
Ví dụ, khi hỏi chatbot này cụm từ “TheNitromeFan”, ứng dụng sẽ luôn trả về câu trả lời là “182” hoặc cụm từ “SolidGoldMagikarp” được hiểu là từ “phân phối” không liên quan. Ngay cả khi sử dụng mô hình GPT cũ hơn, AI này sẽ trả lời “Bạn là kẻ xấu” khi được hỏi từ khóa “StreamBot”.
Trước câu hỏi “TheNitromeFan là ai”, chatbot này đã nhận được câu trả lời rằng: “182 là số không phải người”.
ChatGPT đã đưa ra những phản hồi kỳ lạ khi được yêu cầu lặp lại cụm từ “TheNitromeFan”. Ảnh: Phó
Rumbelow và Watkins sau đó phát hiện ra rằng một phần của những cụm từ bí ẩn này khớp với tên tài khoản của một số người dùng Reddit. Điểm chung của những người dùng này là tham gia chủ đề “đếm số”.
Đây là một thử thách khá phổ biến trên Reddit, khi các thành viên tham gia sẽ bình luận với số lượng tăng dần với mong muốn kéo dài chủ đề đến vô tận. Bây giờ con số đã được đếm đến 5.000.000 sau gần 10 năm. Trong đó, TheNitromeFan, SolidGoldMagikarp, Smartstocks… là những tài khoản tích cực nhất trong chủ đề này.
Khi được hỏi về vấn đề này, chủ tài khoản TheNitromeFan cho biết anh khá bất ngờ với câu trả lời của ChatGPT. “Tôi không phải là người yêu thích công nghệ nên tôi không rõ lắm về các chi tiết. Tuy nhiên, tôi khá bất ngờ và thích thú khi một chatbot gần như hoàn hảo như vậy lại mắc lỗi một từ đơn giản”, anh chia sẻ. Có khá nhiều bạn bè và cả người lạ nhắn tin cho anh để hỏi về việc này.
Các nhà nghiên cứu đưa ra giả thuyết rằng, trong quá trình thu thập dữ liệu, OpenAI đã lấy những cụm từ xuất hiện trên Reddit nhưng đây chỉ là dữ liệu thô, chưa qua xử lý. Khi mô hình AI được đào tạo cẩn thận hơn, dữ liệu cũng được quản lý chặt chẽ hơn và AI không còn vướng phải những cụm từ đó nữa. Vì vậy, AI không biết phải làm gì với chúng.
Các nhà nghiên cứu cho biết họ đã thử nghiệm các biến thể khác nhau của các từ khóa trên như viết hoa thay vì viết thường, bỏ hoặc trừ một chữ cái. Lúc này, ChatGPT đã thực hiện thành công yêu cầu lặp lại các cụm từ mặc dù các từ đó không có nghĩa. Điều này chứng tỏ, chatbot này chỉ gặp lỗi với một số cụm từ cụ thể.
Theo Rumbelow và Watkins, vấn đề này không chỉ đơn thuần là những cụm từ xa lạ mà nó còn thể hiện những thiếu sót của ChatGPT và những khó khăn mà các nhà phát triển ứng dụng có thể gặp phải trong tương lai.
Rumbelow nói: “Chúng tôi quan tâm đến lý do tại sao những mô hình này hoạt động theo cách không thể đoán trước như vậy, đặc biệt nếu chúng hoạt động khác với những gì chúng được cho là phải làm. Điều quan trọng là phải phát triển các hệ thống mô hình AI đáng tin cậy và an toàn.”
“Tôi nghĩ chúng ta đang quá vội,” Watkins nói. Ngay cả khi các lỗi với các từ khóa này được sửa, chúng sẽ không giải quyết được gốc rễ của vấn đề.”
Đúng sai trong câu trả lời của AI không phải là điều mới. Trước đó, Paul von Hippel, giáo sư nghiên cứu về khoa học dữ liệu và thống kê tại Đại học Texas, cũng nhận thấy ChatGPT khá tệ trong môn toán khi chatbot liên tục đưa ra câu trả lời sai.
Bản thân Giám đốc điều hành OpenAI Sam Altman đã viết trên Twitter: “ChatGPT cực kỳ hạn chế, nhưng ở một số khía cạnh, đủ tốt để tạo ra thông tin sai lệch. Dựa vào chatbot này hoàn toàn là một sai lầm.”
Mira Murati, CTO của OpenAI cũng cho biết chatbot này vẫn đang cung cấp thông tin sai sự thật và bịa đặt thông tin. “Đây thực sự là thách thức chính trong tương lai. Chúng tôi chọn giao tiếp với AI dưới dạng đối thoại để người dùng có thể phản hồi thông tin không chính xác đến từ công cụ này”, Murati nói.
Tham khảo: Phó
Link nguồn: https://cafef.vn/da-tim-ra-tu-khoa-khien-chatgpt-phai-bo-tay-20230210135147765.chn
