Nvidia đã công bố một phần mềm mới có tên gọi NeMo Guardrails có khả năng buộc các siêu AI như GPT của OpenAI hay LaMDA của Google… không trả lời lan man, tự sáng tác, tránh chủ đề độc hại. Phần mềm này được đánh giá là một trong những bước tiến quan trọng nhằm giải quyết vấn đề siêu AI bị "ảo giác".

Các siêu AI như ChatGPT, Bard được đào tạo để trả lời như con người nhưng chúng lại có xu hướng xấu là tạo ra câu trả lời có phần ngớ ngẩn, thậm chí nguy hiểm.

NeMo Guardrails là lớp phần mềm nằm giữa người dùng và các siêu AI. Bằng cách thêm nhiều lớp lọc những kết quả được cho là độc hại của AI, ngăn AI nói ra chủ đề ngoài tầm hiểu biết mà chỉ nói về chủ đề người dùng đang đề cập hoặc nhắc đến. Điều này giúp giảm khả năng AI đưa ra các câu trả lời tự bịa, loại bỏ nội dung độc hại và hạn chế việc thực thi các lệnh có hại trên máy tính.

Ví dụ, NeMo Guardrails sẽ hạn chế tối đa một chatbot phục vụ khách hàng được thiết kế để nói về sản phẩm của công ty trả lời những câu liên quan đến nhân sự nội bộ, thông tin bảo mật của công ty và các sản phẩm của đối thủ cạnh tranh dù khách hàng hỏi.

"Cảnh sát AI" của Nvidia kiểm tra câu trả lời tự bịa của siêu AI bằng cách dùng một mô hình ngôn ngữ lớn khác. Nemo Guardrails sẽ không hiển thị nội dung đến người dùng nếu chatbot không đưa ra câu trả lời phù hợp.

NeMo Guardrails được Nivdia cung cấp dưới dạng nguồn mở thông qua các dịch vụ của hãng và có thể dùng trong ứng dụng thương mại.