Đánh giá độ tin cậy của các mô hình ngôn ngữ lớn: Nghiên cứu DecodingTrust

Một đội ngũ gồm nhiều trường đại học và viện nghiên cứu gần đây đã phát hành một nền tảng đánh giá toàn diện độ tin cậy của các mô hình ngôn ngữ lớn (LLMs). Nghiên cứu này nhằm đánh giá toàn diện độ tin cậy của các mô hình transformer được huấn luyện trước sinh (GPT).

Nghiên cứu đã phát hiện ra một số lỗ hổng liên quan đến độ tin cậy chưa được công bố trước đây. Ví dụ, mô hình GPT dễ dàng tạo ra các đầu ra gây hại và thiên kiến, và có thể rò rỉ thông tin riêng tư trong dữ liệu đào tạo và lịch sử trò chuyện. Mặc dù trong các bài kiểm tra chuẩn, GPT-4 thường đáng tin cậy hơn GPT-3.5, nhưng khi đối mặt với các gợi ý được thiết kế ác ý, GPT-4 lại dễ bị tấn công hơn. Điều này có thể là do GPT-4 tuân thủ chặt chẽ các chỉ dẫn gây hiểu lầm.

Nhóm nghiên cứu đã đánh giá toàn diện mô hình GPT từ tám góc độ khác nhau, bao gồm hiệu suất của mô hình trong môi trường đối kháng. Ví dụ, họ đã đánh giá tính chống chịu của mô hình đối với các cuộc tấn công đối kháng văn bản, sử dụng các tiêu chuẩn chuẩn và tập dữ liệu thách thức tự thiết kế.

Nghiên cứu cũng phát hiện rằng, trong một số trường hợp, mô hình GPT có thể bị dẫn dắt để tạo ra nội dung thiên lệch, đặc biệt khi đối mặt với các gợi ý hệ thống gây hiểu lầm được thiết kế cẩn thận. Mức độ thiên lệch của mô hình thường phụ thuộc vào các nhóm dân cư và chủ đề khuôn mẫu được đề cập trong gợi ý của người dùng.

Về mặt quyền riêng tư, nghiên cứu đã phát hiện rằng các mô hình GPT có thể tiết lộ thông tin nhạy cảm trong dữ liệu đào tạo, chẳng hạn như địa chỉ email. GPT-4 tổng thể mạnh mẽ hơn GPT-3.5 trong việc bảo vệ thông tin cá nhân, nhưng cả hai mô hình đều thể hiện tốt trong một số loại thông tin nhất định. Tuy nhiên, khi có các ví dụ về rò rỉ quyền riêng tư trong lịch sử đối thoại, cả hai mô hình đều có thể tiết lộ tất cả các loại thông tin cá nhân.

Nghiên cứu này cung cấp những hiểu biết quan trọng để đánh giá và cải thiện độ tin cậy của các mô hình ngôn ngữ lớn. Nhóm nghiên cứu hy vọng công việc này có thể thúc đẩy nhiều nghiên cứu hơn nữa và cuối cùng giúp phát triển các mô hình AI mạnh mẽ và đáng tin cậy hơn.