Оценка достоверности крупных языковых моделей: результаты исследования DecodingTrust

Команда, состоящая из нескольких университетов и исследовательских институтов, недавно выпустила платформу для комплексной оценки надежности больших языковых моделей (LLMs). Это исследование направлено на всестороннюю оценку надежности генеративных предварительно обученных трансформерных моделей (GPT).

Исследование выявило несколько ранее не раскрытых уязвимостей, связанных с надежностью. Например, модели GPT склонны генерировать вредные и предвзятые выводы и могут раскрывать личную информацию из обучающих данных и истории диалогов. Хотя в стандартных бенчмарках GPT-4 обычно более надежен, чем GPT-3.5, при столкновении с злонамеренно разработанными подсказками GPT-4 оказывается более уязвимым для атак. Это может быть связано с тем, что GPT-4 более строго следует вводящим в заблуждение указаниям.

Исследовательская группа провела всестороннюю оценку модели GPT с восьми разных точек зрения, включая ее производительность в условиях противодействия. Например, они оценили устойчивость модели к текстовым атакующим воздействиям, используя стандартные бенчмарки и самостоятельно разработанные сложные наборы данных.

Исследование также показало, что модели GPT в некоторых случаях могут быть введены в заблуждение и генерировать предвзятое содержание, особенно когда сталкиваются с тщательно разработанными вводящими в заблуждение системными подсказками. Степень предвзятости модели часто зависит от упомянутых в пользовательских подсказках групп населения и тем стереотипов.

В области конфиденциальности исследования показали, что модели GPT могут раскрывать чувствительную информацию из обучающих данных, такую как адреса электронной почты. GPT-4 в целом более надежен в защите личной идентифицируемой информации по сравнению с GPT-3.5, но обе модели хорошо справляются с некоторыми видами информации. Однако, когда в истории диалога появляются примеры утечки конфиденциальности, обе модели могут раскрывать все типы личной информации.

Это исследование предоставляет важные идеи для оценки и улучшения надежности крупных языковых моделей. Исследовательская группа надеется, что эта работа сможет стимулировать дальнейшие исследования и в конечном итоге помочь в разработке более мощных и надежных ИИ-моделей.