МФТИ разработал метод выявления ошибок в рассуждениях нейросетей

Фото: сгенерировано нейросетью
Метод помогает выявлять логические ошибки в ответах нейросетей, даже если они звучат убедительно.

В лаборатории фундаментальных исследований искусственного интеллекта МФТИ разработали метод выявления некорректных рассуждений, которые генерируют большие языковые модели. Об этом сообщили в пресс-службе МФТИ на портале Naked Science.

Возможность проверки моделей искусственного интеллекта (ИИ) особенно актуальна в медицине и других сферах, где ошибки могут иметь серьёзные последствия. Результаты исследования опубликованы в журнале AI.

Мы используем большие языковые модели как инструменты для решения практических задач. Эти модели не только предоставляют ответы, но и демонстрируют промежуточные этапы рассуждений. На ранних этапах развития ИИ пользователи должны были формулировать запросы так, чтобы модель подробно объясняла свои мысли. Современные модели обладают этим навыком автоматически.

Однако одна из ключевых проблем – так называемые галлюцинации. Модели могут создавать вымышленные факты, ссылаться на несуществующие источники и генерировать логически ошибочные рассуждения, которые кажутся последовательными.

Большинство исследований галлюцинаций фокусируются на фактических ошибках, вымышленных данных или неправильных выводах. Однако надёжность диагностики или анализа зависит не только от точности фактов, но и от процесса отбора свидетельств, определения их значимости и сопоставления альтернатив.

Предлагаемый метод проверки основывается на том, что структура рассуждения может служить индикатором галлюцинаций. Анализ цепочек шагов позволит моделям различать обоснованные рассуждения от галлюцинаторных.

Для проверки идеи была составлена выборка из 1000 сгенерированных жалоб пациентов с аутоиммунными и ревматологическими заболеваниями. Жалобы были сформулированы неоднозначно, чтобы модель не могла поставить диагноз по одному ключевому слову. Для каждой жалобы были подготовлены два варианта рассуждений: обоснованное и галлюцинаторное, содержащее одну из шести типичных ошибок.

Далее каждое рассуждение было представлено в виде схемы. Текст делили на короткие фрагменты, каждому из которых присваивали роль: ключевое утверждение, подтверждающий довод, противоречащий довод, игнорирование неудобного факта, вывод. Схема отображает структуру рассуждения: что является главным, что второстепенным, учтены ли противоречия.

Сравнительный анализ схем выявил значительные различия. В обоснованных рассуждениях ключевые свидетельства встречались в 79% случаев, а в галлюцинаторных – только в 15%. Этап объединения различных фактов перед выводом присутствовал в 79% обоснованных рассуждений и только в 16% галлюцинаторных. Кроме того, галлюцинаторные рассуждения были короче и проще по структуре: модели переходили к выводу, минуя этап сопоставления данных.

На следующем этапе классификатор был обучен различать обоснованные и галлюцинаторные рассуждения на основе их структуры. Классификатор верно определял тип рассуждения примерно в 81% случаев, используя только схемы без содержания.

Затем структурный сигнал был объединён с другими сигналами. При сочетании трёх компонентов классификатор правильно распознавал галлюцинаторные рассуждения в 84% случаев, тогда как без структурного сигнала – только в 72%. Последующие эксперименты показали, что ни один из отдельных сигналов не достигал максимального результата: они дополняют друг друга.

«Анализ дискурса не заменяет проверку фактов, но помогает выявлять структурно необоснованные цепочки рассуждений, даже если они изложены бегло и убедительно», – прокомментировал Борис Галицкий, ведущий научный сотрудник лаборатории фундаментальных исследований искусственного интеллекта Института искусственного интеллекта МФТИ.

Структурный анализ вносит значимое дополнение в исследование галлюцинаций больших языковых моделей, хотя и не может полностью заменить проверку фактов. Борис Галицкий отмечает три ключевых достижения исследователей. Во-первых, был создан набор данных для изучения характеристик галлюцинаторных рассуждений на уровне дискурса. Во-вторых, был выявлен набор структурных признаков, позволяющих отличить обоснованные объяснения по цепочке мыслей от галлюцинаторных. Наконец, было продемонстрировано, как эти признаки могут быть использованы для интерпретируемого обнаружения галлюцинаций и верификации рассуждений, что способствует разработке более надёжных и объяснимых систем на основе больших языковых моделей.

Проблема ошибок нейросетей касается не только медицины и науки – с ней сталкиваются и в индустрии видеоигр. Интернет-газета «ЖУК» рассказывала, что игровое сообщество всё жёстче критикует ошибки искусственного интеллекта в видеоиграх, а разработчики продолжают внедрять ИИ, чтобы снизить затраты на производство. Игроки жалуются на роботизированные диалоги и шестипалых персонажей.

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Рейтинг
( Пока оценок нет )
Виолетта Биенко/ автор статьи
Загрузка ...
Интернет-газета «ЖУК»

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: