Международная команда с участием исследователей ФКН НИУ ВШЭ создала корпус KoWit-24 из 2700 заголовков с игрой слов. Это позволило оценить, как искусственный интеллект распознаёт и объясняет языковую игру. Об этом «Жуковский.Life» сообщили в пресс-службе вуза.
Эксперименты с пятью большими языковыми моделями, включая GPT-4o и GigaChat, подтвердили: даже передовые системы часто ошибаются. Интерпретация игры слов является для них более сложной задачей, чем её выявление.
«KoWit-24 закрывает две ключевые проблемы прежних наборов — даёт контекст к каждому заголовку и многоуровневую разметку. Это превращает подборку примеров в полноценный «тестовый стенд» для ИИ», — отмечает один из авторов работы, доцент факультета компьютерных наук НИУ ВШЭ Павел Браславский.
Игра слов — частый приём в российских новостных заголовках для привлечения внимания или усиления иронии. Например, «Особо бумажные персоны» обыгрывает фразу «особо важные персоны». Новый корпус содержит заголовки за 2021-2023 годы с разметкой типа приёма, ключевых слов и отсылок. Результаты работы представлены на конференции RANLP, а данные опубликованы в открытом доступе.
Проблема склонности нейросетей к генерации ложной информации, так называемым «галлюцинациям», активно исследуется в научной среде. Так, недавно учёный ввёл термин «алгоритмическая шизофрения» для описания склонности больших языковых моделей к генерации вымышленных фактов. Он проводит прямую параллель между этим явлением и симптомами психических заболеваний, такими как галлюцинации.