Лаборатория языковой конвергенции НИУ ВШЭ — Санкт‑Петербург и Центр технологий для общества Yandex Cloud разработали чат-бота для посетителей крупных музеев. Цифровой помощник помогает искать картины даже без точного названия или автора, сообщили в пресс-службе университета.
Пользователю достаточно описать произведение в свободной форме, например: «женщина смотрит в небо с рукой у груди». ИИ-помощник выдаёт варианты, подходящие под описание, а также предоставляет подробную информацию о картине и номер зала, где она находится. Функция работает на технологии векторного поиска Managed Service for OpenSearch платформы Yandex Cloud. Бот подбирает текстовое сопровождение картины из базы данных, которую создавали волонтёры и технологии искусственного интеллекта Yandex Cloud. Они подготовили аннотации к сотням произведений из Цифровой коллекции Эрмитажа.
Руководитель проектной группы, заведующая Лабораторией языковой конвергенции Анастасия Колмогорова и стажёр-исследователь Полина Налобина получили свидетельство интеллектуальной собственности на собранный массив данных. Сейчас его используют для изучения специфики текстовой генерации.
Специалисты и выпускники магистерской программы «Языковые технологии в бизнесе и образовании» расширили функционал бота. Героем цифрового помощника стал кот по кличке Эрсик. Персонаж и хранитель коллекции помимо поиска произведений живописи умеет отвечать на вопросы о посещении музея, рассказали лингвисты-разработчики Влада Погожельская и Мария Сергеева.
Компьютерные лингвисты протестировали модели на базе Yandex AI Studio и методы их дообучения. Это позволило боту отвечать в соответствии с образом героя. Кот Эрсик научился общаться в стиле сотрудника музея, мурлыкать и точно отвечать на вопросы. Разработчики собрали базу данных из официальной документации, исторической справки, отзывов на маршруты и текстов обращений пользователей в контакт-центр музея, подключили её к модели цифрового ассистента, подгрузили датасет и настроили поиск при помощи дополненной генерации, рассказала участница проектной группы Елизавета Сытикова.
Технологические решения могут широко применяться в музеях Санкт‑Петербурга и других городов. Каждый посетитель получает возможность сформировать персональную связь с произведениями искусства, соединив их с личной памятью и опытом.
Искусственный интеллект всё активнее проникает в сферу культуры и искусства, помогая решать сложные визуальные задачи. Интернет-газета «ЖУК» сообщала, что исследователи машинного обучения Apple представили нейросеть LiTo, которая восстанавливает трёхмерные объекты по одной фотографии. Большинство существующих моделей для генерации 3D нацелены на точную передачу геометрии и работают только с «плоскими» цветами поверхности, не понимая, как меняется внешний вид объекта при разном освещении.