Учёные ИТМО разработали первую в России систему глубокого поиска на диффузионных языковых моделях – DiffResearch. Об этом сообщили в пресс-службе ИТМО.
Система, использующая диффузионные модели, создаёт подробные отчёты в шесть раз быстрее, чем аналоги на классических моделях, при этом сохраняя высокое качество результатов. Это открытие значительно ускорит анализ научной литературы и подготовку аналитических материалов для бизнеса. Статья, посвящённая этому достижению, была принята на индустриальный трек EMNLP 2026, одной из ведущих мировых конференций по обработке естественного языка.
Большинство существующих ИИ-ассистентов функционируют на основе классических языковых моделей. Эти модели обрабатывают запросы последовательно, генерируя текст слово за словом. Ошибки, допущенные в начале, влияют на весь последующий текст, что замедляет процесс и делает его менее гибким. Аналогичные модели используются в системах глубокого поиска, которые собирают информацию из различных источников и формируют подробные отчёты. На подготовку такого отчёта может уходить от 15 до 30 минут.
Учёные из ИТМО усовершенствовали систему глубокого поиска, заменив классическую языковую модель на диффузионную. Диффузионные модели работают иначе: они генерируют текст не последовательно, а параллельно в нескольких местах, что напоминает процесс расшумления изображения на экране телевизора. Модель собирает текст из отдельных фрагментов, проходя через несколько циклов генерации и уточняя ранее созданные части. В отличие от классических моделей, диффузионная модель может изменять слова и исправлять ошибки на любом этапе, что значительно ускоряет процесс генерации.
Ещё одно важное преимущество DiffResearch – это возможность начинать поиск информации до завершения формулировки запроса. В традиционных системах поисковый запрос должен быть подготовлен полностью перед отправкой в поисковик. Диффузионная модель позволяет использовать уже сформированные части запроса для начала поиска, что сокращает время на подготовку запросов почти вдвое.
Несмотря на значительное ускорение, качество работы системы осталось на высоком уровне. При подборе источников она использует научные поисковые сервисы, как и при работе на классических моделях. Для оценки качества работы системы применялась методика RACE, которая автоматически оценивает готовый отчёт с помощью другой языковой модели. Эта модель проверяет полноту раскрытия темы, наличие содержательных выводов, выполнение требований пользователя и понятность текста. Учёные сравнили три версии системы: с классической моделью, с диффузионной моделью и с диффузионной моделью в режиме раннего извлечения ответов. Результаты оценки составили 0,3904, 0,3895 и 0,3969 соответственно по шкале от 0 до 1.
«Чтобы убедиться, что на скорость повлияла именно замена модели, мы провели эксперимент. Взяли ту же систему, оставили те же промпты, код поиска, оценку и меняли только сам „движок“ – на диффузионную модель и на сопоставимую классическую. Для проверки скорости мы использовали Deep Research Bench – набор из 100 задач уровня PhD по 22 научным областям. В результате система на диффузионных моделях выполнила их примерно в шесть раз быстрее, а заметнее всего ускорились планирование и написание отчета – в 10–12 раз», – рассказал главный разработчик DiffResearch, аспирант факультета информационных технологий и программирования ИТМО Алан-Барсаг Газзаев.
Алан-Барсаг Газзаев также подчеркнул, что область диффузионных языковых моделей является сравнительно новой. Первый воркшоп по этой теме прошёл в рамках NeurIPS лишь в 2026 году. Учёные из ИТМО стали первыми в России, кто внедрил эти модели в глубокий поиск. Более того, они разработали функцию, позволяющую системе извлекать поисковые запросы из черновиков ещё до завершения их формирования, что ранее не было описано ни в одном научном труде. Такие системы окажутся полезными в ситуациях, требующих быстрого освоения сложных тем, таких как образование, научные исследования, бизнес и медицина. В работе над системой участвовал аспирант Алексей Гаврилов, а руководство исследованием осуществлял доцент Сергей Муравьёв. Результаты своей работы команда представила на конференции EMNLP 2026, которая прошла в Будапеште.
Российские учёные развивают ИИ не только в поиске, но и в обучении моделей. Как рассказывала интернет-газета «ЖУК», учёные МФТИ разработали метод дообучения больших языковых моделей, который автоматически определяет наиболее важные слои нейросети и направляет на их настройку больше ресурсов. Это позволяет экономить вычислительные ресурсы.
