Учёные МФТИ с коллегами из Института биологии и биомедицины ННГУ им. Н. И. Лобачевского разработали механизм, который позволяет искусственным нейронным сетям, имитирующим работу мозга, сохранять стабильность и избегать сбоев. Об этом сообщает ФизТех на портале naked-science.ru.
Принцип гомеостаза, который заключается в способности систем поддерживать равновесие за счёт внутренних резервов, стал основой для разработки цифровой архитектуры. Это свойство, характерное для биологических объектов, было успешно интегрировано в цифровую среду.
Для реализации этой идеи учёные создали искусственные нейросети, способные в реальном времени контролировать свою активность и гибко регулировать силу сигналов между нейронами. Благодаря этому система может подавлять перевозбуждения и избегать неконтролируемых состояний.
Эксперименты проводились на основе импульсной нейронной сети, структура которой максимально приближена к функционированию биологического мозга. В таких системах сигналы передаются между нейронами в виде коротких электрических импульсов, а в остальное время нейроны остаются неактивными, что значительно снижает энергопотребление по сравнению с традиционными нейросетями.
Исследование показало, что при низких целевых частотах сеть увеличивает количество импульсов в каждом всплеске, а при высоких – частоту самих всплесков. Это даёт системе возможность автоматически адаптироваться к различным уровням активности и сохранять стабильность в широком диапазоне условий.
Кроме того, было обнаружено, что кратковременная синаптическая депрессия играет ключевую роль в подавлении перевозбуждений. Этот процесс заключается в временном ослаблении передачи сигналов между нейронами после интенсивной активности, что предотвращает лавинообразное нарастание возбуждений.
Учёные также внедрили алгоритм долговременной пластичности, который изменяет вес связей между нейронами в зависимости от интервалов между импульсами. Это позволяет всем нейронам синхронно реагировать на внешние стимулы в широком диапазоне частот.
В итоге система научилась генерировать «сетевые спайки» – кратковременные разряды, в которых участвуют практически все нейроны. Если активность превышает допустимый порог, нейросеть переключается в режим пропуска лишних стимулов. При генерации ответа система выдаёт мощный синхронный разряд, что делает передачу сигнала устойчивой к помехам.
«Это свойство, которое в большей степени присуще биологическим объектам, было реализовано в цифровой архитектуре», – пояснил Виктор Казанцев, руководитель лаборатории нейробиоморфных технологий МФТИ и кафедры нейротехнологий Института биологии и биомедицины ННГУ им. Н. И. Лобачевского.
Исследователи утверждают, что разработанные механизмы могут послужить основой для создания нейроморфных процессоров, способных конкурировать с человеческим мозгом по энергоэффективности. Благодаря встроенной системе саморегуляции эти процессоры будут устойчивы к сбоям и помехам, что позволит избежать «зависаний». Такие технологии могут быть полезны в автономных роботах, которые могут принимать решения без постоянного подключения к облачным серверам. Результаты работы опубликованы в журнале The European Physical Journal Special Topics при поддержке Министерства науки и высшего образования Российской Федерации.
МФТИ работает над устойчивостью нейросетей в нескольких направлениях. Как рассказывала интернет-газета «ЖУК», учёные МФТИ разработали SimplexLoRA – метод дообучения больших языковых моделей, который автоматически определяет наиболее важные слои нейросети и направляет на их настройку больше ресурсов.