Российские исследователи разработали систему, которая помогает нейросетям генерировать код с меньшим числом уязвимостей. Результаты работы опубликованы в журнале «Труды ИСП РАН». Об этом «Жуковский.Life» сообщили в пресс-службе МФТИ.
Команда из Института системного программирования им. В. П. Иванникова РАН, МФТИ, НИУ ВШЭ, РТУ МИРЭА и Института AIRI создала метод, сочетающий генерацию кода нейросетями и статический анализ. Инструмент Svace проверяет программы на дефекты безопасности сразу после их создания искусственным интеллектом.
«Мы обнаружили, что недостаточно указать на ошибку — важно научить модель не повторять их. Наш подход, сочетающий обучение с подкреплением и обратную связь анализатора, позволяет модели не просто «зазубривать» правильные ответы, а вырабатывать навыки защитного программирования», — рассказал Данил Шайхелисламов, исследователь ИСП РАН, аспирант кафедры системного программирования МФТИ.
С распространением ИИ-помощников вроде ChatGPT и Copilot программировать стало проще, но до 40% сгенерированного кода содержит уязвимости. Новый подход позволяет снизить количество дефектов на 20%, а после нескольких итераций проверки нейросети выдают практически безупречный код. В будущем метод планируют расширить для большего числа языков программирования.
Ранее российские учёные уже изучали риски, связанные с автономной работой ИИ. Математики МФТИ и ИППИ РАН создали модель, показывающую, как алгоритмы теряют адекватность, обучаясь на собственных данных. Это исследование объяснило механизм возникновения «цифровых эхо-камер» — ситуации, когда ИИ начинает воспроизводить и усиливать собственные ошибки, что ведёт к его деградации.