Оказалось, что ускорить ИИ можно в 500 раз: неожиданный подход переворачивает привычные методы обучения

Современные нейросети достигают огромных масштабов, что делает их использование всё более дорогостоящим, об этом сообщает НИУ ВШЭ. По мере роста числа параметров увеличиваются требования к памяти, вычислительным ресурсам и инфраструктуре. Исследователи Лаборатории социальной и когнитивной информатики НИУ ВШЭ — Санкт-Петербург под руководством Сергея Кольцова предложили метод, который ускоряет поиск оптимального размера модели в сотни раз, используя подходы статистической физики. Этот прорыв позволяет работать с крупными сетями значительно эффективнее и без ощутимой потери качества.

Почему сжатие становится ключевой задачей

Крупные модели ИИ с десятками и сотнями миллиардов параметров становятся стандартом для отрасли, но их эксплуатация требует сотен гигабайт памяти. В исследовании подчёркивается, что такие ресурсы создают серьёзный барьер. Как пояснил руководитель проекта Сергей Кольцов, "крупнейшие модели требуют сотен гигабайт памяти: это создает экономический барьер и ограничивает доступ к технологиям". По этой причине задача компактного и точного сжатия нейросетей становится критически важной для больших компаний, государственных структур и сектора здравоохранения.

Особенно остро проблема проявляется там, где использование внешних облаков недопустимо. Банковская сфера работает в закрытых контурах, медицинские учреждения защищают данные пациентов, а государственные организации обязаны сохранять конфиденциальность информации. В подобных условиях востребованы модели, которые можно запускать локально — вплоть до серверов в дата-центрах или рабочих ноутбуков специалистов.

Традиционные методы сжатия основаны на последовательных экспериментах: исследователи убирают часть параметров, затем тестируют качество работы и повторяют процесс. Это требует значительных затрат времени. Новый подход позволяет избежать этих итераций, выявляя оптимальные точки почти мгновенно.

Статистическая физика как инструмент оптимизации

Исследовательская группа решила сопоставить поведение нейросетей с процессами из физики сложных систем. Идея основывается на наблюдении, что многопараметрические модели ИИ по своим свойствам напоминают структуры с огромным числом элементов — от газов до магнитных материалов. Сергей Кольцов объяснил это так: "Мы решили проанализировать поведение нейронной сети во время сжатия и сопоставить его с известными функциями из статистической физики".

Учёные обнаружили, что в точках экстремума модель сохраняет наилучший баланс размера и точности. Это позволило отказаться от многочисленных пробных запусков и сократить время поиска оптимального объёма параметров. Профессор департамента информатики НИУ ВШЭ — Санкт-Петербург отметил: "Наша точка зрения позволяет посмотреть на нейронную сеть как на статистическую систему… То есть мы доказали, что этот подход позволяет ускорить поиск оптимального количества алгоритмов в сотни раз".

Работа велась коллективом из четырёх человек, куда вошли трое российских исследователей и специалист из Индии. Проект стартовал в начале 2025 года, а результаты опубликованы в журнале Physica A: Statistical Mechanics and its Applications.

Проверка метода и практическая применимость

Чтобы оценить универсальность подхода, эксперименты проводились на моделях среднего масштаба — от семи до десяти миллиардов параметров. Такие системы способны работать на мощных ноутбуках или компактных серверах, что делает их востребованными в корпоративном секторе и в приложениях локальной обработки данных. Именно в этих областях критически важны экономия ресурсов и высокая скорость оптимизации.

Сергей Кольцов рассказал, что команда проверяла метод на нейросетях разных архитектур и назначения. В заявлении приводятся его слова: "Мы тестировали гипотезу на моделях разного масштаба и назначения — от обработки текстов до распознавания изображений… В зависимости от модели ускорение составило от десяти до пятисот раз по сравнению с традиционным подходом". Это подтверждает, что физические методы адаптируются к разным типам задач и обеспечивают значительный прирост скорости.

Главным фактором, по словам исследователей, стало то, что новая методика позволяет обойти привычные циклы перебора гиперпараметров. В результате сжатие становится практически автоматическим, при этом сохраняется стабильность качества.

Среди систем, где технология особенно полезна, выделяют:

• медицинские ассистенты, работающие без доступа к облакам;

• корпоративные аналитикумы и локальные сервисы;

• модели обработки изображений и текстов среднего размера;

• решения для малых дата-центров;

• приложения, требующие высокой скорости адаптации сети под оборудование.

Дальнейшие цели и развитие подхода

Метод уже доступен разработчикам и исследователям, которые могут применять его в собственных проектах. Он подходит для случаев, когда нейросеть работает на ограниченных ресурсах и нуждается в компактности без ухудшения точности. Это делает технологию перспективной для широкого круга задач — от научных разработок до коммерческих продуктов.

Учёные продолжают работу и планируют перенести принцип оптимизации на другие структурные элементы модели. В ближайших планах — определение оптимального числа нейронов в каждом слое, а затем — сокращение числа блоков в архитектуре. Задача усложняется тем, что универсального правила для выбора количества блоков пока нет. В исследовании подчёркивается, что "если научиться определять оптимальное количество блоков до начала обучения модели, экономия будет колоссальной. Это наша следующая цель", — отметил ведущий научный сотрудник лаборатории.

Работа над этим направлением может изменить подход к созданию и настройке нейросетей, позволяя ускорять обучение и снижать стоимость разработки. Новая методика показывает, что пересечение физики и искусственного интеллекта открывает неожиданные пути к повышению эффективности.