Компания Alibaba отметила, что при обучении языковых моделей ключевыми становятся не только достаточные вычислительные мощности и объёмы данных, но и сами затраты на процесс. По данным South China Morning Post, отказ от прямых обращений к внешним поисковым платформам — подход под названием ZeroSearch — может снизить расходы на обучение до 88 %.
Суть метода заключается в том, что уже существующие языковые модели сами генерируют нужные для обучения данные, имитируя запросы к поисковым сервисам. Так, если обычное обращение к Google через API с 64000 запросов стоит около $586,70, то внутренняя модель с 14 млрд параметров способна выполнить те же задачи всего за $70,80. Благодаря этому достигается экономия более чем в восемь раз.
Эксперты полагают, что ZeroSearch откроет новые возможности для небольших компаний, лишённых доступа к крупным инфраструктурным ресурсам и внушительным бюджетам. В то же время сама Alibaba уже сочетает свои модели семейства Qwen с классическими поисковыми системами, что, по оценкам специалистов, повышает точность ответов на сложные запросы.