LG бросает вызов NVIDIA: почему новые ИИ-серверы LG будут работать на чипах FuriosaAI?

Южнокорейская компания LG AI Research заключила партнёрское соглашение с стартапом FuriosaAI о выпуске серверов с новыми ИИ-ускорителями RNGD. Эти серверы будут использоваться для запуска семейства языковых моделей Exaone, разработанных LG, и поступят в продажу ближе к концу года. Основными потребителями станут организации, работающие в таких сферах, как финансы, телекоммуникации, электроника и биотехнологии.

По словам генерального директора FuriosaAI Джуна Пайка, компания LG протестировала широкий спектр решений от различных производителей, включая ускорители NVIDIA A100, однако именно RNGD оказался наиболее подходящим. Представитель LG AI Research Киджонг Чон отметил, что выбор пал на чип FuriosaAI благодаря его высокой эффективности, сниженной стоимости владения и удобству интеграции в существующую инфраструктуру.

Серверы LG будут включать до восьми ускорителей RNGD, подключённых по интерфейсу PCIe 5.0, и функционировать на основе продвинутого ПО от FuriosaAI, включающего библиотеку vLLM. Помимо этого, LG предложит собственную платформу ChatExaone, которая ориентирована на корпоративный сегмент и интегрирует инструменты анализа документов, интеллектуальных исследований и обработки данных.

В ходе тестов, проведённых в связке с Supermicro, использовалась модель ExaOne-32B. Системы были размещены в 4U-серверах с воздушным охлаждением, по пять серверов в 15-киловаттной стойке. Как уточнил Пайк, LG рассматривала также облачные варианты, но в результате выбрала решение FuriosaAI как единственное, соответствующее всем заданным критериям.

LG уделила особое внимание энергоэффективности: чипы RNGD позволили достичь заметно более высокой производительности на ватт по сравнению с A100. В частности, ускоритель FuriosaAI показал прирост в 2,25 раза при инференсе моделей LLM, а стойка с RNGD может генерировать в 3,75 раза больше токенов, чем аналогичная система на базе A100, при сохранении того же уровня энергопотребления. Используемый режим BF16 позволил эффективно оценить возможности чипа, но в будущем предполагается переход на FP8, что должно удвоить скорость вывода токенов и снизить время отклика.

В тестах была достигнута скорость генерации до 60 токенов в секунду при контексте в 4000 токенов, и до 50 — при 32 000 токенов. Время до появления первого токена (TTFT) составило 0,3 секунды для коротких запросов и 4,5 секунды для длинных. Ускоритель RNGD обладает производительностью 512 терафлопс в режиме FP8 при тепловом пакете 180 Вт. В отличие от NVIDIA, использующей интерконнект NVLink, FuriosaAI полагается на PCIe 5.0 с пропускной способностью 128 ГБ/с. Для повышения эффективности обмена данными компания разработала специальный компилятор, который оптимизирует вычисления и взаимодействие между ускорителями.