Роботы становятся умнее: новый ИИ помогает действовать в сложных условиях

Компания Nvidia представила Cosmos Reason — генеративную модель искусственного интеллекта, которая позволяет роботам рассуждать на уровне, близком к человеческому. Разработка относится к классу языковых моделей зрения (Vision Language Model), которые способны анализировать не только текст, но и видео, изображения и графику, понимать происходящее и делать выводы.

По словам вице-президента Nvidia по Omniverse и технологиям моделирования Преподобного Лебаредяна, цель проекта — научить роботов принимать решения, опираясь на здравый смысл. Cosmos Reason включает в себя 7 миллиардов параметров и может использоваться не только в роботах, но и в камерах наблюдения, светофорах и промышленном оборудовании.

Примеры применения уже очевидны: автоматизация контроля дорожного движения, анализ видео в реальном времени, мониторинг городских объектов и складов. Cosmos Reason доступен для скачивания с открытым исходным кодом на GitHub, но работает только на оборудовании Nvidia, включая новые графические процессоры RTX Pro и вычислительные системы Jetson Thor DGX.

Особенность модели в том, что она сочетает в себе понимание инструкций и быструю реакцию с более глубокими рассуждениями. Роботы могут связывать элементы в логическую цепочку и действовать даже в непредвиденных ситуациях. Например, «увидев» кухню, Cosmos Reason определит, что для приготовления тоста нужны тостер, масло и тарелка.

Разработка встроена в платформу Omniverse, которая создаёт цифровые копии реальных объектов и генерирует данные для обучения ИИ. По оценкам специалистов, Cosmos Reason может стать основой для нового поколения роботов, которые будут действовать не по жёстко прописанным правилам, а исходя из контекста и логики ситуации.