Роботи навчаються виконувати команди за допомогою нової системи ШІ

У світі технологій відбувається важлива подія: нова система штучного інтелекту (ШІ) дозволяє роботам не лише розуміти письмові команди людей, а й миттєво виконувати їх у реальному середовищі. Ця розробка, яка поєднує мовні моделі з програмним забезпеченням для керування роботами, надає змогу перетворювати усні та письмові інструкції на конкретні дії, що може суттєво змінити підходи до автоматизації.

Про це повідомляє видання Interesting Engineering, яке висвітлює досягнення в галузі робототехніки та штучного інтелекту. Дослідники з Huawei Noah’s Ark Lab, Технічного університету Дармштадта та ETH Zurich об'єднали свої зусилля для створення системи, що інтегрує великі мовні моделі з Robot Operating System (ROS). Це дозволяє роботам не лише сприймати інструкції, а й виконувати їх у фізичному середовищі, що є важливим кроком у розвитку автономних технологій.

Система, розроблена в рамках цього проекту, обробляє текстові команди і розбиває їх на послідовні кроки. Наприклад, команда підняти зелений блок і покласти його на чорну полицю перетворюється на набір дій, які робот виконує через ROS. Цей процес є ключовим, оскільки він дозволяє значно спростити взаємодію між людиною та машиною.

Дослідники підкреслюють, що створення автономних роботів, здатних перетворювати природну мову на надійні фізичні дії, залишається важливим викликом для штучного інтелекту. Вони продемонстрували, що поєднання мовної моделі з ROS створює універсальну систему для "втіленого" інтелекту, а повну реалізацію цієї системи було викладено у відкритий доступ, що дозволяє іншим дослідникам використовувати та вдосконалювати цю технологію.

Платформа, розроблена в рамках цього проекту, поєднує здатність мовних моделей до аналізу з популярною системою керування роботами. Це дозволяє інтерпретувати інструкції без необхідності окремого програмування для кожного завдання, що значно спрощує процес навчання роботів.

Автори проекту пояснюють, що агент автоматично перетворює результати мовної моделі на дії робота, підтримує різні режими виконання, може навчатися нових базових навичок через наслідування і вдосконалювати їх завдяки зворотному зв’язку від людини або середовища. Це відкриває нові горизонти для використання роботів у різних сферах, від промисловості до побуту.

Система має два способи виконання завдань. У першому випадку модель створює невеликі фрагменти коду для керування роботом. У другому — будує структури рішень, відомі як дерева поведінки, які допомагають адаптуватися, якщо якийсь крок не спрацював. Це підвищує гнучкість системи і дозволяє працювати як із простими, так і зі складними завданнями, що є важливим аспектом у робототехніці.

Під час випробувань на різних роботах система змогла надійно інтерпретувати команди і виконувати дії в різних сценаріях. За словами авторів, експерименти показали стійкість, масштабованість і універсальність підходу, зокрема для тривалих завдань, перестановки об'єктів на столі, оптимізації дій і дистанційного контролю. Це свідчить про те, що нова технологія може знайти широке застосування в різних сферах.

Усі результати були отримані з використанням попередньо навчених мовних моделей з відкритим кодом. Роботи також можуть навчатися на основі зворотного зв’язку і поступово покращувати свою роботу без складного перепрограмування. Це є ще одним важливим досягненням, яке може суттєво спростити процес інтеграції роботів у повсякденне життя.

Дослідники вважають, що поєднання розуміння мови з фізичними діями може пришвидшити використання роботів у динамічних середовищах, де важлива адаптивність. У майбутньому вони планують масштабувати систему для складніших завдань і різних типів роботів, що обіцяє нові можливості для розвитку робототехніки та штучного інтелекту.