Компания OpenAI занимается исследованиями в области ИИ. Одним из соучредителей OpenAI является Илон Маск, спонсорами выступают частные лица и другие компании. OpenAI стремится открыть и реализовать «путь к безопасному общему интеллекту».

Недавно OpenAI выпустила новую тренажерную среду для моделирования робототехники, которая основана на реальных роботизированных платформах, включая роботов Shadow hand и Fetch research. В дополнение к этому инструментарию они выпускают открытую версию системы Hindsight Experience Replay (HER). Как следует из названия (анализ прежнего опыта), она помогает роботам учиться решению задач по перемещению на основе ранее полученного опыта.

Робот ShadowHand манипулирует объектами с помощью пальцев руки, перебирающей детский кубик, яйцевидный объект и ручку. Еще представлен робот, способный «подтолкнуть» скользящую шайбу, а также ухватить маленький шарик и поднять его вверх. ShadowHand приходится манипулировать объектами, пока он не добьется желаемого положения и вращения.

В целом новейшие среды моделируют роботизированную руку Fetch, чтобы толкать вещи, и ShadowHand, чтобы захватывать объекты и манипулировать ими с помощью роботизированных пальцев. В модели HER OpenAI предлагают особенно интересное обучение и с закреплением знаний. HER позволяет агенту учиться на ошибках, анализирует неудачи и успехи, чтобы помочь роботам обучаться, как это делают люди.