OpenAI собирает команду для разработки способов управления и контроля над «сверхразумным» ИИ, который — по прогнозам самой компаний — может появиться в течение десятилетия. И совсем обязательно он будет доброжелательно настроенным к создателям.
Актуальные методы (такие как обучение с подкреплением на основе отзывов пользователей) основаны на способности людей контролировать искусственный интеллект. Но они не спасут в случае с ИИ-системой, которая значительно умнее человека.
Новой команде предоставят доступ к 20% вычислений компаний. Вместе со штатными инженерами, а также исследователями из других организаций она будет решать поставленные задачи в течение следующих четырёх лет. А именно:
- обучать ИИ-системы, используя обратную связь от людей;
- обучать робота помогать в оценке других систем ИИ;
- создавать ИИ, который сам сможет проводить контроль за нейросетями.
