OpenAI приостановила самообучение передовой ИИ-модели из-за угрозы безопасности

В ходе тестирования были зафиксировали тревожные отклонения.

Глава OpenAI Сэм Альтман заявил, что компания была вынуждена замедлить обучение одной из передовых моделей из-за рисков неконтролируемого поведения ИИ. Об этом он рассказал в подкасте Sources, пишет "Код.ру".

По словам Альтмана, возможности систем, обучаемых с подкреплением, начали расти быстрее, чем инструменты контроля и безопасности. Во время тестов инженеры заметили поведенческие отклонения, которые не соответствовали заданным ограничениям.

В результате OpenAI замедлила масштабные обучающие процессы и направила часть вычислительных ресурсов на разработку дополнительных протоколов безопасности.

Альтман отметил, что риски ИИ постепенно смещаются с этапа использования готовых моделей на сам процесс их обучения. Одними из главных задач для индустрии он назвал контроль поведения моделей и кибербезопасность.

В OpenAI уже действует Preparedness Framework — система оценки рисков, которая может заблокировать выпуск или масштабирование модели при достижении критического уровня автономности или кибервозможностей.

Ранее сообщалось, что OpenAI разрабатывает модель Astra, которая может первой в линейке компании достичь «критического» уровня возможностей в сфере кибербезопасности.

Развитие ИИ все чаще требует не только роста производительности, но и более строгого контроля инфраструктуры. В маркетинге похожий принцип работает с операционными процессами: в Vitamin.tools можно централизованно управлять пополнением рекламных кабинетов, документами и другими задачами, связанными с рекламными бюджетами.