Anthropic допускает приближение ИИ к этапу ускоренного самосовершенствования

Компания опасается, что модели начнут развиваться быстрее, чем она успеет создать и проверить меры защиты.

Anthropic допустила, что ее будущие модели могут приблизиться к этапу, когда ИИ начнет заметно ускорять разработку следующих поколений систем. Компания раскрыла этот риск в обновленном проспекте S-1/A перед IPO.

Речь идет о рекурсивном самосовершенствовании: модели помогают создавать более мощные модели, из-за чего темпы развития технологии могут резко вырасти. Anthropic уже использует собственный ИИ в исследованиях и разработке.

Компания считает такой сценарий одновременно конкурентным преимуществом и риском для безопасности. Основная проблема в том, что скорость развития моделей может опередить создание и проверку защитных механизмов.

В документе Anthropic также признает, что раньше уже обнаруживала ускорение прогресса постфактум. Поэтому текущие оценки строятся в том числе на ожиданиях от будущих моделей. Ни одна из действующих систем компании пока не признана достигшей порога резко ускоренного прогресса благодаря ИИ.

Полностью передавать Claude разработку новых моделей компания не планирует. Anthropic рассматривает дополнительные ограничения, которые должны сохранить значимый человеческий контроль над созданием передовых систем.

При этом заявления содержатся в проспекте перед выходом на биржу, поэтому их стоит воспринимать как раскрытие потенциального риска, а не подтверждение появления самосовершенствующегося ИИ. Для бизнеса развитие таких систем усиливает интерес к автоматизации, но сохраняет необходимость человеческого контроля. В интернет-рекламе Vitamin.tools помогает сократить часть операционной работы с рекламными кабинетами, а решения о стратегии и контроле кампаний остаются за командой.