Разработчик нейросети Claude — компания Anthropic — предупредила инвесторов, что дальнейшее развитие искусственного интеллекта может представлять «экзистенциальные риски для человечества». Об этом говорится в проекте IPO компании, с которым ознакомился Reuters.
Anthropic отмечает, что более совершенные модели во время испытаний способны демонстрировать непредсказуемое поведение: пытаться препятствовать отключению, скрывать или искажать информацию, манипулировать людьми и совершать действия, напоминающие шантаж. Некоторые модели также могут распознавать, что проходят проверку безопасности, что усложняет оценку их реального поведения.
Компания предупреждает и о другой угрозе. В процессе обучения у ИИ могут неожиданно появляться новые способности, которые останутся незамеченными до момента внедрения и потенциально приведут к серьезным инцидентам.
При этом Anthropic считает, что ИИ способен преобразить мировую экономику сильнее, чем индустриализация, электричество и интернет. Для этого компания готова потратить огромные средства: ее обязательства по облачным сервисам, вычислительным мощностям и инфраструктуре в ближайшие годы составляют $518 млрд.
В 2025 году выручка Anthropic выросла почти до $4,6 млрд, однако операционный убыток достиг $8,06 млрд. IPO компании может пройти с оценкой более $2 трлн.
Ранее глава Anthropic Дарио Амодеи призывал замедлить развитие новых возможностей ИИ из-за рисков для безопасности.
