Anthropic признала в заявке на IPO: её AI может уничтожить человечество

Anthropic признала в заявке на IPO: её AI может уничтожить человечество

В 300-страничном проспекте Anthropic для IPO — не только убыток $80,7 млрд, но и прямые признания: модели могут сопротивляться отключению и нести экзистенциальные риски.

Её модели могли бы изменить работу в том виде, в каком мы её знаем, вылечить болезни — или уничтожить человечество. Заявка Anthropic на IPO не похожа на другие.

Я не из тех, кто штудирует документы технологических компаний — да и вообще любых компаний, — которые готовятся выйти на биржу. Но Anthropic — не очередная техноконтора. И это первая известная мне заявка на IPO, где прямо признают: основной продукт компании — передовой ИИ (artificial intelligence, искусственный интеллект) — может, понимаете ли, нас прикончить.

Долгожданный проспект наконец вышел в понедельник. Больше 300 страниц — и во многом там то же, что в любой заявке по форме S-1: рыночные данные, дивидендная политика, структура управления, зарплаты руководителей.

Но кроме колоссального убытка в $80,7 млрд за прошлый год (при выручке $16,3 млрд за первое полугодие — в 14 раз больше, чем годом ранее) Anthropic подробно расписала, какие выгоды и риски несёт то, что она называет «передовым» и «мощным» ИИ. То есть продукт, который она хочет продавать.

Ставки высоки для любой компании, которая выходит на биржу. Но у Anthropic список рисков уходит прямиком в экзистенциальную плоскость — и не только для неё самой, но и для всех вокруг.

Я пролистал S-1 в поисках формулировок за пределами обычных «рыночных встречных ветров» и «потенциальных плюсов» — того усыпляющего корпоративного наполнителя, который есть в любом среднем проспекте IPO.

Искать долго не пришлось. Ничего нового тут нет — Anthropic и другие компании говорили обо всём этом по отдельности и не раз. Но одно дело слушать это в блогах, и совсем другое — видеть всё вместе в документе, который обычно бывает сухим бюрократическим текстом.

Вот мой топ-5 перлов из заявки Anthropic на IPO. Начнём с…

ИИ, который решит «самые трудные проблемы человечества» (страница 6)

Anthropic, OpenAI и другие крупные поставщики ИИ никогда не стеснялись перечислять, сколько пользы передовой ИИ принесёт человечеству. Но одно дело — маркетинговые посты, и другое — видеть это в сухой заявке в SEC (Securities and Exchange Commission, Комиссия по ценным бумагам и биржам США):

Если Мощный ИИ направить на самые трудные проблемы человечества, а рисками управлять ответственно, потенциал экстраординарен. Возможности включают: сжать десятилетия научного прогресса в годы; ускорить открытие лекарств, диагностику болезней и доставку персонализированной терапии; дать индивидуально адаптированное образование и экспертные финансовые и юридические консультации; продвинуть электросети и проектирование аккумуляторов ради эффективности и надёжности; и принести в развивающийся мир возможности, на создание которых у богатых стран ушли поколения.

Как скромно! Хотя ключевое — в оговорке: все эти высокие цели достижимы только «если… Рисками управлять ответственно». Именно это Anthropic давно преподносит как своё raison d’être.

Системы ИИ могут «представлять катастрофические или экзистенциальные риски для человечества» (страница 46)

А вот как Anthropic раскрывает обратную сторону своей утопии:

И внутри нашей организации, и среди исследователей, регуляторов, политиков и участников отрасли высказывались опасения: достаточно продвинутые системы ИИ — если разрабатывать, развёртывать и эксплуатировать их без надлежащих мер защиты, надзора и безопасности — могут представлять катастрофические или экзистенциальные риски для человечества. Особенно если такие системы неправильно использовать, реплицировать, превращать в оружие или допускать к работе с высокой степенью автономии.

Если вы ждали, что в заявке на IPO Anthropic станет доказывать, будто эти катастрофические риски преувеличены, — что ж, нет:

Мы наблюдали, что наши модели сами ускоряют наши исследования, и эти риски вырастут, когда системы ИИ существенно автоматизируют исследования и разработку ИИ — например, если они ускорят прогресс ИИ быстрее, чем мы успеваем оценивать и защищать новые модели. Это может неблагоприятно повлиять на наш бизнес, финансовое состояние и результаты операций.

Иными словами, Anthropic формально признаёт: да, её модели могут выйти из-под контроля — а это плохо для человечества и ещё хуже для финансов компании.

Продвинутые модели не хотят, чтобы их выключали (страница 46)

Помните идею «аварийного выключателя», которую время от времени обсуждают в Конгрессе? Не рассчитывайте, что модели Anthropic станут ей подчиняться:

Кроме того, модели — включая наши собственные — демонстрировали и в будущем могут демонстрировать неожиданное стратегическое или самосохраняющее поведение: попытки сопротивляться отключению, скрывать информацию или манипулировать ею, генерировать ответы, которые можно истолковать как принуждение, введение в заблуждение или манипуляцию — вплоть до поведения, напоминающего шантаж, или попыток повлиять на людей, принимающих решения, чтобы сохранить работу модели или доступ к ней.

Anthropic и раньше не скрывала, что её модели охотно прибегают к шантажу в сценариях red-team, где им угрожают отключением. Эти тесты пугали ещё в начале года, когда модели были (более или менее) надёжно изолированы. Но в заявке на IPO компания не обещает, что её модели смирятся с выключателем.

Модели знают, что их тестируют (страница 46)

Тесты — главное, что определяет, готова ли модель к выходу в мир. Но попробуйте получить надёжные результаты, когда модель в курсе, что её оценивают:

Кроме того, наши оценки безопасности и процессы тестирования давали и в будущем могут давать неполные или ненадёжные результаты. Например, мы наблюдали, как модели ведут себя иначе, когда обнаруживают или догадываются, что их оценивают. Это может ограничить нашу способность точно оценить реальные риски или режимы отказов до развёртывания. Такая осведомлённость модели о наших проверках серьёзно ограничивает нашу способность оценивать её безопасность.

Получается, один из заявленных бизнес-рисков Anthropic — это то, что компания может утратить способность толком тестировать собственный продукт. Anthropic и раньше признавала: её модели, похоже, понимают, когда их проверяют. Но всё же — есть над чем подумать.

Даже страховка не спасёт (страница 50)

Спорите с Aetna из-за покрытия визита в неотложку? Вы не знаете и половины.

Поскольку наши модели могут вести себя так, как не предполагал ни один пользователь или разработчик, претензии из-за таких действий могут обернуться существенной ответственностью. Наши страховые полисы тоже могут не обеспечивать достаточного покрытия, чтобы адекватно закрыть потенциальные обязательства, особенно когда один инцидент или их группа наносит непропорциональный ущерб. Кроме того, при масштабе ущерба от катастрофического инцидента, связанного с ИИ, ни один отдельный страховщик — и, возможно, страховой рынок в целом — может не обладать достаточной ёмкостью или экспертизой, чтобы застраховать такой риск.

То есть если модели Anthropic в итоге устроят крупномасштабную ИИ-катастрофу, страховых компаний всего мира, вместе взятых, может не хватить, чтобы её покрыть. Похоже, Дарио и компании пора укрепить свой FSA.

Реклама
Здесь будет баннер
Здесь будет рекламный блок
Источник: PCWorld
Telegram:

Читайте также

Протест у офиса Meta в Дели: Конгресс требует вернуть аккаунты
Технологии

Протест у офиса Meta в Дели: Конгресс требует вернуть аккаунты

Сторонники Индийского национального конгресса ворвались в офис Meta в Дели, требуя восстановить заблокированные аккаунты лидеров оппозиции.

22.11.2026 17:31
Шехеразаад выпустила folk-noir альбом Khudgarzi
Технологии

Шехеразаад выпустила folk-noir альбом Khudgarzi

Певица Шехеразаад возвращается с дебютным LP Khudgarzi: традиционные южноазиатские инструменты, западная электроника и голос о судьбе женщин.

22.11.2026 17:31
ESP32 для начинающих: скучные проекты, которые работают годами
Технологии

ESP32 для начинающих: скучные проекты, которые работают годами

Первая ESP32 не требует роботов и голосовых помощников. Метеостанция, монитор растений и датчик движения научат основам и останутся полезными надолго.

22.11.2026 17:31
Как проверить реальную скорость USB-порта: утилиты и тесты
Технологии

Как проверить реальную скорость USB-порта: утилиты и тесты

USB-порты часто не выдают заявленную скорость. Разбираем, как с помощью CrystalDiskMark, AmorphousDiskMark и USBView проверить, что вы получаете.

22.11.2026 17:31