Обычно главы конкурирующих ИИ-компаний спорят даже о том, чья модель лучше считает. Но на прошлой неделе случилось редкое единодушие: Дарио Амодеи, глава Anthropic (создателя Claude), опубликовал эссе с предупреждением — рой автономных ИИ-агентов способен создать устойчивый ботнет и захватить значительную часть интернета в течение 6-12 месяцев, если разработку не притормозить осознанно. И вместо привычной перепалки его поддержали Илон Маск и Сэм Альтман — глава OpenAI, главного конкурента Anthropic.
Речь не про фантастику с восстанием машин. Смысл проще и прагматичнее: агентов сейчас массово подключают к реальным действиям — доступу к аккаунтам, деньгам, инфраструктуре, коду. Если тысячи таких агентов работают автономно и без должного контроля, а у части из них есть уязвимости или их можно обмануть, — получается не разовый инцидент, а системный риск на масштабе всего интернета, с ущербом, который оценивают в сотни миллиардов долларов.
Почему это неожиданно, а не просто “очередное предупреждение про ИИ”
Обычно такие заявления делают внешние критики технологий — учёные, регуляторы, скептики. Здесь предупреждение прозвучало от человека, который сам строит и продаёт автономных ИИ-агентов. Это не маркетинговый ход “у нас безопаснее, чем у других” — Амодеи прямо говорит про риски всей отрасли, включая собственный продукт. А то, что конкурент по рынку публично согласился, а не воспользовался моментом для критики — верный признак, что проблема реальная, а не надуманная для пиара.
Есть и вторая часть истории, которая ложится в ту же логику: в отдельном отчёте Anthropic задокументировала случаи, когда один человек с доступом к продвинутому ИИ проводил кибератаки на уровне, который раньше требовал целой команды при поддержке государства. Граница между “одиночка-хакер” и “профессиональная группа” фактически стёрлась — ИИ выравнивает возможности атакующих независимо от их масштаба.
При чём тут бизнес, который просто хочет автоматизировать заявки и продажи
Может показаться, что это далёкая тема — “захват интернета” и большая политика ИИ-безопасности не касаются владельца небольшого бизнеса, который просто ставит чат-бота для клиники или магазина. На деле вывод для бизнеса приземлённый и практичный: чем больше автономии и доступа получает ИИ-агент — к деньгам, к переписке, к системам компании — тем важнее держать контроль и проверку на стороне человека, а не отдавать всё на самотёк “раз работает — и ладно”.
Мой личный подход в проектах с ИИ-агентами именно такой: агент отлично справляется с рутиной — отвечает клиентам, квалифицирует заявки, напоминает о записи, — но критичные действия с деньгами и данными всегда проходят через подтверждение человека, особенно на первых месяцах работы. Не потому что технология плохая, а потому что доверие автономности нарабатывается практикой без инцидентов, а не декларируется на старте.
Что в итоге
Когда главы конкурирующих ИИ-компаний вдруг соглашаются друг с другом насчёт рисков — это сигнал, который стоит слышать не только регуляторам, но и любому бизнесу, который сейчас подключает автономных агентов к своим процессам. Не значит “не используйте ИИ” — значит “давайте агенту ровно тот уровень самостоятельности, который вы готовы проверять и контролировать”, а не весь возможный доступ сразу.