Мы боялись не того «терминатора»

8 сентября исследователь Джейкоб Коксон объявил, что уходит из Anthropic. Три года он занимался предобучением в OpenAI, затем в Anthropic. Его пост в соцсети Х набрал более 160 млн просмотров, но интересен он не этим. И даже не громким прогнозом: если ИИ начнет улучшать сам себя, может быстро появиться система, значительно превосходящая человека и представляющая угрозу для всего вида. Самое интересное, что это далеко не первый случай, когда специалист публично покидает ведущую компанию или лабораторию, комментируя в духе «я не хочу приближать ИИ-апокалипсис».

За последние годы это уже превратилось почти в отдельный жанр. Список публичных уходов уже достаточно длинный, чтобы перестать считать их эксцентричностью отдельных исследователей. В 2023 году Джеффри Хинтон ушел из Google, чтобы свободно предупреждать об опасностях ИИ. Годом позже из OpenAI ушли Ян Лейке, обвинявший компанию в том, что безопасность стала уступать продуктовой гонке, и Дэниел Кокотайло, потерявший уверенность в ее способности ответственно двигаться к AGI. Во всех этих историях есть общая деталь: человек выходит из корпоративной машины именно потому, что не уверен, что способен изменить направление ее движения изнутри. 

В эфире Anderson Cooper 360° журналист и ведущий Андерсон Купер спросил Коксона: действительно ли ИИ-компании хотят регулирования — или это просто удобная публичная позиция? Коксон ответил: действительно хотят. Искренне. Они понимают риск, предпочли бы двигаться осторожнее — и одновременно считают, что обязаны ускоряться. Если остановится одна лаборатория, продолжит другая. Если Америка замедлится, останется Китай. Anthropic и сама говорит о необходимости проверяемого механизма, который позволил бы компаниям коллективно сдерживать темп выпуска мощных моделей.

Получается странная сцена. Люди, больше других опасающиеся скорого момента, когда человек утратит контроль над ИИ, уже описывают настоящее словами: мы хотели бы остановиться, но не можем.

Мы ждали Терминатора

Мы вообще представляли себе потерю контроля гораздо эффектнее. Машина должна была выйти в физический мир, получить самостоятельность — и уже тогда перед человеком встали бы новые этические и правовые проблемы. К этому событию готовились заранее.

Почти два десятилетия главным воплощением машинной автономности был беспилотный автомобиль. Вокруг него заранее выросла целая этика. Кто отвечает за аварию: водитель, производитель, разработчик? Как машина должна выбирать меньшее зло? Можно ли вообще передавать алгоритму решение, от которого зависит человеческая жизнь?

Логика была понятной. Настоящая автономность начнется, когда машина выйдет из компьютера в физический мир и получит право действовать сама. К этому моменту надо подготовить право, страхование, регуляторов.

И вот здесь мы, кажется, совершили типичную ошибку футурологов, пытаясь прогнозировать будущее, продолжая тренды настоящего.

Смотрите. Беспилотнику до сих пор трудно с обычной улицей. Снег, ремонт дороги, жест полицейского, ребенок, выбежавший между машинами, другой водитель, который сам нарушил правило. Физический мир плохо превращается в инструкцию.

Зато пока мы спорили, можно ли позволить алгоритму самому повернуть руль, ему начали отдавать решения о том, куда вообще нам всем ехать.

ИИ пишет код, проводит исследования, делает открытия, фильтрует кандидатов, анализирует сделки, ведет переписку, распределяет задачи, запускает другие программы. Все чаще от него требуется уже не подсказать человеку, а выполнить последовательность действий. В самой Anthropic уже говорят о растущем делегировании ИИ задач по разработке следующего поколения ИИ.

Почему эта автономность пришла так быстро — гораздо быстрее массового беспилотного автомобиля? 

Потому что искусственной агентности почти ничего не пришлось завоевывать.

За несколько десятилетий значительную часть человеческого мира мы сами перевели в форму, удобную для машины. Банк стал приложением и набором интерфейсов. Компания — CRM, ERP, почтой, календарем, таск-трекером, системой согласований. Полномочие — уровнем доступа. Решение — кнопкой OK.

Цифровизация оказалась не только переводом информации в цифру. Задним числом видно: это был перевод человеческого действия в форму, доступную нечеловеческому исполнителю.

ИИ не понадобилось тело робота, чтобы прийти в банк, — банк заранее стал цифровым.

Мы ждали робота, который войдет в человеческий мир. Оказалось проще переделать сам мир людей так, чтобы «робот» мог действовать в нем без тела.

Идеальный бюрократ

Впрочем, цифровая среда подготовила для ИИ только место действия. Сам способ действия был придуман гораздо раньше.

Макс Вебер описывал современную бюрократию через разделение компетенций, иерархию, правила, документы, профессиональную квалификацию и безличность. Для него безличность была не ругательством, а источником эффективности: должность необходимо отделить от человека, решение должно следовать из компетенции и правила, а не из симпатий и настроения чиновника.

И здесь история делает почти неприлично аккуратный поворот.

Мы говорим, что ИИ автоматизирует бюрократию, однако бюрократия автоматизировала человека задолго до ИИ.

Она разложила действие на должности, процедуры, показатели, документы, полномочия и правила эскалации. Столетиями училась отделять функцию от личности того, кто ее выполняет.

Человек оставался необходимым элементом. Кто-то должен был прочитать документ, сопоставить цифры, проверить условие, перенести данные, выбрать предусмотренный процедурой следующий шаг.

Теперь появился исполнитель, для которого именно такой мир почти идеален. Ему трудно понять человека, машущего рукой на заснеженном перекрестке. Зато лимит бюджета в ERP он понимает прекрасно!

В этом смысле подлинный предок ИИ-агента не робот и не компьютер. Бюрократ.

Для искусственной агентности уже построены и цифровое тело, и организационный скелет.

Кто здесь управляет?

После этого пост Коксона звучит немного иначе. Он говорит не только о будущем ИИ, способного улучшать самого себя. Он описывает вполне современную организационную ситуацию.

Исследователь считает, что надо двигаться осторожнее. Руководитель понимает риски, компании просят общих правил. Но все равно гонка ускоряется.

Каждый участник может быть совершенно рационален внутри своей роли. Исследователь боится, что осторожная лаборатория уступит менее осторожной. CEO не может добровольно отдать рынок конкуренту. Инвестор не обязан финансировать компанию, решившую проиграть гонку. Государство не хочет ограничивать свою индустрию, если другая страна ограничений не примет.

У каждого есть разумный аргумент, но в сумме получается результат, который многие из них считают неразумным.

В этом неприятное свойство больших рационализированных систем. Ими постоянно кто-то управляет — советы директоров, менеджеры, регуляторы, правительства. Но траектория целого не обязана быть решением какого-то «центра». Иногда у нее вообще нет предъявляемого автора.

Поэтому фраза «мы теряем контроль над ИИ» может вводить в заблуждение.

Скорее, ИИ не отнимает контроль. Он разрушает иллюзию, что контроль над сложной техносистемой когда-либо вообще был централизован. Да и был ли он вообще, этот контроль?

Мы долго готовились к машине, которой однажды придется передать человеческие полномочия. Спорили, можно ли доверить ей руль. Конструировали этические парадоксы в духе «проблемы вагонетки».

Однако оказалось, что значительную часть полномочий передавать не пришлось. Для них уже существовали должности, процедуры, показатели, интерфейсы и права доступа.

ИИ пришел не в человеческий мир. Он пришел в мир, который человек уже успел сделать пригодным для действия без человека.