Кейт Кроуфорд - Атлас искусственного интеллекта: руководство для будущего

Посвящается Эллиоту и Маргарет

Kate Crawford

Atlas of AI

Power, Politics, and the Planetary Costs of Artificial Intelligence

Печатается с разрешения правообладателя YALE UNIVERSITY PRESS.

© Кроуфорд К., текст, 2021

© ООО Издательство «АСТ», 2023

© Захватова О., перевод, 2023

© Дрёмов А. С., тов. знак, 2023

В конце девятнадцатого века Европу покорила лошадь по кличке Ганс. Умный Ганс поражал воображение: он решал математические задачи, определял время, дни в календаре, различал музыкальные тона, составлял слова и предложения. Люди стекались посмотреть, как немецкий жеребец отстукивает копытом ответы на сложные задачи и неизменно приходит к правильному ответу. «Сколько будет два плюс три?» Ганс старательно отстукивал копытом по земле пять раз. «Какой сегодня день недели?» Лошадь стучала копытом, верно указывая на каждую букву на специально изготовленной доске. Ганс освоил даже более сложные вопросы, например, такие: «Я загадал число. Я вычитаю девять и получаю три. Какое число я загадал?» К 1904 году Умный Ганс стал международной знаменитостью, а газета New York Times назвала его «Чудесной берлинской лошадью, способной на все, кроме разговоров»[1].

Дрессировщик Ганса, отставной учитель математики по имени Вильгельм фон Остен, давно увлекался интеллектом животных.

Фон Остен пытался обучать котят и медвежат порядковым номерам, однако успеха он добился лишь после того, как начал работать со своей лошадью. Сначала он научил Ганса считать, держа животное за ногу, показывая ему цифру и постукивая копытом нужное количество раз. Вскоре Ганс уже озвучивал простые суммы. Затем фон Остен ввел доску с написанным алфавитом, и Ганс научился отстукивать цифру для каждой буквы на доске. После двух лет обучения фон Остен был поражен тем, как животное хорошо усваивало интеллектуальные концепции. Поэтому он взял Ганса с собой в дорогу в качестве доказательства, что животные могут рассуждать, и стал вирусной сенсацией прекрасной эпохи.

Тем не менее, многие люди отнеслись к этому скептически, и совет Германии по образованию создал следственную комиссию для проверки научных утверждений фон Остена. Психолог и философ Карл Штумпф и его помощник Оскар Пфунгст возглавили комиссию по Гансу. Также в нее вошли управляющий цирком, отставной школьный учитель, зоолог, ветеринар и кавалерийский офицер. Однако после продолжительной проверки способностей Ганса, как в присутствии его дрессировщика, так и без него, лошадь сохраняла свой рекорд правильных ответов, и комиссия не смогла найти никаких доказательств обмана. Как позже написал Пфунгст, Ганс выступал перед «тысячами зрителей, любителей лошадей, тренеров первого ранга, и ни один из них в течение многих месяцев наблюдений не смог обнаружить никакого особого „сигнала“ между вопрошающим и лошадью»[2].

Комиссия пришла к выводу, что методы, применяемые к обучению Ганса, более схожи с «обучением детей в начальной школе», чем с дрессировкой животных, и «достойны научной экспертизы»[3]. Однако Штумпф и Пфунгст по-прежнему сомневались. В частности, их беспокоил один факт: когда спрашивающий не знал ответа или стоял далеко, Ганс редко отвечал правильно. Пфунгст и Штумпф задумались: а не подавал ли Гансу ответы некий непреднамеренный сигнал?

Вильгельм фон Остен и Умный Ганс

Как описал Пфунгст в своей книге 1911 года, интуиция их не подвела: поза, дыхание и выражение лица человека, задающего вопрос, едва уловимо менялись в тот момент, когда Ганс достигал правильного ответа, тем самым побуждая его остановиться[4]. Позже Пфунгст проверил эту гипотезу на людях и подтвердил догадку. Больше всего в этом открытии его восхитило то, что люди, задающие вопросы, как правило, не знали, что сами давали подсказки лошади. Решения Умного Ганса, писал Пфунгст, основывались на бессознательных сигналах людей[5]. Лошадь была обучена давать те ответы, которые хотел увидеть хозяин, однако зрители не сочли это умение за необыкновенный интеллект.

История Умного Ганса интересна со многих сторон: связь между желанием, иллюзией и действием; развлекательный бизнес; антропоморфизм; возникновение предубеждений и политика интеллекта. Ганс ввел в психологию термин для обозначения особого типа концептуальных ловушек – «Эффект умного Ганса» или «эффект ожидания наблюдателя», с помощью которого описываются влияния непреднамеренных подсказок экспериментаторов на испытуемых. Отношения между Гансом и фон Остеном указывают как на сложные механизмы, посредством которых предубеждения проникают в системы, так и на увязание людей в изучаемых явлениях. В настоящее время история Ганса используется в машинном обучении и служит предостерегающим напоминанием о том, что далеко не всегда можно быть точно уверенным в достоверности полученных моделью данных[6]. Даже система, которая, казалось бы, демонстрирует впечатляющие результаты в процессе обучения, иногда делает ужасные прогнозы на основе совершенно новой информации.

Отсюда вытекает главный вопрос книги: как «создается» интеллект, и какие ловушки могут возникнуть? На первый взгляд, история Умного Ганса – это пример того, как один человек создал интеллект, учив лошадь следовать подсказкам и подражать человеческому разуму. Но с другой стороны мы видим, что практика создания интеллекта значительно шире. Такое начинание требовало подтверждения со стороны множества институтов, включая академические круги, школы, науку, общественность и военных. Более того, фон Остен и его удивительная лошадь обрели рынок – эмоциональные и экономические инвестиции, которые стимулировали туры, газетные статьи и лекции. Были сформированы бюрократические инстанции, чтобы измерить и проверить и измерить способности лошади. Отсюда следует вывод, что совокупность финансовых, культурных и научных интересов сыграла свою роль в создании интеллекта Ганса, и все кругом были заинтересованы в его уникальности.

Здесь появляются две различные мифологемы. Первая из них заключается в том, что нечеловеческие системы (будь то компьютеры или лошади) являются аналогами человеческого разума. Эта точка зрения предполагает, что при достаточной подготовке или достаточных ресурсах человекоподобный интеллект может быть создан с нуля, без учета фундаментальных межличностных отношений, и помещен в рамки более широкой экологии. Второй миф заключается в том, что интеллект – это нечто, существующее независимо; он является естественным и не сопряжен с социальными, культурными, историческими и политическими силами. На самом же деле концепция интеллекта на протяжении веков наносила огромный вред и использовалась для оправдания отношений господства – от рабства до евгеники