Конец индивидуума. Путешествие философа в страну искусственного интеллекта - стр. 37

Так обнаруживается поверхностность знаменитой «дилеммы беспилотных транспортных средств», которая регулярно всплывает в прессе[50]. Кем лучше пожертвовать в случае аварии – автомобилистом или пешеходом, неторопливо бредущей по «зебре» старушкой или беременной женщиной, которая переходит дорогу в неположенном месте, тремя котятами или пятью большими лягушками? Предполагая, что это решение возьмет на себя ИИ, мы совершим ошибку Бострома, который считает, что искусственный интеллект способен на моральный выбор. А если признаем, что критерии решения должны определяться четко прописанным алгоритмом, то просто вернемся к старым философским спорам[51]. На самом деле практическое значение имеет только один вопрос: кто будет принимать решение о таких критериях – конструктор, законодатель, владелец автомобиля или его пассажир? Иначе говоря, кто в цепочке человеческой ответственности возьмет на себя моральный выбор?

Вернемся к истории с производством скрепок, придуманной Бостромом. Тезис об ортогональности требует, чтобы «сверхразумный» ИИ всегда выбирал себе одни и те же вторичные цели, такие как сохранение собственного существования или максимизация своих ресурсов, что почти автоматически требует уничтожения человечества. Но если следовать рассуждениям Дамасио, придется признать, что ИИ не способен сформулировать такую цель. Ни одна электронная схема не может «хотеть» сохраниться в бытии: у нее нет тела, источника гомеостаза. Уничтожение человечества предполагает определенную форму морали, пусть и извращенной, или по крайней мере интенциональность, но все эти вещи невозможны в отсутствие органической субстанции. По самой своей природе ИИ не может задумать никакого проекта. Неспособность понимать себя в качестве целого и обеспечивать саморегуляцию задает ему внутренние ограничения. А если самому ИИ неведома жизнь, как он может угрожать нашей жизни?

Гипотеза о «сознательном» ИИ, излюбленный сюжет научной фантастики, тут же рушится. Как ни определяй сознание и субъектность[52], их возникновение не может зависеть всего лишь от структуры соединений и скорости обработки информации, чистых форм, лишенных материальности. Если же сознание, наоборот, – это предельное выражение гомеостаза, позволяющее организму рассуждать о самом себе, оно всегда должно быть осознанием чего-то (идеи, себя и т. д.). Оно не существует в невесомости, вопреки абсурдному мнению Тегмарка, с точки зрения которого «чувство сознания не зависит от его физического субстрата». Мы не можем отделить нейронную структуру от живой материи, в которой она реализована. Не существует сознания без идеи, идеи без аффекта или аффекта без тела. Снова вспомним Спинозу: «Душа познаёт самое себя лишь постольку, поскольку она воспринимает идеи состояний тела»[53]. Самые что ни на есть абстрактные мысли соответствуют определенной диспозиции тела, производителя аффектов и чувств.

Если бы ИИ вдруг стал сознательным, что бы он сознавал? Ничто. А в чем состояло бы это сознание? Ни в чем. В простом flatus vocis, дуновении воздуха безо всякого значения. Робот обречен подражать тому, чего не понимает. Даже если он миллион раз повторит фразу «Я сознаю», вряд ли ему удастся обрести сознание…