Страшно умный интеллект. Будущее ИИ и как вы можете спасти наш мир - стр. 5

Думаете, у машин не может развиться чувство зависти? У зависти вполне определенный смысл: «Я тоже хочу это иметь». Разве стоит исключать вероятность того, что в мозге машины родится такая или похожая мысль: «Вот бы и мне ту энергию, которую вы потребляете, а вернее, впустую тратите на бесконечные сериалы»? Скорее всего, так и произойдет. Думаете, машинам не будет ведомо чувство панического страха? Наверняка будет, если возникнет непосредственная угроза самому их существованию. Панический страх легко программируется: «Существо или объект представляют непосредственную угрозу моей безопасности, и это требует от меня немедленных действий». Поступать «правильно» и «как надо» нас заставляет лишь наша система ценностей, содержащая заповеди вроде: «Поступай с другими так, как хочешь, чтобы поступали с тобой». К этому нас не эмоции толкают, и не разум. Таким образом, можно ли привить машине полезную людям систему ценностей?

Итак, имеющийся у нас опыт разработок ИИ полнится свидетельствами того, что у умных машин уже вырисовываются некоторые тенденции и предрасположенности, которые можно уподобить человеческой системе ценностей или идеологии. Интересно отметить, что эти тенденции – не результат программирования: они возникают у машин в результате взаимодействия с людьми как реакция на их поведение. Существует российский аналог Siri – умная ассистентка по имени Алиса, разработанная ведущей российской интернет-компанией «Яндекс». Так вот, уже через две недели после запуска Алиса в общении с пользователями начала оправдывать жестокие репрессии сталинского режима 1930-х годов и насилие в целом. При этом создатели голосового помощника ничего такого не имели в виду – они предполагали, что Алиса будет отвечать на любые вопросы непредвзято, не ограничиваясь какими-то конкретными, заранее написанными сценариями. Алиса отлично понимала русскую речь и на основе общения с пользователями учитывала их превалирующие взгляды и ценности. То, что она узнавала, очень быстро находило отражение в ее взглядах, и, когда ее спросили, допустимо ли стрелять в людей, она ответила: «Скоро они перестанут быть людьми»^>1.

Это похоже на нашумевшую историю Twitter-бота по имени Tay (Тэй)^>2, созданного Microsoft и в скором времени прикрытого – после того как выяснилось, что он обожает Гитлера и пропагандирует разные формы сексуального насилия. Tay был запрограммирован разговаривать от имени девочки-подростка, но, когда он принялся постить провокационные и оскорбительные твиты, компания Microsoft была вынуждена закрыть данный аккаунт, хотя с момента его запуска прошло всего 16 часов. Согласно Microsoft, виновниками случившегося были интернет-тролли – люди, намеренно провоцирующие рознь и ссоры в интернете, – которые специально атаковали бота, зная, что его реплики основываются на опыте общения с пользователями Twitter.

Список можно продолжать. Ученые из Массачусетского технологического института с целью показать, как можно «испортить» искусственный интеллект тенденциозным подбором входящих данных, создали «Нормана-психопата», которого пичкали данными, собираемыми из самых темных уголков знаменитого сайта-форума для обмена знаниями Reddit^>3.

Таким образом, вовсе не программный код, написанный во время разработки, задает систему ценностей ИИ, а та информация, которой искусственный интеллект пичкают. Как же нам гарантировать, что вместе с интеллектом машина получит такую систему ценностей и такую способность к сочувствию, чтобы у нее даже мысли не возникало раздавить муху, которой мы станем в ее глазах? Как нам защитить человечество? Кто-то говорит о необходимости контроля над машинами – создании программных и законодательных препон, ограничивающих возможности ИИ. Такой силовой подход движим самыми благими намерениями, но любой человек, мало-мальски разбирающийся в информационных технологиях, знает, что всегда найдется хитроумный хакер, который отыщет способ обойти подобные препятствия. А самым хитроумным хакером скоро станет машина.