В стеклянной клетке. Автоматизация и мы - стр. 33
Когда человек берется за решение какой-либо задачи с помощью компьютера, он может пасть жертвой двух когнитивных пороков: подчинения автомату и пристрастного отношения к автомату.
Подчинение автомату возникает, когда компьютер создает у нас ложное впечатление гарантированной безопасности. Мы так уверены в том, что машина при необходимости сработает безошибочно и справится с любой трудностью или нештатной ситуацией, что ослабляем внимание и перестаем следить за процессом. Мы отвлекаемся от работы или от той ее части, которую выполняет компьютерная программа, и в результате можем пропустить сигнал о каком-то неблагополучии. Многие из нас испытывали это подчинение при работе с компьютером. Например, мы невнимательно читаем написанный нами текст, если в компьютере есть программа исправления ошибок [4]. Это, конечно, мелкая погрешность, которая в худшем случае может вызвать у человека смущение. Но, как показывают приведенные нами примеры из авиации, такое подчинение машине может привести к трагическим, непоправимым последствиям. В самых крайних случаях компьютерной зависимости люди начинают настолько доверять технике, что теряют всякое представление о том, что происходит в реальности. Если внезапно возникает какая-то проблема, то она настолько ошеломляет человека, что он может растеряться, упустить драгоценное время и не справиться с ситуацией, так как не успевает в нее вникнуть.
Недопустимое подчинение автомату было документально зафиксировано во многих сопряженных с высоким риском ситуациях – будь то на полях сражений, в заводских цехах, на капитанских мостиках и в рубках надводных и подводных кораблей. Классический пример – авария океанского лайнера Royal Majesty с 1500 пассажирами на борту. Весной 1995 года судно шло от Бермудских островов в Бостон, завершая недельный круиз. Оно было оснащено суперсовременным навигационным оборудованием, в котором для прокладки курса использовали систему GPS. Через час после выхода из Бермудского порта был поврежден кабель антенны GPS и, как следствие, отказала навигационная система. На компьютерных экранах продолжала появляться какая-то абсолютно недостоверная информация. В течение 30 часов, пока корабль медленно, но верно отклонялся от заданного курса, ни капитан, ни экипаж не замечали возникшей проблемы, несмотря на то что были явные признаки выхода из строя системы навигации. В определенный момент вахтенный офицер не увидел сигнальный буй, мимо которого должно было в тот момент проследовать судно. Но вахтенный не доложил капитану об этом факте, решив, что просто пропустил буй, не заметив его. Пройдя еще 20 миль, корабль сел на мель у берега Нантакета. По счастью, никто из пассажиров не пострадал, но круизная компания понесла миллионные убытки. Правительственная комиссия пришла к выводу, что причиной несчастного случая стало подчинение автоматам. Команда судна «слепо положилась» на автоматизированную систему, причем до такой степени, что проигнорировала показания других навигационных средств и «визуальную информацию», которая четко говорила о том, что судно сбилось с курса. Члены комиссии пришли к выводу, что автоматические системы лишили моряков возможности осмысленного и активного участия в управлении судном [5].