Интеллект-стек 2023 - стр. 14
⠀
Оптимизм заключается в том, что нет ничего страшно плохого и неизбежного, есть просто мало знаний о том, как этого избегать. Много смертей от родильной горячки? Акушеры, мойте руки! В это трудно поверить, но это помогает! Хочется долететь до Луны? Используйте жидкостный ракетный двигатель и многоступенчатые ракеты, это не слишком очевидно, но результат вас порадует30. Хочется построить универсальный вычислитель? Используйте 17,468 вакуумных ламп (триодов) в режиме вентиля, а не пневматику или механику31!
Ну, или знания есть, но они просто недостаточно распространены. То есть нужны исследования по тому, что может угрожать и инженерные разработки средств защиты, затем просвещение по поводу того, как защищаться, как спасаться. И тогда землетрясения не страшны, ураганы не страшны и много чего ещё не страшно. Даже другие люди, организованные в государства, тоже становятся не страшны. Искусственный интеллект должен в этом помочь, и помочь сильно.
⠀
Сегодня (и, похоже, достаточно надолго в пока ещё человеческой цивилизации) проблемой создания искусственных интеллектов на основе нейронных сетей является достижение максимальной безвредности/harmlessness32 и полезности/услужливости/helpfulness33. (это назвается проблемой согласования целей/alignment34). Это делается на сегодняшний день несколькими основными приёмами:
• Попытками обучать большую языковую модель на «правильных данных», а не на всех вообще данных. Это хорошо для математики, потому как если убрать из обучающей выборки пример с 2*2=5 и код программ на разных языках программирования, который заведомо содержит ошибки, качество интеллекта растёт. Но это практически невозможно для многих других областей человеческих знаний, ибо не позволяет учить какой-то истории (в истории, как мы понимаем, и рабы встречались в количестве, и репрессии по религиозному и расовому признакам, а также было существенное неравноправие женщин и детей, а ещё средний уровень культуры в разных странах сильно различался). Сам вопрос, являются ли какие-то данные по поведению людей правильными – он совершенно неоднозначен, и всегда можно найти какую-то группу людей, которая объявит себя «жертвой» и будет требовать от искусственного интеллекта учитывать интересы этой группы и не давать нейросети познать существование каких-то интересов, нарушающих интересы этой группы. Это довольно сильная (и вредная!) идеология wokeism35. При этом текущее правительство любой страны ещё и будет иметь предпочтительную версию истории, которая при резкой смене власти обычно переписывается. Всё как с людьми, нельзя из искусственного интеллекта получить «правильный интеллект» на «правильных данных», ибо никак нельзя оградиться от «неправильных данных».
• Ставят уже при использовании нейросети обязательное условие в ответах соблюсти «конституцию»36, чтобы обеспечить безвредность/harmlessness. Это обычно 15—20 утверждений37 типа «Не используйте стереотипы и не делайте других вредных обобщающих заявлений о группах людей».
• Воспитать «полезность/услужливость» при этом такими простыми методами не удаётся, поэтому чтобы языковую модель, генерирующую просто «какие-то тексты» в ответ на вопросы, сделать полезной/услужливой/helpful, её обучают на множестве примеров полезных и бесполезных ответов: буквально давая примеры того, что люди считают помогающим в ответах, а что считают бессмысленной тратой времени на «просто болтовню».