Компьютеры слишком глупы, но они уже победили

Профессор компьютерных наук Портлендского государственного университета Мелани Митчелл объясняет, почему искусственный интеллект в своем развитии натыкается на фундаментальный барьер

Вы, наверное, слышали, что мы находимся в разгаре революции искусственного интеллекта. Говорят, что ИИ развивается с поразительной скоростью благодаря алгоритмам «глубокого обучения», которые используют огромные объемы данных для обучения сложных программ, известных как «нейронные сети».

Сегодня программы ИИ могут распознавать лица и записывать произнесенные вслух предложения. Существуют программы, которые могут обнаружить хитрейшее финансовое мошенничество, найти подходящие веб-страницы в ответ на неоднозначные запросы, нарисовать лучший маршрут проезда практически к любому месту назначения, обыграть гроссмейстеров в шахматы и го, а также делать переводы между сотнями языков. Более того, обещают, что вот-вот получат широкое распространение автономные автомобили, автоматизированные способы диагностики рака, роботы-уборщики и даже автоматизированные научные открытия.

Основатель Facebook Марк Цукерберг недавно заявил, что в течение следующих пяти-десяти лет компания будет развивать свой ИИ, который будет «лучше, чем человек, во всех первичных человеческих чувствах: зрение, слух, язык, общее познание». Шейн Легг, главный ученый группы DeepMind в Google, предсказывает, что «ИИ достигнет человеческого уровня в середине 2020-х годов».

Как человек, который работал в сфере ИИ на протяжении нескольких десятилетий, я была свидетелем провала подобных прогнозов на ближайшее будущее ИИ, и уверена, что эти последние прогнозы тоже не оправдаются. Проблема создания человекоподобного интеллекта в машинах остается крайне недооцененной. Сегодняшним системам ИИ не хватает сущности человеческого интеллекта: понимания ситуаций, которые мы переживаем, способности понять их смысл. Математик и философ Джан-Карло Рота задал знаменитый вопрос: «Интересно, сможет ли ИИ когда-нибудь преодолеть барьер понимания?» Для меня это по-прежнему самый важный вопрос.

Отсутствие человеческого понимания у машин подчеркивается трещинами, появившимися недавно в фундаменте современного искусственного интеллекта. Несмотря на то, что сегодняшние программы намного более впечатляющи, чем системы, существовавшие 20 или 30 лет назад, серия исследований показала, что системы глубокого обучения могут быть ненадежными совершенно не по-человечески.

Приведу несколько примеров.

«Человеку с непокрытой головой нужна была шляпа» (The bareheaded man needed a hat) программа распознавания речи моего телефона понимает как «Человеку, руководимому медведем, нужна была шляпа». Google Translate переводит фразу «Я загнал свинью в загон» (“I put the pig in the pen”) на французский язык как «Я положил свинью в ручку» (Je mets le cochon dans le stylo) (неверный перевод слова «pen» в значении нструмента для письма).

Программы, которые «читают» документы и отвечают на вопросы о них, легко могут выдать неправильные ответы, если к документу добавить короткие, несущественные фрагменты текста. Точно так же программы, которые распознают лица и объекты – представляемые как главный триумф глубокого обучения, – могут провалиться, когда вводные данные слегка изменяются с помощью определенных типов освещения, фильтрации изображений и других способов, которые ни капельки не влияют на способности распознавания этих объектов человеком.

Одно недавнее исследование показало, что добавление небольшого количества «шума» к изображению лица может серьезно подорвать производительность современных программ распознавания лиц. Еще одно исследование, с юмором названное «Слон в комнате», показало, что появление небольшого изображения, не соответствующего картинке в целом, например, слона в углу гостиной, необъяснимым образом заставляет зрительные программы неправильно классифицировать другие объекты на этой картинке.

Кроме того, программы, которые научились играть в определенную видео или настольную игру на «сверхчеловеческом» уровне, полностью теряются, когда эта игра слегка модифицируется (меняется цвет фона на экране видеоигры или виртуальная «лопатка» для удара по «шарам» меняет местоположение).

Это лишь несколько примеров, демонстрирующих, что лучшие программы ИИ могут быть ненадежными, когда сталкиваются с ситуациями, в той или иной степени отличающимися от того, чему их обучали. Ошибки, совершаемые такими системами, варьируются от безвредных и смешных до потенциально катастрофических: представьте, например, систему безопасности в аэропорту, которая не позволяет вам сесть на рейс, потому что перепутала ваше лицо с лицом преступника, или беспилотный автомобиль, который из-за необычных условий освещения не замечает, что вы собираетесь перейти улицу.

Еще более тревожны недавние демонстрации уязвимости систем ИИ к так называемым негативным примерам. Используя их, злостный хакер может внести особые изменения в изображения, звуковые волны или текстовые документы, которые, будучи незаметными или незначительными для людей, заставят программу совершать потенциально катастрофические ошибки.

Возможность таких атак была продемонстрирована почти во всех областях применения ИИ, включая компьютерное видение, обработку медицинских изображений, распознавание и обработку речи. Многочисленные исследования продемонстрировали легкость, с которой хакеры могли обмануть системы распознавания лиц и объектов при помощи определенных незначительных изменений в изображениях. Можно, например, нанести незаметные наклейки на знак «Стоп», чтобы система видения автономного автомобиля ошибочно принимала его за знак «Уступи дорогу», или изменить аудиосигнал так, чтобы для человека он выглядел фоновой музыкой, а Siri или Alexa заставлял выполнять негласную команду.

Эти потенциальные уязвимости иллюстрируют, что текущий прогресс ИИ разбивается о барьер понимания. Любой, кто работает с системами ИИ, знает, что хотя эти программы демонстрируют вроде бы подобные человеческим способности видеть, разговаривать и играть, они не понимают, какие материалы они обрабатывают или какие результаты производят. Отсутствие такого понимания делает эти программы восприимчивыми к неожиданным ошибкам и незамеченным атакам.

Что же необходимо, чтобы преодолеть этот барьер и дать машинам возможность более глубоко понимать ситуации, с которыми они сталкиваются, а не полагаться на мелкие черты? Чтобы найти ответ, нам нужно взглянуть на изучение человеческого познания.

Наше собственное понимание ситуаций, с которыми мы сталкиваемся, основано на широком, интуитивном «здравомыслящем знании» о том, как все устроено в мире, о целях, мотивах и вероятном поведении других живых существ, особенно других людей. Кроме того, наше понимание мира основано на наших врожденных способностях обобщать знания, формировать абстрактные понятия и проводить аналогии — словом, гибко адаптировать наши концепции к новым ситуациям. Исследователи десятилетиями экспериментировали с методами создания системы ИИ с интуитивным здравым смыслом и надежными, похожими на человеческие, способностями обобщения, но прогресс в этом очень трудном деле был незначительным.

Программы искусственного интеллекта, которые не имеют здравого смысла и других ключевых аспектов человеческого понимания, все чаще используются для приложений реального мира. Некоторые люди обеспокоены «сверхразумным» ИИ, но самая большая его опасность заключается в том, что мы будем слишком доверять ему и предоставлять слишком большую автономию, не будучи полностью осведомленными о его недостатках. Как отмечает в своей книге «Верховный алгоритм» исследователь ИИ Педро Домингос: «Люди опасаются, что компьютеры станут слишком умными и захватят мир, но реальная проблема в том, что они слишком глупы, и они уже его захватили».

Гонка по коммерциализации ИИ оказывает огромное влияние на исследователей в плане создания систем, которые работают «достаточно хорошо» над узкими задачами. Но в конечном счете цель развития надежного ИИ потребует более глубокого изучения наших собственных удивительных способностей и нового понимания когнитивных механизмов, которые мы сами используем для надежного и здравого понимания мира. Чтобы справиться с барьером понимания, ИИ, вероятно, потребуется сделать шаг назад – отойти от все более крупных сетей и наборов данных и вернуться к истокам этой области как междисциплинарной науки, изучающей самую сложную научную проблему: природу интеллекта.