Искусственный интеллект еще не способен понимать так же, как люди, и это может иметь катастрофические последствия.

Вы, наверное, слышали, что мы находимся в разгаре революции ИИ. Нам говорят, что машинный интеллект развивается с поразительной скоростью, опираясь на алгоритмы «глубокого обучения», которые используют огромные объемы данных для обучения сложных программ, известных как «нейронные сети».

Современные программы ИИ могут распознавать лица и записывать в текст устные предложения. У нас есть программы, которые могут обнаружить тонкое финансовое мошенничество, найти соответствующие веб-страницы в ответ на неоднозначные запросы, наметить лучший маршрут вождения практически к любому месту назначения, обыграть гроссмейстеров-людей в шахматы и го, а также переводить на сотни языков. Более того, автомобили с автоматическим управлением, автоматическая диагностика рака, роботы-уборщики и даже автоматические научные открытия становятся повседневным и привычным делом.

Основатель Facebook Марк Цукерберг недавно заявил, что в течение следующих пяти-десяти лет компания будет подталкивать ИИ к тому, чтобы «превзойти человеческий уровень во всех основных человеческих чувствах: зрении, слухе, языке, общем познании». Шейн Легг, главный ученый группы Google DeepMind, предсказал, что «искусственный интеллект на уровне человека будет пройден в середине 2020-х годов».

Как человек, который работал в области искусственного интеллекта в течение десятилетий, я была свидетелем провала подобных предсказаний о неизбежном искусственном интеллекте на уровне человека, и я уверена, что эти последние прогнозы также не оправдаются. Задача создания человеческого интеллекта в машинах остается крайне недооцененной. Сегодняшним системам ИИ крайне не хватает самой сути человеческого интеллекта: понимания ситуаций, в котрые мы попадаем, способности понять их значение. Математик и философ Джан-Карло Рота,  спросил: «Интересно, когда ИИ преодолеет барьер смысла?». Для меня это все еще самый важный вопрос.

Недостаток человеческого понимания машинами особенно хорошо проявляется в несоответствиях, укоренившихся в основах современного искусственного интеллекта. Хотя сегодняшние программы гораздо мощнее, чем имевшиеся 20 или 30 лет назад, но то и дело оказывается, что они ненадёжны, и эту ненадёжность человек не сможет предусмотреть.

Я приведу несколько примеров.

«Лысому мужчине нужна шляпа» в программе распознавания речи моего телефона расшифровывается как «Медведеголовый человек нуждается в шляпе».

("Лысый" на английском - bareheaded, "Медведеголовый" - bear headed)

 Переводчик Google переводит «Я поместил свинью в хлев» на французский язык как «Я положил свинью в ручку» ( «ручка »в смысле пишущего инструмента).

(На английском слова "хлев" и ручка" - омонимы ("pen").).

Программы, которые «читают» документы и отвечают на вопросы о них, могут быть легко обмануты, давая неправильные ответы, когда к документу добавляются короткие несоответствующие фрагменты другого текста. Точно так же программы, которые распознают лица и объекты, которые хвалят как главный триумф глубокого обучения, могут внезапно ошибаться, когда исходные данные незначительно искажаются, например, иным освещением, отбором изображений или другими изменениями, которые никак не влияют на способность человека к  распознаванию деталей.

Одно недавнее исследование показало, что добавление небольшого количества «помех» к изображению лица может сильно нарушить производительность современных программ распознавания лиц. Другое исследование , шутливо названное «Слон в комнате», показало, что вставка небольшого изображения неуместного объекта, такого как слон, в угол изображения гостиной, странным образом заставляла программы глубокого обучения визуального распознавания внезапно начинать неправильно классифицировать другие объекты во всей картинке.

Кроме того , программы , которые научились играть в определенную видео- или настольную игру на «сверхчеловеческом» уровне, полностью теряются, когда игра, которую они изучили, слегка модифицируется (цвет фона на экране видеоигры изменяется, виртуальное “весло” для удара “шариками” меняет положение).

Это лишь несколько примеров, демонстрирующих, что даже лучшие программы искусственного интеллекта могут быть ненадежны, когда они сталкиваются с ситуациями, которые даже в небольшой степени отличаются от того, на чем они обучались. Ошибки, допущенные такими системами, варьируются от безобидных и смешных до потенциально катастрофических: представьте, например, систему безопасности аэропорта, которая не позволит вам сесть на самолет, потому что ваше лицо перепутано с лицом преступника, или автомобиля с автоматическим управлением, который из-за необычных условий освещения не замечает, что вы собираетесь перейти улицу.

Еще более тревожными являются недавние демонстрации уязвимости систем искусственного интеллекта для так называемых состязательных примеров. В них злонамеренный хакер может вносить конкретные изменения в изображения, звуки или текстовые документы, которые, будучи незаметными или не относящимися к человеку, могут привести к тому, что программа допустит потенциально катастрофические ошибки.

Возможность таких атак была продемонстрирована почти во всех прикладных областях ИИ, включая компьютерное зрение, обработку медицинских изображений, распознавание речи и обработку языка. Многочисленные исследования показали, с какой легкостью хакеры могут обмануть системы распознавания лиц и объектов с определенными незначительными изменениями в изображениях, нанести незаметные наклейки на знак остановки, чтобы система зрения автомобиля с самостоятельным вождением ошибочно приняла его за выход, подписать или изменить звуковой сигнал так, чтобы он звучал как фоновая музыка для человека, но приказывал системе Siri или Alexa (аналог Spyware?) выполнить скрытую команду.

Эти слабые места иллюстрируют способы, которыми текущий прогресс в искусственном интеллекте блокируется барьером смысла. Любой, кто работает с системами ИИ, знает, что за гранью человеческих визуальных способностей, языковой беглости и игрового мастерства, эти программы не похожи на человека - они не понимают вводимые им данные или производимые ими результаты так, как это делает человек. Отсутствие такого понимания делает такие  программы восприимчивыми к неожиданным ошибкам и атакам, которые невозможно обнаружить.

Что потребуется для преодоления этого барьера, чтобы дать машинам возможность более глубоко понимать ситуации, с которыми они сталкиваются, а не полагаться на отдельные детали? Чтобы найти ответ, нам нужно обратиться к изучению человеческого познания.

Наше собственное понимание ситуаций, с которыми мы сталкиваемся, основано на широком, интуитивном «знании здравого смысла» о том, как устроен мир, а также о целях, мотивах и вероятном поведении других живых существ, особенно людей. Кроме того, наше понимание мира основывается на наших основных способностях обобщать то, что мы знаем, формировать абстрактные концепции и проводить аналогии - короче говоря, гибко адаптировать наши концепции к новым ситуациям. Исследователи десятилетиями экспериментировали с методами наполнения систем искусственного интеллекта интуитивным здравым смыслом и надежными способностями обобщения, подобными человеческим, но в этом очень трудном начинании был достигнут лишь незначительный прогресс.

Программы искусственного интеллекта, в которых отсутствует здравый смысл и другие ключевые аспекты человеческого понимания, все чаще используются для реальных приложений. В то время как некоторые люди беспокоятся о «сверхинтеллектуальном» ИИ, наиболее опасным аспектом систем ИИ является то, что мы будем слишком доверять им и предоставлять слишком много автономии, не зная в полной мере то, что их способности ограничены. Как заметил исследователь искусственного интеллекта Педро Домингос в своей книге «Главный алгоритм»: «Люди беспокоятся о том, что компьютеры станут слишком умными и захватят весь мир, но настоящая проблема заключается в том, что они слишком глупы и уже взяли на себя управление Миром."

Гонка за коммерциализацию ИИ оказала колоссальное давление на исследователей с целью создания систем, которые «работают достаточно хорошо» для узких задач. Но в конечном счете, цель развития заслуживающего доверия ИИ потребует более глубокого исследования наших собственных, недюжинных способностей и нового понимания познавательных механизмов, которые мы сами используем для уверенного и надежного понимания мира. Для раскрытия барьера смысла ИИ, скорее всего, потребуется шаг назад, от расширяющегося киберспейса до глобальных сборов данных. Придётся сделать шаг вперёд - к основе вопроса междисциплинарной науки, изучающей наиболее сложную научную проблему - природу интеллекта.

Автор: Мелани Митчелл - профессор компьютерных наук в Государственном университете Портленда и внешний профессор в Институте Санта-Фе. Ее книга «Искусственный интеллект: руководство для мыслящих людей» будет опубликована в 2019 году Фарраром, Страусом и Жиру.