Насколько интеллектуален искусственный интеллект

Ученые проверяют системы искусственного интеллекта. Исследователи разработали метод, позволяющий получить представление о разнообразном «интеллектуальном» спектре, наблюдаемом в современных системах ИИ, особенно анализируя эти системы ИИ с помощью новой технологии, которая позволяет автоматизировать анализ и количественную оценку.

Алгоритмы искусственного интеллекта (AI) и машинного обучения, такие как Deep Learning, стали неотъемлемой частью нашей повседневной жизни: они позволяют использовать цифровые речевые помощники или переводческие услуги, улучшают медицинскую диагностику и являются неотъемлемой частью будущих технологий, таких как автономное вождение. Основываясь на постоянно растущем объеме данных и мощных новых компьютерных архитектурах, алгоритмы обучения, кажется, достигают человеческих возможностей, иногда даже превосходящих их.

Проблема в том, что пользователям часто неизвестно, как именно системы ИИ приходят к своим выводам. Поэтому часто может оставаться неясным, действительно ли поведение ИИ при принятии решений действительно «разумно» или процедуры в среднем успешны.

Исследователи из TU Berlin, Института имени Фраунгофера Генриха Герца HHI и Сингапурского университета технологии и дизайна (SUTD) решили этот вопрос и дали представление о разнообразном «интеллектуальном» спектре, наблюдаемом в современных системах ИИ, специально анализируя эти системы ИИ с помощью нового технология, позволяющая автоматизировать анализ и количественную оценку.

Наиболее важной предпосылкой для этой новой технологии является метод, разработанный ранее TU Berlin и Fraunhofer HHI, так называемый алгоритм послойного распространения релевантности (LRP), который позволяет визуализировать, в зависимости от того, какие входные переменные системы AI принимают свои решения. Расширяя LRP, новый анализ спектральной релевантности (SpRAy) может идентифицировать и количественно оценить широкий спектр изученного поведения при принятии решений. Таким образом, теперь стало возможным обнаруживать нежелательные решения даже в очень больших наборах данных.

По словам доктора Клауса-Роберта Мюллера, профессора машинного обучения в TU Berlin, этот так называемый «объяснимый ИИ» был одним из наиболее важных шагов на пути к практическому применению ИИ. «В частности, в медицинской диагностике или в системах, критически важных для безопасности, не следует использовать системы искусственного интеллекта, которые используют нестабильные или даже мошеннические стратегии решения проблем».

Используя свои недавно разработанные алгоритмы, исследователи наконец могут испытать любую существующую систему ИИ, а также получить количественную информацию о них: весь спектр, начиная от наивного поведения при решении проблем, до мошеннических стратегий и заканчивая тщательно продуманными «интеллектуальными» стратегическими решениями. наблюдается.

Доктор Войцех Самек, руководитель группы в Fraunhofer HHI, сказал: «Мы были очень удивлены широким спектром выученных стратегий решения проблем. Даже современные системы ИИ не всегда находили решение, которое кажется значимым с человеческой точки зрения, но иногда использовалось так под названием «Умные стратегии Ганса».

Умный Ганс был лошадью, которая могла предположительно считаться и считалась научной сенсацией в 1900-х годах. Как выяснилось позже, Ганс не освоил математику, но примерно в 90 процентах случаев он смог получить правильный ответ из реакции спрашивающего.

Команда вокруг Клауса-Роберта Мюллера и Войцеха Самека также обнаружила похожие стратегии «Умного Ганса» в различных системах ИИ. Например, система искусственного интеллекта, которая выиграла несколько международных конкурсов по классификации изображений несколько лет назад, преследовала стратегию, которая может считаться наивной с точки зрения человека. Он классифицировал изображения в основном на основе контекста. Изображения были отнесены к категории «корабль», когда на изображении было много воды. 

Другие изображения были классифицированы как «поезд», если рельсы присутствовали. Тем не менее, другим изображениям была присвоена правильная категория по их водяному знаку. Следовательно, настоящая задача, а именно обнаружение концепций кораблей или поездов, не была решена этой системой ИИ — даже если она действительно правильно классифицировала большинство изображений.

Исследователи также смогли найти эти типы ошибочных стратегий решения проблем в некоторых современных алгоритмах ИИ, так называемых глубоких нейронных сетях — алгоритмах, которые до сих пор считались невосприимчивыми к таким ошибкам. Эти сети основывали свое решение о классификации частично на артефактах, которые были созданы во время подготовки изображений и не имеют никакого отношения к фактическому содержанию изображения.

«Такие системы искусственного интеллекта бесполезны на практике. Их использование в медицинской диагностике или в критических для безопасности областях может даже повлечь за собой огромные опасности», — сказал Клаус-Роберт Мюллер. «Вполне возможно, что около половины систем ИИ, используемых в настоящее время, неявно или явно полагаются на такие стратегии« Умного Ганса». Настало время систематически проверять это, чтобы можно было разработать безопасные системы ИИ».

С их новой технологией исследователи также идентифицировали системы искусственного интеллекта, которые неожиданно изучили «умные» стратегии. Примеры включают системы, которые научились играть в игры Atari Breakout и Pinball. «Здесь ИИ четко понимал концепцию игры и нашел умный способ набрать много очков целенаправленно и с низким уровнем риска. Система иногда даже вмешивается таким образом, чего не делает реальный игрок», — сказал Войцех Самек.

«Помимо понимания стратегий ИИ, наша работа устанавливает пригодность объяснимого ИИ для итеративного проектирования набора данных, а именно для удаления артефактов в наборе данных, которые заставят ИИ изучать ошибочные стратегии, а также помогает решить, какие немаркированные примеры необходимо аннотировать, и добавил, что сбои системы искусственного интеллекта могут быть уменьшены", сказал доцент SUTD Александр Биндер.

«Наша автоматизированная технология имеет открытый исходный код и доступна для всех ученых. Мы рассматриваем нашу работу как важный первый шаг в создании более надежных, объяснимых и безопасных систем искусственного интеллекта в будущем, и в будущем нам необходимо будет сделать больше. Это является важной предпосылкой для общего развития». использование ИИ", сказал Клаус-Роберт Мюллер.