Видео дня
Галлюцинации ИИ: почему чат-боты с искусственным интеллектом могут показывать ложную информацию
Новая поисковая функция Google "Обзоры искусственного интеллекта" получила негативную реакцию после того, как пользователи указали на некоторые фактически неточные ответы на запросы. Эксперты объяснили, почему чат-боты с искусственным интеллектом (ИИ) способны показывать ложную или обманчивую информацию.
AI Обзоры, запущенные две недели назад, показывают в верхней части страницы поиска Google ответы на самые распространенные вопросы, получаемые из различных источников в интернете. Цель новой функции – помочь пользователям ответить на "непростые вопросы", как отмечено в блоге Google.
Система выдавала ложные ответы. Например, пользователю было предложено приклеить сыр к пицце, если он отклеился, есть камни, чтобы улучшить здоровье, или что бывший президент США Барак Обама – мусульманин, являющийся развенчанной теорией заговора.
Исследование, проведенное стартапом Vectara, занимающимся разработкой генеративного ИИ, показало, что чат-боты придумывают информацию в диапазоне от трех до 27% случаев.
Что такое галлюцинации искусственного интеллекта
Большие языковые модели (LLM), на которых работают такие чат-боты, как ChatGPT от OpenAI и Gemini от Google, учатся предсказывать реакцию на основе шаблонов. Ханан Уазан, партнер и руководитель отдела генеративного ИИ в Artefact, рассказал, что модель вычисляет наиболее вероятно следующее слово для ответа на ваш вопрос на основе того, что есть в их базе данных.
"Это именно то, как мы работаем как люди. Мы думаем, прежде чем говорить", – сказал он в интервью Euronews.
Иногда обучающие данные модели могут быть неполными или предвзятыми, что приводит к неправильным ответам или "галлюцинациям" со стороны чат-бота.
По мнению Александра Сухаревского, старшего партнера QuantumBlack в McKinsey, правильнее называть ИИ "гибридной технологией", поскольку ответы чат-ботов "математически вычисляются" на основе наблюдаемых данных.
В Google уверяют, что не существует единственной причины, почему возникают галлюцинации: это может быть недостаточное количество обучающих данных, которые использует модель, неправильные предположения или скрытые предубеждения в информации, используемой чат-ботом. Google обнаружил несколько типов таких несоответствий. Это касается неправильных прогнозов событий, которые на самом деле могут не произойти, ошибочных срабатываний из-за выявления вымышленных угроз, а также негативных результатов.
Компания признала, что своеобразные галлюцинации могут иметь значительные последствия, например когда модель медицинского ИИ неправильно идентифицирует доброкачественную модель кожи как злокачественную, что приводит к "ненужным медицинским вмешательствам".
По словам руководителя отдела ИИ в международной фирме по разработке продуктов HTEC Group Игоря Сево, все зависит от того, для чего используется искусственный интеллект.
"В творческих ситуациях галлюцинации – это хорошо. Вопрос в том, как научить модели различать творчество и правдивость", – пояснил он, отметив, что АИ-модели могут писать новые фрагменты текста или электронные письма определенным голосом или стилем.
Все дело в данных
По словам Уазана, точность чат-бота зависит от качества получаемого им набора данных.
"Если один из источников данных не является 100%, чат-бот может сказать что-то неправильное. Это основная причина, почему у нас возникают галлюцинации", – сказал он.
По словам Уазана, модели ИИ используют много данных из Интернета и открытых источников для обучения своих моделей.
OpenAI, в частности, также заключает соглашения с такими медиаорганизациями, как Axel Springer и News Corp, и такими изданиями, как Le Monde, по лицензированию их контента, чтобы они могли обучать свои модели более надежным данным. По мнению Уазана, дело не в том, что ИИ требует больше данных для формулирования точных ответов, а в том, что модели нуждаются в качественных исходных данных.
Сухаревский говорит, что его не удивляет, что чат-боты с искусственным интеллектом совершают ошибки. По его словам, они вынуждены, чтобы люди, ими управляющие, могли совершенствовать технологию и ее наборы данных по мере того, как они работают.
Ранее OBOZ.UA сообщал, что украинские разработчики создали первый ИИ-инструмент для отслеживания и анализа информационных преступлений РФ.
Только проверенная информация у нас в Telegram-канале OBOZ.UA и Viber. Не ведитесь на фейки!