Эксперты ВТБ рассказали, как снизить риски ИИ‑галлюцинаций

Специалисты ВТБ назвали ключевые способы борьбы с галлюцинациями нейросетей — генерацией текста, который выглядит правдоподобно, но содержит вымышленные факты, неточные данные или ссылки на несуществующие источники. Подобные ошибки способны не только создать для пользователя серьезные затруднения при работе с информацией, но и привести к финансовым и репутационным рискам для бизнеса.

"Бывают случаи, когда нейросеть предлагает несуществующие книги в списке рекомендаций или формирует условия продукта, которых на самом деле нет. Модель не проверяет факты, а подбирает наиболее вероятный ответ, поэтому такие ошибки выглядят правдоподобно, но вводят в заблуждение. В первую очередь, снизить количество галлюцинаций можно за счет четко сформулированных запросов. Чем точнее и понятнее формулировка, тем меньше вероятность, что модель начнет фантазировать. Но все же самый надежный способ контроля — это внимательная проверка результата человеком", — сообщил Лев Меркушов, руководитель направления разработки ИИ-решений ВТБ.

Как отметил лидер команды по разработке моделей Алексей Пустынников, для предотвращения искажений информации со стороны ИИ важно понимать и учитывать и характер самих ошибок. Языковые модели не понимают смысл информации и не проверяют ее достоверность в реальном времени, поэтому сбои проявляются по‑разному. В одних случаях система искажает проверяемые данные, в других — формирует вымышленные сведения или неправильно следует заданным инструкциям.

"Галлюцинации в работе языковых моделей можно условно разделить на несколько типов. Есть фактические галлюцинации, когда модель выдает проверяемую информацию с ошибками: например, указывает неправильное имя изобретателя или дату события, либо создает несуществующую связь между объектами. Есть фабрикация фактов, когда нейросеть просто придумывает данные, которые невозможно подтвердить, либо преувеличивает их значение. И отдельная группа — галлюцинации при следовании инструкциям: модель может выполнить другую операцию вместо заданной, не учесть контекст или допустить логические ошибки, например, утверждать, что дважды два равно шести", — сказал Алексей Пустынников.

Причины возникновения ИИ‑галлюцинаций связаны с особенностями обучения и работы языковых моделей. Они формируют ответы на основе вероятностных связей в данных, а не на понимании фактов, поэтому при нехватке или противоречивости информации стремятся "додумать" ответ. Дополнительную роль играют ограничения обучающей выборки: модели не обладают сведениями о событиях, произошедших после окончания сбора данных, не имеют доступа к проверке фактов в реальном времени. В результате ошибки могут возникать как из‑за недостатка знаний в редких областях, так и из‑за неточностей или искажений, изначально содержащихся в используемых данных.

"Другой распространенной причиной ИИ-галлюцинаций являются сложные и абстрактные задачи, которые значительно повышают вероятность ошибок в работе больших языковых моделей. Чтобы снизить такие ошибки, мы рекомендуем использовать несколько подходов. Один из них — продуманная постановка вопросов и инструкций для модели, чтобы она лучше понимала задачу. Еще один способ — так называемая цепочка рассуждений, когда сложный запрос разбивают на простые шаги. Часто применяют и специальные системы, которые перед формированием ответа ищут информацию в проверенных базах данных. Кроме того, модели дообучают на данных из конкретной области, чтобы они лучше понимали термины и нюансы. А специальные защитные механизмы — AI guardrails — помогают отслеживать ответы и вовремя останавливать модель, если она выдает что‑то неверное", — подчеркнул Лев Меркушов.

В практике банка применяются каскадные решения, когда несколько моделей последовательно обрабатывают данные и корректируют результаты друг друга. Подобный подход используется, например, в задачах распознавания текста и речи, прогнозирования снятия наличности и инкассации банкоматов. В области генеративного искусственного интеллекта ведется разработка каскадных моделей для создания умного поиска по корпоративным базам знаний.

Помимо этого, отдельное внимание эксперты уделяют качеству исходных данных. "Один из базовых подходов — фильтрация данных, при котором в обучающие выборки включаются только тексты с минимальным количеством недостоверной информации и источники, в достоверности которых можно быть уверенными. Такой процесс нередко включает проверку материалов экспертами, что повышает качество, но одновременно увеличивает стоимость обучения моделей", — добавил Алексей Пустынников.

Эксперты ВТБ подчеркивают, что использование искусственного интеллекта требует не только технологической зрелости, но и ответственного отношения к качеству данных, прозрачности алгоритмов и контролю за результатами. Такой подход позволяет внедрять ИИ‑инструменты, которые действительно помогают бизнесу, минимизируют ошибки и формируют устойчивое доверие со стороны клиентов.

Последние комментарии

Дмитрий Донской 02 декабря 2024 16:57 Игорь Матвеев: "Технические специалисты, обладающие знаниями в области ИТ-технологий, востребованнее, чем программисты"

Специалист по радиосвязи легко осваивает проводную связь, тогда как проводнику сложнее разобраться в радиосвязи. И это факт!

Глеб Галушкин 02 июня 2023 18:06 Антон Крамаров (SmaSS Technologies): "В условиях импортозамещения российские идеи и разработки получают второй шанс"

Только в своих «мудрых» речах Антон почему-то умалчивает, как по-свински поступил с работниками своей команды. Что «предупредил» людей о закрытии за две недели до роспуска команды. Уговорил написать увольнение по собственному желанию, клятвенно обещая выплатить всё после продажи интеллектуальной собственности. Потом исчез, и своих денег мы ждём до сих пор

Анатолий Илларионов 13 октября 2018 06:06 "Прибывалка.63" вышла в финал престижного всероссийского конкурса "ПРОФ-IT.2018"

Прибывалка63 умерла после появления в Самаре Яндекс.Транспорт

Анатолий Илларионов 13 октября 2018 06:02 Для стадиона "Самара Арена" разработано приложение с 3D-картой и аудиогидом

Всё написали, кроме того как называется приложение

Фото на сайте

Все фотогалереи

Новости раздела

Все новости
Архив
Пн Вт Ср Чт Пт Сб Вс
30 1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30 31 1 2 3