Эксперт Т1 рассказал, как внедрить ИИ, которому будут доверять пользователи

Чтобы пользователи доверяли ИИ-системе, поставщик должен доказать, что она стабильно выдает нужный результат и не выходит за заданные границы. Для финансовой отрасли такой доказательной базой может стать "паспорт доверия" — набор документов по результатам испытаний для конкретной версии, конфигурации и сценария использования модели. Об этом заявил заместитель руководителя направления "Искусственный интеллект" ИТ-холдинга Т1 Сергей Карпович на международном форуме Kazan Digital Week.

Паспорт доверия, по словам эксперта, состоит из четырех блоков. Первый описывает, какую бизнес-задачу решает система, кто ею пользуется, к каким данным и действиям у нее есть доступ. Не менее важно перечислить, чего система делать не должна: на какие запросы отказаться отвечать, когда передать диалог сотруднику, какие операции ей запрещены, даже если технически она может их выполнить. Еще до испытаний банк и поставщик договариваются об измеримых критериях допуска — качестве ответов, доле критических ошибок, устойчивости к атакам, скорости работы. "Без исходных порогов протокол тестирования превращается в перечень наблюдений, по которому нельзя принять решение, запускать систему или нет", — отметил Сергей Карпович.

Второй блок раскрывает состав ИИ-системы: какая базовая модель используется и как ее дообучали, откуда берутся данные, какие внешние сервисы и инструменты задействованы и на каких условиях. "Мы недавно строили идеальную ML-платформу для финансовой организации с учетом требований ИБ, этики и внутренних регламентов. Получилась сборка из почти 60 компонентов. Чтобы развернуть их в банке, нужно очень серьезно поработать с информационной безопасностью, департаментами эксплуатации и ИТ: объяснить происхождение всего компонентного состава, показать политику лицензирования и то, как он будет дорабатываться с учетом обновлений операционных систем и фреймворков", — подчеркнул Сергей Карпович. Поставщик должен гарантировать, что компоненты будут поддерживаться и оставаться безопасными. Если каких-то сведений нет — например, разработчик базовой модели не раскрывает данные для обучения, — это нужно честно указать и компенсировать собственными проверками.

Третий блок — тестирование и приемка. Здесь важнее не пройти испытания, а зафиксировать ситуации, в которых система не дает нужного результата. Для этого ее проверяют на сложных и граничных случаях, под нагрузкой, имитируют атаки. При этом результаты действительны только для протестированной версии: новая модель, другой промпт или обновленная база знаний требуют повторной проверки.

Четвертый компонент паспорта доверия — доказанная безопасность архитектуры. Заказчик должен видеть, как данные проходят между системами, как работа системы контролируется и при необходимости отключается. Особенно важно это при запуске ИИ-агентов. "У агентов появляются функции, которых раньше никогда не было, что автоматичсеки превращает их в точки создания уязвимостей внутри организации", — пояснил Сергей Карпович. Агент не должен получать больше прав, чем человек, от имени которого он действует.

"Доверие возникает тогда, когда пользователь понимает, при каких условиях система всегда воспроизводит нужный ему результат. Задача поставщика — дать клиенту доказательную базу, которая это позволяет. Если доказательства нельзя воспроизвести, это не доверенный ИИ, а система, которой просто решили поверить", — подытожил Карпович.

Последние комментарии

Юрий Пестриков 26 июля 2026 15:52 Революция в экономике: как цифровые платформы меняют бизнес и людей

... во - ВО ... скоро будем жить в ЦИФРОВОЙ КОЛОНИИ; ... согнали народ в городские РЕЗЕРВАЦИИ, а о последствиях не думаем - только вольный человек БУДЕТ ЗАЩИЩАТЬ СВОЮ ВОЛЮ, умея жить в просторах РОССИИ.

Дмитрий Донской 02 декабря 2024 16:57 Игорь Матвеев: "Технические специалисты, обладающие знаниями в области ИТ-технологий, востребованнее, чем программисты"

Специалист по радиосвязи легко осваивает проводную связь, тогда как проводнику сложнее разобраться в радиосвязи. И это факт!

Глеб Галушкин 02 июня 2023 18:06 Антон Крамаров (SmaSS Technologies): "В условиях импортозамещения российские идеи и разработки получают второй шанс"

Только в своих «мудрых» речах Антон почему-то умалчивает, как по-свински поступил с работниками своей команды. Что «предупредил» людей о закрытии за две недели до роспуска команды. Уговорил написать увольнение по собственному желанию, клятвенно обещая выплатить всё после продажи интеллектуальной собственности. Потом исчез, и своих денег мы ждём до сих пор

Анатолий Илларионов 13 октября 2018 06:06 "Прибывалка.63" вышла в финал престижного всероссийского конкурса "ПРОФ-IT.2018"

Прибывалка63 умерла после появления в Самаре Яндекс.Транспорт

Фото на сайте

Все фотогалереи

Новости раздела

Все новости
Архив
Пн Вт Ср Чт Пт Сб Вс
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 1 2 3 4 5 6