На мероприятии Kazan Digital Week советник первого заместителя президента-председателя правления ВТБ Сергей Путятинский представил новые технологические решения, направленные на повышение безопасности виртуальных помощников. В рамках стратегического партнерства специалисты Банка ВТБ и Центра искусственного интеллекта МГУ сконструировали два специализированных детектора, которые призваны контролировать работу ИИ-агентов, отслеживая как входящие запросы клиентов, так и генерируемые цифровыми моделями ответы.
Первый инструмент — детектор токсичности — нацелен на фильтрацию пользовательского контента. Система анализирует сообщения на предмет нарушения законодательства, наличия материалов для взрослых или обсуждения запрещенных тем. В случае обнаружения неэтичного текста или некорректного запроса алгоритм мгновенно блокирует взаимодействие, предотвращая дальнейшую обработку данных.
Второй механизм создан для решения критической проблемы генеративного искусственного интеллекта — галлюцинаций, когда модель выдает вымышленные факты под видом достоверной информации. Детектор галлюцинаций изучает уже готовые ответы цифровых помощников, выявляя в них логические противоречия и фактические несоответствия. Программа не просто фиксирует ошибку, но и визуально подсвечивает проблемные участки текста. Это позволяет сотрудникам Банка ВТБ оперативно принимать решение: отправить сообщение на повторную генерацию или полностью заблокировать некорректный ответ.
