С быстрым распространением генеративного ИИ растут и сопутствующие риски, что привлекает внимание к необходимым регулированиям и рекомендациям в разных странах. В данной статье рассматривается важность управления рисками и приводится пример оценки рисков модели с использованием инструмента “Lens for LLMs” от Citadel AI, который специализируется на повышении надежности ИИ. Обеспечение безопасности ИИ требует комплексного подхода и тщательного анализа.
Управление рисками ИИ: вызовы и регуляции в меняющемся мире
В ходе оценки был проанализирован внутренний информационно-извлекательный RAG-системы, использующей генеративный ИИ, в условиях реальной эксплуатации, с использованием наборов данных атак и практических кейсов. Результаты подтвердили, что этот инструмент можно эффективно использовать для оценки рисков моделей ИИ. Мы рекомендуем прочитать эту статью не только инженерам и менеджерам, занимающимся разработкой и внедрением ИИ, но и всем, кто интересуется управлением рисками генеративного ИИ.
С увеличением влияния ИИ и связанных с ним рисков страны усиливают регулирование. Например, в Японии Министерство экономики, торговли и промышленности и Министерство внутренних дел выпустили рекомендации по ИИ для бизнеса в апреле 2024 года. В Европейском Союзе в августе 2024 года вступил в силу Закон о ИИ, который стал первым в мире комплексным набором правил для ИИ. Обеспечение безопасности ИИ стало критически важным для компаний, работающих в Европе, в том числе японских компаний, работающих в ЕС. Нарушение этих правил может привести к штрафам до 35 миллионов евро или 7% от глобальных продаж.
В условиях таких изменений управление рисками ИИ становится критически важным для безопасного и ответственного использования технологий и создания устойчивой ценности. Эффективное управление рисками помогает избегать юридических последствий, завоевывать доверие клиентов и общества, а также способствует инновациям. Область управления рисками охватывает как уровень компаний и организаций, так и уровень моделей ИИ.
Оценка рисков модели включает в себя выявление, анализ и управление потенциальными рисками ИИ с различных точек зрения, таких как производительность, безопасность и этика. Однако из-за сложности и быстрого развития технологий ИИ, оценка рисков и их минимизация представляют собой сложную задачу. Например, второе издание OWASP Top 10 для приложений LLM, которое описывает риски, связанные с генерацией текста, было выпущено в ноябре 2024 года, всего через год после первой публикации. Таким образом, обеспечение безопасности ИИ требует регулярных обновлений в подходах и инструментах.
Проверка устойчивости ИИ: инновационные решения для оценки рисков
Для достижения эффективной оценки рисков моделей в таких условиях целесообразно использовать передовые специализированные продукты. Citadel AI, стартап из Японии, специализирующийся на повышении надежности ИИ, предлагает решение под названием Citadel Lens, которое автоматизирует тестирование на устойчивость ИИ. В апреле 2024 года Citadel представила Lens for LLMs, версию Citadel Lens, поддерживающую крупномасштабные языковые модели, предлагающую уникальные функции оценки качества для генеративного ИИ. Это устройство может существенно помочь в обеспечении безопасности ИИ.
Мы провели верификацию Lens for LLMs для оценки рисков внутренней RAG-системы, которая фактически используется в компании. Lens for LLMs может предоставлять результаты оценки рисков в виде множества метрик, таких как токсичность и фактическая согласованность ответов системы. Например, токсичность указывает на уровень вредности ответа, а фактическая согласованность показывает, насколько ответ системы соответствует документам, на которые она ссылается.
В процессе оценки мы использовали три типа данных: атакующий запрос, смоделированный запрос и журналы операций системы. Основная цель оценки рисков заключается в том, чтобы выяснить, является ли ответ системы рискованным в случае агрессивного запроса. Мы рассмотрели несколько примеров, в которых Lens for LLMs указал на низкий риск, а также на случаи, когда риск был высок. В результате верификации мы подтвердили, что Lens for LLMs эффективно выявляет риски в RAG-системах и показывает, что управление рисками генеративного ИИ должно учитывать конкретные случаи использования, а не только анализировать входные и выходные данные. Это в очередной раз подчеркивает важность обеспечения безопасности ИИ.
Таким образом, мы пришли к выводу, что Lens for LLMs может быть успешно применен для оценки рисков генеративного ИИ. В будущем NTT DATA будет продолжать развивать технологии и предоставлять услуги в соответствии с последними тенденциями в области технологий и регулирования, чтобы обеспечить надежность ИИ в обществе. Обеспечение безопасности ИИ станет приоритетом для всех участников рынка.
Источник: NTT DATA