Интеграция и сопровождение ИИ-систем

Четыре слоя production-сопровождения

Стандартная архитектура сопровождения частной ИИ-системы включает:

1. Наблюдаемость (Observability). Три уровня: инфраструктурный (Prometheus + DCGM - GPU utilization, memory, temperature, NVLink throughput), прикладной (latency P50/P95/P99, throughput, token usage, time-to-first-token) и семантический (RAGAS-метрики, LLM-as-judge на семплированном трафике). OpenTelemetry с gen_ai-семантикой даёт сквозную трассировку от запроса до ответа.

2. Безопасность (Guardrails). Два контура фильтрации. Входной: обнаружение prompt-инъекций (OWASP LLM01:2025 - угроза №1), маскирование PII, проверка на запрещённые темы. Выходной: валидация фактов (faithfulness check), блокировка утечек через регекс-шаблоны, проверка на compliance. Используем NeMo Guardrails с Colang DSL или LLM Guard - оба open-source, без вендорской привязки.

3. Интеграция. Единый API-шлюз с аутентификацией, rate-limiting и журналированием. MCP-серверы для подключения агентов к бизнес-системам. События безопасности - в SIEM (Splunk, Elastic, Wazuh). Для SCADA/MES - OPC UA и Modbus TCP.

4. Управление моделями. Версионирование через MLflow или Git-LFS. Canary-развёртывание: новая модель получает 5% трафика, при стабильных метриках за 24 часа - 100%. A/B-сравнение по faithfulness и latency. При деградации - откат одной командой.

RAGAS-метрики как основа контроля качества

Без количественных метрик эксплуатация ИИ-системы сводится к субъективным оценкам. RAGAS даёт четыре ключевые метрики, каждая из которых указывает на конкретный тип деградации:

• Faithfulness (цель ≥ 0.85): доля утверждений в ответе, подтверждённых retrieved-контекстом. Падение = модель галлюцинирует или дрейфует от контекста. Решение: снизить temperature, усилить системный промпт.
• Answer Relevancy (цель ≥ 0.80): насколько ответ соответствует вопросу. Высокий faithfulness + низкий relevancy = retrieval возвращает не то, что нужно. Решение: пересмотреть стратегию чанкования или embedding-модель.
• Context Precision (цель ≥ 0.70): релевантные чанки в начале выдачи. Низкий precision = reranker не справляется. Решение: cross-encoder reranker (bge-reranker-v2).
• Context Recall (цель ≥ 0.80): все ли нужные факты попали в контекст. Низкий recall = retrieval пропускает важное. Решение: гибридный поиск, расширение top-K.

Эти метрики собираются непрерывно, визуализируются в Grafana и триггерят алёрты при выходе за пороги.

Безопасность: OWASP Top 10 и защита агентов

В 2025 - 2026 годах OWASP выпустил два ключевых документа: Top 10 for LLM Applications (ноябрь 2024) и Top 10 for Agentic Applications (декабрь 2025). Ключевые угрозы, которые мы закрываем:

• Prompt Injection (LLM01): input-фильтры через NeMo Guardrails, семантический анализ входящих сообщений
• System Prompt Leakage (LLM07): изоляция системных инструкций, мониторинг попыток экстракции
• Vector/Embedding Weaknesses (LLM08): защита векторной БД, валидация входных эмбеддингов
• Excessive Agency (LLM06): принцип least agency - агент получает минимум прав, деструктивные действия требуют human-in-the-loop
• Tool Poisoning (ASI04): валидация MCP-инструментов, контроль целостности tool-дескрипторов
• Memory Poisoning (ASI06): мониторинг целостности RAG-индексов, защита от инъекций через документы

Интеграция с DLP и SIEM

Все запросы к LLM журналируются: полный текст промпта, retrieved-контекст, ответ модели, метаданные (пользователь, временная метка, модель). Логи стримятся в SIEM-систему заказчика. DLP-политики блокируют отправку конфиденциальных данных (ИНН, паспортные данные, номера счетов) даже внутри контура - дополнительный рубеж при ошибочной настройке доступов.

Когда ИИ не нужно сопровождать

Если система используется как эксперимент, нагрузка менее 100 запросов в день и нет требований к приватности - возможно, достаточно базового мониторинга. Но как только ИИ встроен в бизнес-процесс, отсутствие наблюдаемости и guardrails - это прямой риск репутации, compliance и безопасности. Мы честно скажем, если текущий объём не требует полноценного SLA.