Мультимодальный RAG

Почему текстовый RAG не работает с визуальным контентом

Текстовый RAG молча отбрасывает значительную часть сигнала в реальных enterprise-документах. Графики, таблицы, диаграммы и layout cues часто содержат сам ответ — но никогда не попадают в индекс.

Проблема 1: OCR линейлизует 2D в 1D. Столбцы таблицы сливаются в бессмыслицу, сноски отрываются от референсов, figure captions извлекаются без самой фигуры.

Проблема 2: Table parsing ломается на merged cells. Таблицы с объединёнными ячейками производят garbled markdown, который модель пытается «додумать» — и галлюцинирует структуру.

Проблема 3: Diagram-dependent questions возвращают «недостаточно информации». Даже если страница индексирована — информация была в пикселях, а не в тексте.

По нашим данным, 40-60% критической информации в enterprise-документах существует в нетекстовых форматах. Текстовый RAG имеет upper bound, который никакая tuning chunking strategy не поднимет.

Четыре архитектуры мультимодального RAG

Caption-and-index — самый простой подход. Извлекаем изображения из документов, генерируем caption через VLM (Qwen2.5-VL, PaliGemma), эмбеддируем caption как текст. Плюсы: просто, переиспользует существующий text RAG. Минусы: lossy, caption hallucination становится index pollution.

Unified embeddings — текст и изображения в одном векторном пространстве. Cohere Embed 4: interleaved text + images, 128K context window, raw PDF pages без parsing. voyage-multimodal-3.5: screenshots, slides, figures, video frames. Nomic Embed Multimodal: self-hosted, single + multi-vector. Плюсы: single index, cross-modal queries. Минусы: API dependency или self-hosted GPU cost.

Page-as-image с late interaction — рендерим PDF страницу при high DPI, встраиваем через ColPali/ColQwen2, multi-vector retrieval. ColPali: PaliGemma backbone, patch-level embeddings, MaxSim matching. ColQwen2: Qwen2-VL backbone, лучше на multilingual. ColQwen2.5: Qwen2.5-VL backbone, лидер на ViDoRe V2. Плюсы: highest recall на figure-heavy docs, no parsing pipeline. Минусы: 100-1000x больше векторов на страницу, custom scoring.

Hybrid late-fusion — parallel text + image индексы, BM25 + dense, RRF fusion, VLM reranker. Плюсы: most flexible, best recall на mixed corpora. Минусы: most complex to operate.

Большинство production команд выбирают architecture #2 или #4. #1 — для quick win на малых корпусах. #3 — когда ответы действительно живут в пикселях и recall — binding constraint.

Retrieval и fusion

Три параллельных пути:

• BM25 over text_chunk — для keyword и exact-string queries
• Dense k-NN over text_embedding — для semantic text matching
• Dense k-NN over image_embedding — для visual queries

RRF (Reciprocal Rank Fusion) объединяет три ranked list. Per-query weighting помогает, когда запрос явно визуальный («какой график показывает...») или явно текстовый («определи X»). Parameter-free RRF default — strong baseline.

Reranking: Cohere Rerank 3.5 — стандарт text-side (long context, strong на tables). Для true multimodal reranking — VLM-judge: prompt с query + candidate page image, relevance score 0-10 с justification.

Генерация с grounding

Генерация через vision LLM (Qwen2.5-VL, PaliGemma 2, Gemma 3 vision) с page images inline. Prompt pattern:

> «Вот релевантные страницы. Ответь на вопрос, используя только информацию с этих страниц. Для числовых ответов цитируй конкретную таблицу или график. Если ответа нет — скажи так.»

Grounded citations — bounding boxes, не только page numbers. Храним element bounding boxes при индексации, показываем через UI для verification.

Chart hallucination mitigation:

1. Ask model для reasoning chain («I see the bar labeled Q3 reaches approximately 4.2 on the y-axis...»)

2. Cross-check VLM-extracted numbers against structured data (extracted при парсинге)

3. Hedged answers — soft signal для human review

Chart QA eval set (50-200 вопросов с ground-truth числами) — единственный способ понять, насколько ваш корпус affected.

Cost и storage

Cost per query (на corpus из 10M pages):

• Caption-and-index: low single-digit cents
• Unified embeddings: small multiple
• ColPali + VLM generation: meaningfully higher (self-hosted GPU + multi-image generation)

Storage:

• Single-vector: 10M pages → tens of GB
• Multi-vector (ColPali): 10M pages → single-digit TB
• Matryoshka truncation (1024→256 dim): < 2% recall cost, 4x storage savings

Break-even: consumer search → cheaper architecture. Legal/medical/financial → recall lift от late interaction worth the premium.

Когда мультимодальный RAG не нужен

Если критическая информация существует в чистом тексте — текстовый RAG справится. Если документный набор мал, и ручной поиск практичен — мультимодальность избыточна. Если бюджет ограничен, и текстовый RAG решает 80% задач — начните с него.

Мультимодальный RAG оправдан, когда:

• Критическая информация — в таблицах, графиках, схемах
• Документов много, ручной поиск не масштабируется
• Пользователи тратят часы на поиск информации
• Организация может handle operational complexity и cost