Как измерить качество RAG до показа директору

Красивый ответ на одном запросе ничего не доказывает.

Директор спросит другое. Или то же — другими словами. И индекс молчит.

До демо собираем 30 золотых запросов от операторов. Не от маркетинга.

Смотрим hit@k: нашёлся ли нужный фрагмент до генерации. Если retrieval мимо — промпт не спасёт. Писали про это в базе знаний за 2 недели.

Получить цифры качества поиска до показа руководству.

Отделить проблемы индекса от «красоты» формулировок модели.

Понять, готов ли пилот к бою или ещё неделя чистки.

Таблица: запрос → ожидаемый источник → нашлось/нет → ответ ушёл/эскалация.

Порог простой: если hit слабый — демо переносим. Лучше злой оператор, чем злой директор.

RAG без метрик — шоу. С метриками — инженерия.

Нужен замер под ваш контур — напишите.