для вашего будущего
Демо без метрик — лотерея. Золотые запросы, hit@k и доля ответов с источником: что смотреть до того, как откроете ноутбук руководству.
Самый опасный ответ ассистента — уверенный и неверный. Разбор guardrails: даты, цены, юридические формулировки и когда сразу звать человека.
Модель тут ни при чём. Если в индекс летит «спасибо, до свидания», ассистент будет вежливым и бесполезным. Разбор, что делать с тикетами за 10 рабочих дней.
Спорим об этом на каждом втором пилоте. Короткий ответ: для CRM почти всегда RAG. Fine-tuning — когда бесит именно тон ответа, а не отсутствие фактов.