RAG или fine-tuning: что выбрать для ИИ в Битрикс24

Клиент обычно приходит с фразой: «давайте дообучим модель на наших диалогах».

Звучит солидно. На практике через неделю выясняется другое: модели не хватает не «ума», а свежего статуса из CRM.

Спор RAG vs fine-tuning сейчас массово разбирают в AI-комьюнити. Особенно хорошо заходит на коротких разборах — тот же формат, что улетает в Shorts: «почему бот соврал срок доставки».

Ниже — как мы это режем на пилотах в Битрикс24. Без теории ради теории.

Сначала боль, потом аббревиатуры

Типичный запрос снабженца: «когда заказ 48291 в Казань?».

Fine-tuned модель тут бессильна. Она красиво сформулирует ответ. И спокойно выдумает день, если в промпте дырка.

Мы это ловили руками. Уверенный тон + неверная дата = доверие умирает за один тикет. Операторы потом боятся включать ассистента.

RAG работает иначе: сначала находит фрагмент — регламент, verified_answer, карточку сделки — потом просит модель только сформулировать. Факт не из «памяти» LLM.

Где RAG реально выигрывает

Открытые линии. Внутренняя база. Поиск по документам на диске Битрикс24. Каталог номенклатуры.

Обновили регламент — ответ меняется без ночного переобучения. Можно ткнуть пальцем в источник. Данные остаются в контуре клиента — для многих это вообще стоп-фактор к внешнему SaaS.

В кейсе ИИ-ассистента для техподдержки без RAG и SearchPilot 24 пилот бы развалился на галлюцинациях по срокам.

А fine-tuning тогда зачем

Когда бесит стиль. Слишком «ChatGPT». Слишком вежливо. Слишком длинно.

Или когда у вас огромный стабильный корпус «как мы отвечаем» и почти нет живых справочников. Редкость для компаний, где CRM дышит каждый день.

Многие делают через fine-tune «на всём подряд» — и получают модель, которая звучит «по-нашему», но врёт по остаткам. Особенно больно на демо для директора.

Честно: на старте пилота мы fine-tuning почти не трогаем. Сначала retrieval. Потом verified_answers. Потом уже спорим про тон.

Где ИИ выглядит искусственно

Одинаковые абзацы. «Буду рад помочь». Пустые уточнения без кнопки «позвать человека».

И самое токсичное — ответ без источника, когда речь про деньги, сроки, DN/PN, юридические формулировки.

Промпт, который у нас заходит лучше: «если даты нет в CRM или регламенте — эскалируй, не угадывай». Скучно. Работает.

На первой неделе рисуем карту источников: CRM, диск, тикеты, каталог. Отдельно — что нельзя выносить в чужое облако.

Дальше — индекс и эталонные ответы. Смотрим не «красоту текста», а долю ответов с подтверждённым источником.

Fine-tune, если вообще нужен, — поверх живого RAG. Не вместо базы.

Иначе получите красивого болтуна. Мы таких уже хоронили на пилотах.

Для Битрикс24 и техподдержки рабочая схема почти всегда одна: поиск → генерация → проверка источника → человек.

Fine-tuning — второй этаж. Не фундамент.

Хотите разобрать ваш поток обращений без магии в слайдах — напишите задачу. Посмотрим тикеты, а не презентацию вендора.