Идея
Автор представил CMF Decision — модель для выбора категории запроса без генерации текста. Она сравнивает ошибки реконструкции признаков для обученных классов и может отказаться от решения при недостаточной уверенности, передав запрос внешней модели. Энкодер, навыки и правила принятия решений хранятся в одном файле; новые навыки можно обучать на своих примерах. В приведённых тестах на англоязычных наборах точность составляла от 86,15% до 96,18%, но условия сравнения с другими моделями различались. Локальный путь на RTX PRO 4000 Blackwell занимал 1,10–1,24 мс в непрерывной серии; после пауз задержка была выше.
Вывод
Автор применил CMF Decision к маршрутизации запросов и проверил его на BANKING77, CLINC150 и MASSIVE. На BANKING77 модель приняла 90,62% запросов, правильно классифицировав 97,24% принятых. При внедрении стоит оценивать и точность принятых решений, и долю запросов, переданных дальше, а задержку измерять в собственном режиме нагрузки.