Решения с вероятностями на GLM-5.3-Flash

Коротко

Авторы показывают, как превратить обычную GLM-5.3-Flash в модель для классификационных решений: получить оценки вероятностей для заранее заданных вариантов одним проходом, не генерируя весь JSON. На 28 текстовых датасетах качество оказалось сопоставимо с Jev, а модель также обрабатывает изображения, но обходится дороже.

Контекст

Авторы — Johannes Hötter, VP Growth, и Marko Rosenmüller, PhD, Technical Lead AI; статья опубликована в контексте Privatemode. Они решали задачу быстрого и типизированного выбора из фиксированного списка вариантов с оценкой уверенности — без затрат на генерацию полного JSON и длинные рассуждения.

Главное

• Эксперимент сравнивает GLM-5.3-Flash на Privatemode, Jev от TypeSafe и Laya от Convai на 29 публичных размеченных наборах; текстовое сравнение проведено на 28 наборах.
• Наборы охватывают маршрутизацию намерений, тональность, темы, модерацию, entailment, ответы на вопросы, юридические тексты и сканы; есть английские и немецкие данные, от 2 до 151 варианта.
• Схема извлекает вероятности вариантов по индексам из одного предсказания следующего токена; дообучение GLM-5.3-Flash не требуется.
• В vLLM важны allowed_token_ids и logprob_token_ids; top_logprobs может не показать все индексы из-за токенов форматирования.
• Для 151 варианта запрашивают вероятности двумя одинаковыми вызовами из-за лимита в 128 ID для logprob_token_ids; объединённый результат подвержен межзапусковому шуму.
• На TREC переход с 6 на 42 варианта снизил точность Jev с 92,1% до 85,6%, GLM — с 91,2% до 79,6%, Laya — с 88,4% до 51,2%.
• Миллион решений по прайсовым ценам: около €62 у GLM и €16 у Jev; при более чем примерно 21 варианте промпт GLM содержит больше токенов, чем запрос Jev.
• Для сканов на RVL-CDIP GLM достигла 70,2%; изображение добавляет около 1 350 входных токенов, а миллион таких решений стоит примерно €270.
• Режим рассуждения улучшил точность в приведённых диапазонах, но увеличил стоимость до примерно €350 за миллион; простое сравнение эмбеддингов дало 45,9–72,8% в зависимости от числа вариантов.
• В банковском наборе banking77 около 17% примеров имеют спорные близкие метки; авторы считают, что верхняя граница точности там около 85%.
• На BoolQ переименование вариантов true и false в correct и wrong снизило качество GLM на 20 пунктов; авторы оговаривают, что изменение также меняет смысл формулировки.
• Проектный код и воспроизводимый бенчмарк опубликованы в репозиториях edgelesssys/privatemode-decisions и edgelesssys/privatemode-decisions-benchmark.

Как сделано

В промпт в формате JSON помещают состояние, вопрос и варианты, каждому варианту присваивают индекс. Инструкция просит вывести choice_index:, а сам промпт заканчивается этим префиксом. Тогда следующий токен соответствует одному из индексов; вместо выбора только сгенерированного токена авторы считывают логарифмические вероятности всех нужных токенов, нормализуют их по вариантам и выбирают наиболее вероятный.

Реализация использует GLM-5.3-Flash на vLLM через Privatemode, endpoint /chat/completions и параметры continue_final_message и add_generation_prompt: false, чтобы продолжить заранее заполненный ход ассистента. allowed_token_ids ограничивает допустимые выходные токены, а logprob_token_ids возвращает вероятности конкретно запрошенных токенов: одного top_logprobs недостаточно, поскольку форматирующие токены могут вытеснить варианты. Токенизацию получают с сервера через /completions с echo, не встраивая токенизатор конкретной модели.

Код на Python вынесен в edgelesssys/privatemode-decisions; методику и данные бенчмарка — в edgelesssys/privatemode-decisions-benchmark. Для изображений их добавляют к тому же запросу. При 151 варианте из-за лимита в 128 записей logprob_token_ids запрос отправляют дважды и объединяют вероятности; потолок для индексов, кодируемых одним токеном, — 191 вариант.

Результаты

На 28 текстовых датасетах GLM-5.3-Flash и Jev сопоставимы: каждый лидировал на 10 датасетах, а на остальных восьми разница была не больше одного процентного пункта. Медианный разрыв — 0,7 п. п. в пользу Jev, статистически незначимый (p = 0.64). Laya, запущенная локально модель с 421 млн параметров, в большинстве задач уступала; медианный разрыв составил 13–15 п. п. (p < 0.001).

В тесте RVL-CDIP на 1 600 сканированных деловых документах из 16 классов GLM-5.3-Flash показала 70,2%; Jev и Laya не принимают изображения. Для 151 варианта на CLINC150 GLM достигла 87,5% против 78,4% у Jev, но два запроса увеличили задержку до 719 мс против 249 мс.

Задержка зависит от географии: из Германии Privatemode отвечал за 180 мс, Jev — за 264 мс; из США Jev — за 164 мс, Privatemode — за 299 мс. По прайсовым ценам миллион решений стоит около €62 для GLM и €16 для Jev. Режим с предварительным рассуждением повышал точность в указанных диапазонах вариантов, но стоил около €350 за миллион решений и генерировал сотни токенов вместо одного.

Ограничения

Бенчмарк охватывает публичные датасеты, а промпт на них не настраивали; результаты не гарантируют такое же качество на конкретной прикладной задаче. Повторные запуски при temperature 0 различались до 3,5% ответов из-за батчинга и вычислений с плавающей точкой. В некоторых наборах метки неоднозначны: авторы оценивают, что около 17% примеров banking77 допускают спорную границу классов, снижая достижимый максимум примерно до 85%. Замена названий вариантов может менять смысл задания: на BoolQ замена true/false на correct/wrong снизила результат GLM на 20 пунктов, но это не изолирует эффект запоминания. Стоимость GLM выше, а большое число вариантов увеличивает задержку; изображения обходятся примерно в €270 за миллион решений из-за дополнительных 1 350 входных токенов на документ. Laya локальная, поэтому сопоставимых цены и задержки для неё не приводили. Заявления о конфиденциальных вычислениях относятся к инфраструктуре Privatemode, а не к самому методу классификации.

Что взять себе

• Если варианты и схема ответа заранее известны, можно извлекать оценки выбора непосредственно из вероятностей токенов и не генерировать JSON целиком.
• Проверяйте доступность логвероятностей именно нужных токенов и ограничения API; top_logprobs не всегда заменяет выборочное получение вероятностей.
• Сравнивайте точность вместе с числом вариантов, задержкой, географией и стоимостью: сопоставимое качество не означает сопоставимую цену.
• Для изображений и большого числа классов учитывайте отдельную цену токенов, лимиты API и дополнительные вызовы; уверенность модели сама по себе не устраняет неоднозначные метки.

Читать оригинал, если…

Откройте оригинал, если нужны репозитории, код настройки vLLM, полные таблицы бенчмарка, сырые результаты или детали примеров с изображениями.