Коротко
Автор сравнил 11 токенизаторов и показал, что одинаковый объём русского текста у разных моделей превращается в очень разное число токенов. Поэтому для русскоязычного продукта важнее оценивать стоимость типичных запросов в символах или на собственных данных, а не сравнивать только цену за миллион токенов.
Контекст
Автор статьи самостоятельно подготовил четыре пары коротких русских и английских текстов разных жанров и измерил, как их разбивают токенизаторы моделей GPT, Claude, Gemini, DeepSeek, Qwen, GLM, Kimi, Grok, GigaChat и YandexGPT. Задача — сделать сравнение расходов на API осмысленным для русскоязычных сервисов, где единица тарификации — токен, но размер токена зависит от модели и языка.
Главное
- Проверены 11 токенизаторов: OpenAI
o200k_baseиcl100k_base, YandexGPT 5 Lite, GigaChat 3, Grok 4.7, Gemini 3.7 Flash, GLM-5.3, DeepSeek V3/V4, Qwen 3, Kimi K3 и Claude Opus 5. - Использованы четыре пары русских и английских текстов:
tech,chat,officialиcode; длина каждого текста составляла примерно 745–1 060 символов. - В обычной прозе русский текст занимал почти втрое больше токенов, чем английский, у Claude Opus 5; у Kimi K3 — в 1,86 раза, у Qwen 3 — в 1,52 раза, у DeepSeek V3/V4 — в 1,38 раза.
- YandexGPT 5 Lite показал 5,11 символа на русский токен, GigaChat 3 — 4,87; у Claude Opus 5 было 1,03.
- Для OpenAI переход от
cl100k_baseкo200k_baseповысил показатель русского с 2,29 до 4,01 символа на токен; для английского он остался около 5. - В ценовой таблице использованы медианы входных тарифов сервисов, доступных из России, на 27.09.2026. Например, указаны 549,31 ₽ за 1M токенов для Claude Opus 5 и 552 ₽ для GPT-5.5.
- Автор приводит пример разницы между прайсами посредников: Opus 5 стоил от 28,5 ₽ до 549 ₽ за 1M входных токенов, а GPT-5.5 — от 14,25 ₽ до 552 ₽.
- Для закрытых моделей автор вычитал usage короткого базового запроса из usage того же запроса с добавленным текстом; для DeepSeek V4 Flash и моделей GPT с доступными токенизаторами проверка дала точное совпадение.
- У одного агрегатора Claude Sonnet 5 и Claude Opus 4.8 выдавали prompt_tokens, совпадавшие с
o200k_base; для Opus 5 наблюдались другие значения и служебные поля Anthropic, поэтому надёжность usage посредника автор считает требующей проверки.
Как сделано
Для моделей с открытыми токенизаторами автор считал токены локально: среди использованных решений — tiktoken с o200k_base и cl100k_base, а также файлы tokenizer.json и tokenizer.model из официальных или связанных с разработчиками репозиториев. Для закрытых моделей использовался usage.prompt_tokens API и вычитание результата для базового короткого запроса из результата для того же запроса с добавленным текстом. Формула: usage(«Ответь одним словом: ок.\n\n» + текст) − usage(«Ответь одним словом: ок.»). Так автор пытался исключить служебные токены шаблона чата и шлюза; запросы ограничивались max_tokens=16.
Для каждого токенизатора сравнивались четыре пары текстов: технический абзац, диалог поддержки, деловое уведомление и Python-код с комментариями. Затем токенизацию сопоставили с медианными ценами входных токенов у доступных в России сервисов на 27.09.2026 и пересчитали расходы на 1 000 символов. Цены в этой части — ориентир для сравнения, а не обещание конкретного счёта.
Результаты
В тесте русский текст вмещал от примерно 1 символа на токен у Claude Opus 5 до примерно 5 у YandexGPT 5 Lite и GigaChat 3 — разница примерно пятикратная. Для большинства моделей английские тексты давали около 5 символов на токен. По сравнению с английским русская проза занимала на 18–23% больше токенов у OpenAI o200k_base, Gemini, Grok и GLM; на 38% больше у DeepSeek, на 52% у Qwen и на 86% у Kimi. У Claude Opus 5 показатель был почти втрое выше, тогда как у YandexGPT и GigaChat русский текст занимал немного меньше токенов, чем английский.
Сравнение cl100k_base и o200k_base показало для русского рост с 2,29 до 4,01 символа на токен. В ценовом расчёте Opus 5 при медианной цене 549,31 ₽ за миллион входных токенов обходился примерно в 0,53 ₽ за 1 000 русских символов, а GPT-5.5 при 552 ₽ — примерно в 0,14 ₽; при одинаковой цене за токен эффект токенизатора означал бы для Opus почти в 3,9 раза больше токенов на один и тот же русский текст. Автор также отмечает, что выходные токены часто стоят в 3–5 раз дороже входных, поэтому длинные русские ответы могут усиливать разницу. Результаты и цены относятся к конкретным тестовым текстам, моделям и дате.
Ограничения
Выборка небольшая: четыре пары текстов и около 2 500 символов прозы на каждом языке; конкретные коэффициенты на реальных промптах могут отличаться. Закрытые токенизаторы измерялись через API-шлюзы, а для Gemini, GLM, Grok и Kimi независимой локальной сверки не было. Автор обнаружил случаи, когда usage агрегатора совпадал с o200k_base для моделей Claude, и не смог установить, пересчитывал ли токены шлюз или направлял запрос не в указанную модель. В ценовом сравнении использованы медианы по сервисам на 27.09.2026, тогда как фактические тарифы провайдеров могут отличаться в разы. Для GigaChat 2 Max применён токенизатор GigaChat 3, а Grok 4.6 оценён токенизатором Grok 4.7; оба переноса между версиями являются допущениями. В статье также советуют переводить служебные инструкции на английский для экономии токенов, но качество ответов при этом нужно проверять отдельно.
Что взять себе
- Сравнивайте модели по цене типичного запроса на собственных данных, а не только по цене за миллион токенов.
- Измеряйте стоимость и входного, и выходного текста: токенизатор применяется к обоим, а выходные токены нередко дороже.
- Проверяйте usage у агрегатора по открытому токенизатору или данным разработчика, прежде чем опираться на него для биллинга.
- Английский текст системных инструкций и схем может сократить токенизацию у моделей, плохо работающих с кириллицей, но влияние на качество ответов нужно протестировать.
Читать оригинал, если…
Откройте оригинал, если нужны таблицы по каждому жанру, сырые замеры, ссылки и код для повторения эксперимента на своих промптах.