Счётчик токенов для GPT, Claude, Gemini, Llama и других LLM
Вставьте промпт или документ и узнайте, сколько в нём токенов для вашей модели, какую часть окна контекста он займёт и сколько стоит запрос через API. Текст не покидает ваше устройство.
Токенайзеры загружаются с этого сайта и работают на вашем устройстве. Текст никуда не отправляется, не попадает в ссылку и в аналитику.
- Символы
- —
- Слова
- —
- Строки
- —
- Байты (UTF-8)
- —
58 токенов
Токены в тексте
Каждый цвет — один токен. Наведите на токен, чтобы увидеть его ID.
Этот текст в разных моделях
Токенайзеры Llama, Qwen, DeepSeek и Mistral весят по 4–6 МБ, поэтому грузятся только по кнопке. До этого в таблице число по o200k.
| Модель | Токены | Цена входа | Цена запросов | Контекст |
|---|
Делаете продукт на LLM?
Встраиваем GPT, Claude и открытые модели в продукты, делаем чат-ботов и ИИ-агентов и следим, чтобы счёт за токены не рос без пользы. Расскажите о проекте, и мы оценим работу.
Спасибо! Ответим в течение рабочего дня.
Коротко: вставьте промпт в поле выше, и счётчик покажет, сколько в нём токенов для выбранной модели, какую долю окна контекста он занимает и сколько стоит запрос через API. Модели GPT считаются точно теми же токенайзерами, что у OpenAI, Llama, Qwen, DeepSeek и Mistral — их открытыми токенайзерами, а для Claude и Gemini показывается оценка с пометкой.
Мы сами пользуемся этим счётчиком, когда делаем для клиентов решения на ИИ и машинном обучении и чат-ботов: от числа токенов в промпте зависят и цена, и то, поместится ли ответ в окно контекста. Чтобы превратить один запрос в бюджет на месяц, откройте калькулятор расходов на LLM.
Что такое токен
Языковые модели читают не буквы и не слова. Токенайзер режет текст на кусочки из фиксированного словаря: частое английское слово обычно занимает один токен, редкое делится на два-три, а пробелы, знаки препинания и цифры тоже становятся токенами. В английском один токен — это около четырёх символов, или три четверти слова. Русскому тексту того же смысла нужно больше токенов. В коде много скобок и отступов, а числа делятся на группы цифр.
Поэтому один и тот же промпт стоит в разных моделях по-разному. Наш тестовый абзац на русском длиной 329 символов в токенайзере GPT-4o (o200k_base) занимает 87 токенов, а в старом токенайзере GPT-4 (cl100k_base) — 150.
Как посчитать токены
- Вставьте текст или загрузите файл .txt, .md, .json или .csv. Счётчик обновляется на лету.
- Выберите модель. Крупное число — токены этой модели, а метка рядом говорит о точности: точно, близко или ≈ оценка.
- Проверьте окно контекста. Полоса показывает, какую долю лимита модели занимает текст. Помните, что в окно должен поместиться и ответ.
- Оцените стоимость. Укажите ожидаемую длину ответа и число запросов: появится цена одного вызова и всей пачки.
- Сравните модели в таблице ниже. Кнопка «Точно для открытых моделей» загрузит токенайзеры Llama, Qwen, DeepSeek и Mistral.
Насколько точен подсчёт
| Модели | Токенайзер | Точность |
|---|---|---|
| GPT-5, GPT-4o, GPT-4.1, o-серия | o200k_base | Точно |
| GPT-4, GPT-3.5 Turbo | cl100k_base | Точно |
| Llama 3.x, Qwen 3, DeepSeek-V3 | Открытые токенайзеры Hugging Face | Точно |
| Mistral, новые DeepSeek | Mistral Tekken, DeepSeek-V3 | Близко: та же линейка |
| Gemini | Не опубликован | Оценка, до 8 % |
| Claude, YandexGPT, GigaChat и другие | Не опубликован | Оценка |
Подсчёт GPT мы сверили с Python-библиотекой tiktoken, а открытые токенайзеры — с библиотекой Hugging Face tokenizers на десяти текстах: английский, русский, код, JSON и Markdown. Идентификаторы токенов совпали один в один. Оценку Gemini откалибровали по официальному API countTokens.
Откуда цены
Цены за миллион входных и выходных токенов и размеры окон контекста берутся из того же справочника, что у калькулятора расходов на LLM. Дата обновления указана под блоком стоимости. Цены в долларах переводятся в рубли по курсу ЦБ из справочника. Если производитель не публикует окно контекста модели, полоса не показывается.
Частые ошибки
- Считать слова вместо токенов. Лимиты и цены всегда указаны в токенах.
- Забывать системный промпт и историю. В чате они уходят заново с каждым запросом.
- Не учитывать ответ. Выходные токены часто в несколько раз дороже входных: у GPT-5 в 8 раз, у Claude в 5.
- Заполнять всё окно контекста. Оставьте место для ответа и результатов инструментов.
Частые вопросы
Мой текст куда-нибудь отправляется?
Нет. Токенайзеры загружаются с этого сайта и работают в вашем браузере, поэтому текст остаётся на устройстве. Он не попадает в ссылку и в аналитику. В ссылку для коллег попадают только модель и параметры расчёта стоимости.
Какой токенайзер у GPT-5?
GPT-5, GPT-4o, GPT-4.1 и модели o-серии используют o200k_base, GPT-4 и GPT-3.5 Turbo — cl100k_base. Счётчик берёт те же словари через js-tiktoken, поэтому числа совпадают с Python-библиотекой tiktoken.
Почему для Claude показана оценка?
Anthropic не публикует офлайн-токенайзер для актуальных моделей Claude. Точное число возвращает API count_tokens. Счётчик даёт оценку на основе o200k_base с поправкой на язык текста.
Насколько точна оценка для Gemini?
Мы откалибровали её по API Gemini countTokens на прозе, коде, JSON и числах. На 15 тестовых текстах расхождение не превысило 8 %. Gemini делит каждую цифру на отдельный токен, и оценка это учитывает.
Почему в разных моделях у одного текста разное число токенов?
У каждой линейки моделей свой словарь. Чем он больше, тем больше целых слов в нём есть, особенно для языков кроме английского, и тем меньше токенов нужно тексту. Код, числа и редкие слова тоже делятся по-разному.
Как посчитать токены для чата с историей?
Вставьте вместе системный промпт, предыдущие сообщения и новое сообщение. API чатов добавляют ещё несколько служебных токенов на каждое сообщение, поэтому оставьте небольшой запас.