Что это
Прежде чем ответить, модель дробит и ваш запрос, и свой будущий ответ на токены — что-то среднее между буквой и словом. «Кот» — обычно один токен, а редкое или составное слово может распасться на два-три кусочка.
Почему это не мелочь
Токены — единица, в которой всё измеряется: и объём, который модель способна удержать за раз (контекстное окно), и стоимость запроса при оплате через API, где считают именно токены, а не слова или символы.
Здесь есть особенность, важная для русскоязычного контента: по оценкам разборов рынка, одна и та же фраза на русском обычно занимает заметно больше токенов, чем эквивалентная по смыслу фраза на английском, — из-за особенностей письма и словообразования. На практике тот же текст на русском языке «весит» для модели больше и обходится дороже при равном объёме смысла.
Почему это важно вам
Если вы платите за доступ к модели через API, а не через готовый чат-ассистент с фиксированной подпиской, русскоязычное производство контента будет расходовать лимит и бюджет быстрее, чем кажется по числу слов. Это стоит учитывать при выборе тарифа и при планировании, сколько статей завод может произвести на заданный бюджет.