Термин

Токен (в модели)

Минимальный кусочек текста, которым оперирует модель, — иногда целое слово, иногда часть слова или знак препинания. Модель не читает текст сразу целиком, а обрабатывает его токен за токеном.

Что это

Прежде чем ответить, модель дробит и ваш запрос, и свой будущий ответ на токены — что-то среднее между буквой и словом. «Кот» — обычно один токен, а редкое или составное слово может распасться на два-три кусочка.

Почему это не мелочь

Токены — единица, в которой всё измеряется: и объём, который модель способна удержать за раз (контекстное окно), и стоимость запроса при оплате через API, где считают именно токены, а не слова или символы.

Здесь есть особенность, важная для русскоязычного контента: по оценкам разборов рынка, одна и та же фраза на русском обычно занимает заметно больше токенов, чем эквивалентная по смыслу фраза на английском, — из-за особенностей письма и словообразования. На практике тот же текст на русском языке «весит» для модели больше и обходится дороже при равном объёме смысла.

Почему это важно вам

Если вы платите за доступ к модели через API, а не через готовый чат-ассистент с фиксированной подпиской, русскоязычное производство контента будет расходовать лимит и бюджет быстрее, чем кажется по числу слов. Это стоит учитывать при выборе тарифа и при планировании, сколько статей завод может произвести на заданный бюджет.