O que são Tokens?

Um token é a unidade básica de processamento em modelos de linguagem. Não é exatamente uma palavra, mas geralmente representa entre 3-4 caracteres de texto. Por exemplo, a palavra "processamento" pode ser dividida em 2-3 tokens.

Compreender tokens é essencial porque os modelos cobram por token processado. Além disso, cada modelo tem um limite de tokens que pode processar em uma única requisição, conhecido como context window ou janela de contexto.

O que é Context Window?

O context window (janela de contexto) é o número máximo de tokens que um modelo pode processar em uma única interação. Isso inclui:

• Seu prompt (pergunta ou instrução)
• Histórico de conversas anteriores
• Documentos ou arquivos enviados
• A resposta gerada pelo modelo

Por exemplo, se um modelo tem 200.000 tokens de context window e você envia um documento de 150.000 tokens, restam apenas 50.000 tokens para sua pergunta e a resposta do modelo.