Seguramente hemos escuchado que la AI usa token para analizar la información, trataremos de explicar que son? y para que los usan los modelos como ChatGPT ,Llama, Gemini o Claude cuando les haces una pregunta.

Véamoslo desde el punto de vista del usuario. Imagina que estás construyendo una casa con bloques de Lego. Cada bloque es una pieza fundamental que, al unirse con otras, forma la estructura completa. En el mundo de la inteligencia artificial, los tokens son como esos bloques. Los tokens son como las piezas con las que la IA desglosa y construye las respuestas para entender mejor. No siempre son palabras completas, a veces son partes de palabras, sílabas, o incluso signos de puntuación como comas o símbolos. Por ejemplo, la frase «¡Viva México, amigos!» se podría dividir en estos tokens: [«viva», «Mex», «ico», «,», «amigos»].

Cabe aclarar que la tokenización varía según el modelo y el idioma. Al implementar estos modelos, hay que entender su proceso específico de tokenización para estimar costos correctos y rendimiento del modelos para no tener sopesas de costos en el futuro. hablare a más detalles sobre los costos asociados en una publicaciones mas adelante.

¿Por qué la IA usa tokens? Bueno, el modelo no procesa el texto igual que nosotros. Para entender y responder de forma más eficiente, divide todo en pequeñas unidades, los famosos tokens, lo que le permite analizar cada pedazo por separado y luego generar una respuesta basada en eso.

¿Cuántos tokens puedo usar? Aquí es donde se pone interesante. Cada modelo de IA tiene un límite de tokens que puede procesar de una vez. Esto incluye tanto tu pregunta como la respuesta que la IA te va a generar. Si el modelo tiene un límite de 4,000 tokens, por ejemplo, eso significa que la suma de los tokens de tu texto y su respuesta no puede exceder esa cantidad.
Imagina que escribes una novela corta y quieres que la IA te ayude a revisarla. Un documento de 10,000 palabras en un archivo de Word sería más o menos 30 páginas, lo que puede consumir unos 7,500 tokens. Con un modelo pequeño te quedarías corto, pero con uno como ChatGPT o1, Claude 3.5 o Gemini, podrías analizar toda esa información en una sola interacción.

Modelo Límite aproximado de Tokens Uso Principal Características de Procesamiento y Tokens
LLaMA ~4K tokens Investigación y experimentación Buen manejo de conversaciones medianas y largas, pero más básico en aplicaciones prácticas complejas.
ChatGPT 4o ~8K tokens Tareas generales Excelente equilibrio entre velocidad y razonamiento, buena gestión de diálogos largos,multi-modal.
ChatGPT o1 ~128K tokens Problemas complejos, razonamiento profundo matemático y código. Priorización de eficacia sobre velocidad, ideal para tareas complejas como matemáticas o programación, pero genera más tokens, lo que impacta los costos.
Gemini ~100K tokens Modelos de Google enfocados en IA avanzada Altamente eficiente en generación de tokens, especializado en tareas multimodal.
Claude 3.5 ~100K tokens Asistentes conversacionales, procesamiento de texto largo Excelente en diálogos extensos y manejo de gran cantidad de datos, ideal para documentos.

Nota: Datos aproximados según las últimas publicaciones pero esto puede cambiar con actualizaciones constantes.

¿Por qué importan los tokens? Los tokens no solo determinan cuánto texto puedes procesar, sino también cuánto te puede costar usar estos modelos. Los modelos de AI monetizan por Tokens y te cobra por el número de estos que son procesados, Más tokens significa más procesamiento, lo que puede impactar en el costo de las APIs que usan estos modelos. Así que, si vas a implementar uno de estos en tu negocio o proyecto, es súper importante tener en cuenta cómo maneja los tokens para evitar sorpresas y escoger el modelo correcto.
Los tokens son la base de cómo la IA procesa la información. Saber cuántos tokens puede manejar un modelo es clave para que tus interacciones sean fluidas y para que no termines pagando más de lo que esperabas.