Tokenización del lenguaje natural

Proceso de dividir texto en unidades más pequeñas llamadas tokens, como palabras o subpalabras, esencial en el procesamiento del lenguaje natural para analizar y comprender el lenguaje humano. Ejemplo: dividir "Me encanta programar" en ["Me", "encanta", "programar"] para tareas como traducción automática.