Definición de tokenize
Dividir un fragmento continuo de texto en fragmentos separados, como palabras o frases, identificando límites específicos entre ellos.
Ejemplos de uso de tokenize
Familiarízate con el uso de "tokenize" en varias situaciones a través de los siguientes ejemplos.
Ejemplo
The program tokenizes the input text to analyze its structure.
El programa tokeniza el texto de entrada para analizar su estructura.
Ejemplo
Tokenizing the text is the first step in natural language processing.
La tokenización del texto es el primer paso en el procesamiento del lenguaje natural.
Ejemplo
The tokenizer separates the words and punctuation in the sentence.
El tokenizador separa las palabras y la puntuación en la oración.
Sinónimos y antónimos de tokenize
Resumen de tokenize
El verbo tokenize [ˈtoʊkənaɪz] significa dividir un fragmento continuo de texto en fragmentos separados, como palabras o frases, identificando límites específicos entre ellos. A menudo se utiliza en el procesamiento del lenguaje natural y la programación informática.
