tokenize 뜻
토큰화하다 [연속된 텍스트 조각을 단어나 구와 같은 별도의 청크로 나누고 그 사이의 특정 경계를 식별합니다].
tokenize는 어떻게 사용할 수 있을까요?
아래 예문들을 통해 다양한 상황에서 "tokenize"가 어떻게 쓰일 수 있는지 알아보세요!
예문
The program tokenizes the input text to analyze its structure.
프로그램은 입력 텍스트를 토큰화하여 구조를 분석합니다.
예문
Tokenizing the text is the first step in natural language processing.
텍스트 토큰화는 자연어 처리의 첫 번째 단계입니다.
예문
The tokenizer separates the words and punctuation in the sentence.
토크나이저는 문장에서 단어와 구두점을 분리합니다.
tokenize의 유의어와 반의어
📌
tokenize: 핵심 요약
동사 tokenize [ˈtoʊkənaɪz] 는 연속적인 텍스트 조각을 단어나 구문과 같은 별도의 덩어리로 나누는 것을 의미하며, 그들 사이의 특정 경계를 식별합니다. 자연어 처리 및 컴퓨터 프로그래밍에 자주 사용됩니다.
