المصطلحات

Tokenizer

محلل لغوي يحوّل النص إلى وحدات يمكن للنموذج اللغوي معالجتها.