Ord i NLP: Grundläggande enhet för språkbehandling

Inom Natural Language Processing (NLP) är ett ord en sekvens av tecken (bokstäver, siffror, symboler) som representerar en meningsfull lingvistisk enhet. Det är det minsta fristående elementet som förmedlar semantiskt innehåll.

Viktiga aspekter

• Tokenisering: Dela upp text i ord (tokens) – kritiskt första NLP-steg.
• Ordklasser: Substantiv, verb, adjektiv, adverb, etc., var och en med grammatiska roller.
• Representationer: One-hot, TF-IDF, ordembeddingar (Word2Vec, GloVe, BERT) som fångar semantiska relationer.
• Tvetydighet: Polysemi (flera betydelser) och homonymi utmanar avtvetydigörande.

Ord är byggstenar i meningar, stycken och dokument; förståelse av deras struktur och betydelse ligger till grund för alla NLP-uppgifter.