Vlákno názorů k článku Tokenizace textu: základní operace při zpracování přirozeného jazyka od balkovic - Ďakujem za článok. Tokenizáciu a vyhľadávanie informácii sme...

Ďakujem za článok. Tokenizáciu a vyhľadávanie informácii sme robili v rámci semestrálky na škole pre SAV.

Teším sa na ďalšie diely, toto je staré dobré old school spracovanie jazyka.

Vůbec to není old-school. Naopak se jedná o subword-based tokenizaci, která se objevila v NLP v posledních cca 12 letech v souvislosti s neuronovými sítěmi a je to tokenizace používaná u (nejen) generativních modelů. Algoritmy pro tokenizaci se vyvíjely, ale podstata zůstala stejná - získat slovník subword tokenů zadané veikosti, které maximalizují kvalitu modelu. tiktoken je knihovna od OpenAI.

přesně tak, díky za doplnění

Ok diky za upozornenie, musím si pozrieť, v čom je to nejak iné oproti tomu, čo sme robili, sme sa tam nejak drbali s morfémami a riešili, že v Slovenčine sa slová stále menia.

Toto bude asi niečo kind of novšie s lepším prístupom. Aj hento si musím oprášiť, ak nájdem, kde mám strčené materiály.

jo pro nektere jazyky je to slozitejsi. Paradoxne je to trivialni v pripade cinstin, tam moc slova neohybaji. Ale nehledej za tim raketovou vedu, pri konstrukci slovniku tokenu se moc nedivaji na jazyk, jen na frekvenci sekvence znaku (AFAIK).

Což si mohou dovolit u těch LLM modelů, protože ty si kontext a význam koncovek "odvodí" statisticky. Tradiční zpracování by s tím u našich jazyků pořád mělo problém.

Díky. Ona se tokenizace používá i s moderními LLM, například pro udržení rozumně velikého kontextu (protože delší kontext znamená platit víc a většinou to spíš zhoršuje odpovědi).