Vlákno názorů k článku Lexikální a syntaktická analýza zdrojových kódů programovacího jazyka Python od RDa - Ten whitespace, ktery zde neni zanedbatelny - se...

Ten whitespace, ktery zde neni zanedbatelny - se tokenizuje nebo zpracovava jak (prakticky / akademicky) ?

Prijde mi to jako nechutny hack, ktery nutne musi porusovat rozdeleni do syntaktickych a semantickych vrstev parsovani zdrojaku pro vysledny AST.

Jesteze za meho studia na VUT jsme takoveto bleh jazyky nemuseli zpracovavat v predmetu s prekladaci :-) A ani ted... po 20 letech nechapu proc nekdo vubec pouziva Python. Uz jen potreba specialniho editoru, co by umel odsazovat bloky je pro me showstopper.

Jako INDENT (zacatek odsazeneho bloku) a DEDENT (konec odsazeneho bloku).

> jak (prakticky / akademicky) ?

nevim co znamena akademicky, prakticky tokenizer sleduje pocet mezer na zacatku radku, pokud je vetsi nez predchozi, vlozi INDENT, pokud mensi nez predchozi a odpovida nektere z predchozich urovni odsazeni, vlozi odpovidajici pocet DEDENT. Pokud je mensi, ale neodpovida zadne z predchozich urovni, vyhodi vyjimku.

https://github.com/python/cpython/blob/3.10/Lib/tokenize.py#L509

uvnitr zavorek a viceradkovych retezcu je odsazeni ignorovano

Tokeny INDENT a DEDENT jsou pro parser stejne jako slozene zavorky v c-like jazycich.

S Pythonem jsem se naštěstí setkal jen jednou (opravoval jsem bug v jakémsi SW) a stačilo mi to na celý život. Bohužel, tuhle zhůvěřilost s významným whitespace převzal YAML a s tím se člověk občas potkává i když nechce :-(

YAML je ovšem ještě horší věc. V Pythonu, když už není na obrazovce vidět, kde začíná blok (odsazení), tak je jasný, že se musí refaktorovat a ideálně mít celý blok až na první úroveň celý na obrazovce, nikdy ne delší.

Jenže do YAMLu se ukládá konfigurace, tam se refaktorovat nedá a já tam fakt dost často nevidím, kolik těch mezer mám narvat. Proti tomu je Python zlatý :-)

* aneb když někdo něco slepě okopíruje a nepřemýšlí u toho

Ano, whitespacy nejsou jediný problém YAMLu. Bohužel se postupně prosazuje přesně podle přírodního zákona, že se nakonec prosadí to nejhorší řešení :-(

Co je na něm tak špatného? Já se k YAMLu dostal díky Home Assistentu a ESPHome. Na takovéto konfigurace mi to přijde mnohem lepší než JSON, XML a INI. Editor VSCode ukazuje barevně levely odsazení takže se v tom lehce orientuje. Ale asi jsem se nikdy nedostal k nějakému extrémně dlouhému a složitému YAMLu jako vy.

Ale viete ze YAML je 'nadstavba' nad JSON takze mozete kludne pouzivat JSON zapisy cez {} a [].
A este vam prezradim dalsie velke tajomstvo skute si v specifikacii pohladat & a *.

Jaka jsou lepsi reseni? Ja na tohle nemam vyhraneny nazor. JSON je moc jednoduchy, XML zase zbytecne komplikovane. Mozna TOML?

na druhou stranu to ma aspon typ "date" (resp. timestamp), na rozdil on mnoha ostatnich formatu, kde se s tim neparou a tlaci to pres stringy ;)

JSON?

Nastavte si editor tak, aby Vam nedovolil odsadit pres mimo povoleny level. Treba Emacs to tak ma defaultne.

nestaci si pocitat ":" a prazdne radky, aby to nebylo tak slozite? Jinak z hlediska lexeru je to zvlastni, to je pravda

Mno v podstate se tam neco podobneho uvnitr deje, protoze si tokenizer musi pamatovat, kolik bloku pripadne ukoncit (DEDENT) kdyz najde prazdny radek + neodsazeny dalsi radek. Je to hack, jak se pise vys.

Mozna pro zacatek bloku by to stacilo, pro ukonceni bloku nestaci, tam je treba zjistit, o kolik urovni se vracite.

Ten kod tokenizeru je celkem trivialni, odpovedel jsem v jinem komentari, ktery (dosud?) neprosel moderaci.

Trosku se k tomu vratim priste, ale je to reseno skutecne hackem - konkretne tokeny INDENT a DEDENT. V beznych jazycich by tokenizer delal vlastne jen tokeny pro { a } nebo BEGIN/END, tady ma "stav" pro hlidani indentace, proste hack.

Aby něco šlo, muselo se něco udělat. Průšvih!

Ale vůbec ne, prostě jen namísto klasického lexeru tam je lexer s hackem - pamatováním stavu*. Jestli je to dobře nebo špatně, to těžko posoudím, protože prakticky v každé naší aplikaci/službě nějaký takový hack máme taky :-)

* tedy i klasický lexer si většinou musí něco pamatovat, typicky aspoň jeden "budoucí" znak nebo to musí umět knihovna, kterou používá (ungetc() nebo podobně).

Pokud je problém v tom, že nejde použít Lex nebo něco takhle standardního, chápu, že to může být nepříjemné, jinak ale myslím, že je to prkotina. Podstatné je, zda syntakticky významné odsazování je výhoda tady uznávám, že to je sporné.

Rád bych upozornil, že třeba takový Haskell to má taky tak, a není s tím žádný zvláštní problém. Prostě se to parsuje. Když máte dostatečně inteligentní nástroj, jako třeba https://hackage.haskell.org/package/parsec je odsazování pomocí whitechars prostě jen další logika.

Tohle si mohli v Haskellu odpustit.

Nevím. Nikdy jsem s tím ani u Haskellu ani u Pythonu neměl problém. Naopak je mi to simpatické.

Ukladat logiku do whitespace je iste skvely napad nepodobny brainfucku. Ja by som sa nebranil, podme dalej. Skusme vymysliet este aj kombinacie medzery, tvrdej medzery a TABu. To by vzdy mohlo robit nieco zaujimave.
To ze odsadenie 'pomaha' ludskemu oku lepsie sa orientovat v strukturovanom texte neznamena ze je to aj dobry napad na ukladanie logiky lebo prave tak sa tam moze aj nieco nenapadne stratit.

Tak ona to logika nie je, ale identifikacia blokov.

K TABom, tie boli vymyslene(uz na mechanickych strojoch) pre zarovnanie nie pre odsadenie

Jazyky jako Haskell a coffeescript maji o dost komplikovanejsi odsazovaci pravidla. V Pythonu je situace zjednodusena rozlisenim vyrazu (expressions) a prikazu (statements), coz prinasi mnoha omezeni, ale dost zjednodusuje pravidla odsazovani.

Lenze priemerna funkcia v haskelli ma 3 riadky, ak tam nie je match. Tam to az tak nevadi.

Jo, v roce 2022, kdy máme k dispozici asi 100 různých editorů, které tohle v pohodě umějí, je to hrozný problém. Jsi zaujatý, prostě to řešení má výhody a nevýhody a stačilo by napsat "mně to nevyhovuje". Ale to by nebylo cool.

Keby na to aspon tie IDEC-ka funguju, ale oni moc nie.

Co přesně Ti nechodí?

@RDa

To nechápu. Připsaní snad každého jazyku odstazujete bloky, dokonce i pokud se používají ty slavné závorky. Pokud je někdo prase, tak je úplně jedno jestli se pouze odsazuje, nebo se použijí i závorky - např. javascript a nebo lisp, že. A napsat spaghetti traktát bez odsazení od shora až dolů, to je taky úžasné.

Proč někdo používá Python? Třeba proto kolik obsahuje knihoven v kombinaci s dynamickým typováním a celkem bezproblémovou exekucí skriptů. Na ad-hoc stahování dat z různých API a mixování statistik je úplně ideální.
Stačí jeden skript. Když zabrousíte na stránky NASA, i automatický formater najdete ;-) :-D

6. 8. 2022, 13:43 editováno autorem komentáře