Konfigurace chování GScanner u
Nastavení GScanner u je určeno záznamem GScannerConfig:
typedef struct _GScannerConfig
{ /* default: */
gchar *cset_skip_characters; /* " \t\n" */
gchar *cset_identifier_first; /* G_CSET_a_2_z "_" G_CSET_A_2_Z */
gchar *cset_identifier_nth; /* G_CSET_a_2_z "_0123456789"
G_CSET_A_2_Z GCSET_LATINS G_CSET_LATINC */
gchar *cpair_comment_single; /* "#\n" */
guint case_sensitive : 1; /* FALSE */
guint skip_comment_multi : 1; /* TRUE */
guint skip_comment_single : 1; /* TRUE */
guint scan_comment_multi : 1; /* TRUE */
guint scan_identifier : 1; /* TRUE */
guint scan_identifier_1char : 1; /* FALSE */
guint scan_identifier_NULL : 1; /* FALSE */
guint scan_symbols : 1; /* TRUE */
guint scan_binary : 1; /* FALSE */
guint scan_octal : 1; /* TRUE */
guint scan_float : 1; /* TRUE */
guint scan_hex : 1; /* TRUE */
guint scan_hex_dollar : 1; /* FALSE */
guint scan_string_sq : 1; /* TRUE */
guint scan_string_dq : 1; /* TRUE */
guint numbers_2_int : 1; /* TRUE */
guint int_2_float : 1; /* FALSE */
guint identifier_2_string : 1; /* FALSE */
guint char_2_token : 1; /* TRUE */
guint symbol_2_token : 1; /* FALSE */
guint scope_0_fallback : 1; /* FALSE */
} GScannerConfig;
V deklaraci můžete vidět názvy všech položek včetně jejich typů a hodnot, které odpovídají standardnímu nastavení.
Konfigurační struktura GScanner u se předává funkci g_scanner_new(). Uvnitř této funkce dojde k alokaci nové GScannerConfig a do ní se hodnoty z předané struktury zkopírují (předaný záznam slouží pouze jako šablona). Funkci g_scanner_new() můžete klidně poskytnout konstantní konfigurační záznam a během tokenizace ještě nastavení dodatečně měnit. Kopírováním hodnot se totiž zpřetrhají veškeré vazby s předanou strukturou.
Ještě připomenu, že volání g_scanner_new() s parametrem NULL zapříčiní „natažení“ standardních hodnot.
Nyní se už ale pusťme do popisu všech položek konfiguračního záznamu GScannerConfig:
Bílé znaky
Znaky, které GScanner bude chápat jako oddělovače jednotlivých tokenů, jsou stanoveny obsahem položky:
gchar *cset_skip_characters;
Standardně to je řetězec " \t\n", tedy mezera, tabulátor a zařádkování.
Bílé znaky scanner nijak nepromítá do svého výstupu – jednoduše se přeskakují.
Definice identifikátorů
Pomocí dvou atributů máte možnost ovlivnit, které řetězce bude scanner pokládat za identifikátory:
gchar *cset_identifier_first;
…pole (ukončené '\0') povolených znaků, které se mohou vyskytovat na začátku identifikátorů. V poli jsou znaky, jež mohou být prvním písmenem identifikátorů.
gchar *cset_identifier_nth;
…řetězec definující povolené znaky, z nichž smí být tvořena těla identifikátorů (znaky obsažené v názvech identifikátorů, ale ne na prvním místě).
Na okraj bych ještě uvedl přesnou definici maker G_CSET_A_2_Z, G_CSET_a_2_z…:
#define G_CSET_A_2_Z "ABCDEFGHIJKLMNOPQRSTUVWXYZ"
#define G_CSET_a_2_z "abcdefghijklmnopqrstuvwxyz"
Poznáváte abecedu velkých a malých písmen? :-)
Rozpoznání následující sady znaků bude asi trochu obtížnější:
#define G_CSET_LATINC "\300\301\302\303\304\305\306"\ "\307\310\311\312\313\314\315\316\317\320"\ "\321\322\323\324\325\326"\ "\330\331\332\333\334\335\336"
Jsou to znaky „ ŔÁÂĂÄĹĆÇČÉĘËĚÍÎĎĐŃŇÓÔŐÖŘŮÚŰÜÝŢ“, tedy velká písmena s diakritikou. Bohužel, pro našince je tento výčet více než neuspokojivý, neboť neobsahuje například Š, Ť nebo Ž. Podobně je tomu i s makrem:
#define G_CSET_LATINS "\337\340\341\342\343\344\345\346"\ "\347\350\351\352\353\354\355\356\357\360"\ "\361\362\363\364\365\366"\ "\370\371\372\373\374\375\376\377"
…v překladu: „ ßŕáâăäĺćçčéęëěíîďđńňóôőöřůúűüýţÿ“, v čemž jistě poznáváte malá písmena s diakritickými znaménky (až na některé výjimky).
Při standardním nastavení bude identifikátorem například vstup Promenna3 nebo _pomocná_proměnná_, ale ne třeba 38let, a podobně.
Na první pohled může vyvstat otázka, jak GScanner zareaguje, nalezne-li uprostřed „identifikátoru“ znak, který není obsažen v řetězci cset_identifier_nth. Když se trochu zamyslíme, je to jednoduché: výsledkem bude první část identifikátoru jako samostatný token následovaný (nejspíše) G_TOKEN_CHAR em (náš nepovolený znak) a poté tokeny pro zbytek „identifikátoru“.
Definice jednoduchých komentářů
gchar *cpair_comment_single;
…řetězec o dvou znacích definující tzv. „jednoduché komentáře“. Prvním znakem řetězce je znak určující začátek jednoduchého komentáře v textu; druhý prvek řetězce definuje ukončovací znak jednoduchého komentáře. Standardně to je řetězec "#\n" – komentáře začínají od znaku # a sahají až na konec řádku ( \n).
( GScanner disponuje ještě druhým typem komentářů, tzv. „multi-komentáři“. Jsou v mechanizmu zadrátovány natvrdo a vypadají jako klasické céčkařské komentáře /* ... */.)
cpair_comment_single můžete nastavit i na NULL a znemožnit tak rozpoznávání jednoduchých komentářů úplně.
Case-sensitivita (aneb zohledňování velikosti písmen)
guint case_sensitive;
… TRUE, má-li se GScanner chovat jako case-sensitivní, tj. pokládat velká a malá písmena abecedy za rozdílná (zda-li jsou např. symboly „AhOJ“ a „ahoj“ chápány jako různé).
Nakládání s komentáři
Atribut
guint scan_comment_multi;
určuje, zda má GScanner rozpoznávat tzv. multi komentáře („ /* ...
*/“). Je-li scan_comment_multi rovno FALSE, bude scanner multi komentáře zpracovávat obyčejným způsobem (po znacích) a ne jako poznámku. S hodnotou scan_comment_multi = TRUE zapouzdří celou poznámku do jednoho tokenu. Jestli ji ale skutečně předá i uživateli na výstup, rozhodne podle volby:
guint skip_comment_multi;
Je-li skip_comment_multi = FALSE, dojde v případě nalezení multi komentáře i k jeho předání na výstup v podobě tokenu G_TOKEN_COMMENT_MULTI. S hodnotou TRUE se celá sekvence „ /* ... */“ bude přeskakovat podobně jako bílé znaky.
Jednoduché komentáře nemají atribut podobný scan_comment_multi. Platí, že single poznámky jsou tokenizovány vždy. (Chcete-li přece jenom potlačit rozpoznávání jednoduchých komentářů, nastavte atribut cpair_comment_single na NULL.) Zda mají být na výstup předávány jako tokeny typu G_TOKEN_COMMENT_SINGLE, můžete stanovit boolovskou položkou:
guint skip_comment_single;
Tokenizace identifikátorů
guint scan_identifier;
…nastavte na TRUE, chcete-li, aby scanner rozpoznával identifikátory. Bude-li scan_identifier = FALSE, rozloží se veškeré identifikátory na proud tokenů G_TOKEN_CHAR. Pozor! Jelikož i symboly jsou speciálním případem identifikátorů, nastavením scan_identifier na FALSE znemožníte i rozeznávání definovaných symbolů.
guint scan_identifier_1char;
…touto volbou se GScanner u sděluje, že má za identifikátory pokládat i osamocené znaky. Vyskytnou-li se na vstupu osiřelé znaky z cset_identifier_first, GScanner je nepřeloží na G_TOKEN_CHAR, ale na G_TOKEN_IDENTIFIER. Hodnota nastavení scan_identifier_1char nemá význam, pokud je scan_identifier rovno FALSE.
guint scan_identifier_NULL;
Speciálním identifikátorem, pro který má GScanner vyhrazen zvláštní token, je „ NULL“. Atributem scan_identifier_NULL se určuje, má-li být „ NULL“ přeložen jako G_TOKEN_IDENTIFIER_NULL. Při scan_identifier_NULL = FALSE, se bude „ NULL“ chápat jako kterýkoliv jiný identifikátor, tedy jako obyčejný G_TOKEN_IDENTIFIER.
Rozpoznávání symbolů
Chcete-li potlačit rozpoznávání symbolů, nastavte proměnnou:
guint scan_symbols;
na hodnotu FALSE. Veškeré symboly budou od této chvíle chápány jako pouhé G_TOKEN_IDENTIFIER.
Dnešní článek končí, ale jistě jste si všimli, že jsme neprobrali všechny položky struktury GScannerConfig. Zbytek si schovávám na příště.
U dalšího pokračování se těší
ČLÁNKY DO MAILU