Vlákno názorů k článku Monitorování přenesených dat v síti s 1000 IP adresami od drnest - Článek mě "zaujal" především použitím noSQL databáze. Přiznám...

Článek mě "zaujal" především použitím noSQL databáze. Přiznám se, že jsem vždy pracoval pouze s klasickými SQL databázemi. Je k čemu je dobrá noSQL databáze na naprosto klasické tabulce kde jsou všechny řádky stejné?

Nebo je to autorovým viděním: "pakliže mám v ruce kladivo, všechno vypadá jako hřebík" :-)

Kdyby to autor přepsal do PostgreSQL nebo MySQL a pak to porovnal, to byl teprve panečku článeček ;-)

Použití Monga mě také zaujalo, už jen z důvodu, že autor potom naď těmi daty dělá agregované dotazy, což se v SQL zvládne jedním dotazem. Pokud to bude mít v Postgresu, tak může použít i Window fce a získat tak snadno zajímavá statistická data per časovou jednotku nebo per IP.

Ještě k tomu Postgresu. Ukládát jen IP a Čas je poměrně velké plýtvání místem (pokud nevadí, netřeba řešit). PostgreSQL má další režijní pole v každém záznamu (pro viditelnost transakcí apod.) Je ale možné použít datový typ pole a tyto časové řady ukládát do pole (dejme tomu po nějakém primárním zpracování a pro účely trvalejšího uložení). To je úspornější. AFAIK mongo na tom bude dost podobně, ukládat jeden JSON dokument per packet je možné, ale je to trochu overkill.

Autor až moc ryhle zavrhnul Redis. Redis je sice primárně key-value DB běžící v paměti, ale umí jednak ukládat svůj stav na disk, ale hlavně se umí replikovat na jiné uzly. Takže pokud někdo chce, může analýzu dat z de facto bezdiskového routeru dělat někde úplně jinde, kde se mohou agregovat data z vícero routerů.

Viděl jsem ještě jiné řešení - úprava (nebo nový modul) v ulogd aby dokázal logovat konec spojení. A zápis normálně do MySQL, ovšem min verze 5.1 aby uměla partitioning a nebyla zahlcená mazáním starých záznamů. A pokud to ten router odhazoval do mysql extra síťovou kartou, zátěž byla v podstatě neznatelná.