Vlákno názorů ke zprávičce CZ.NIC zveřejnil software DNS Probe pro záznam DNS transakcí od Smazaný profil - Vystup programu je soubor ve formatu Apache Parquet,...

Software je určen pro speciální použití, tj. zpracování DNS provozu ve velkém, jak to dělá CZ.NIC a jiní velcí operátoři DNS, kde tyto dva formáty dávají docela dobrý smysl. Pokud za běžný formát považujete PCAP, tak je možné použít např. dnscap.

C-DNS je nový formát (RFC 8618 vyšlo před 9 měsíci), dá se očekávat, že jeho podpora v různých nástrojích bude postupně narůstat. Pro práci s ním jsme také udělali C++ knihovnu c-dns.

Předpokládám, že nějaké další články týkající se dalšího zpracování a vizualizace těchto dat ještě v budoucnu napíšeme.

15. 7. 2020, 09:37 editováno autorem komentáře

Použité formáty mají logiku, vzhledem k účelu použití sbíraných dat a jejich množství. Apache Parquet je sloupcová databáze, často používaná jako zdroj dat pro zpracování v Apache Hadoop nebo Apache Spark. Formát C-DNS je navržený standard specifikovaný v RFC 8618, určený pro záznam velkých objemů DNS dat. Kdo by potřeboval něco jiného, lze například už zmíněný Spark poměrně triviálně použít k převodu například do JSON nebo CSV.