Posledních pět znaků z každého řádku

Chtel bych mit tolik casu.

tohle je zajimave, linux se typicky pouziva na zpracovavani text souboru. Mit efektivni reseni na velka data je dulezite!

Btw, pouziva se u techto low-level nastroju offloading na GPU? Dovedu si predstavit, ze ten soubor by to parslo rychle & paralelne.

offloading je drahý na podobné typy úloh, tj. hlavně filtrování. Musíš totiž ty data do gpu dostat a použiješ je jen jednou. GPU získává na síle pokud nad jedněma datama potřebuji provést spousty operací, ne pokud potřebuji rychle něco filtrovat v dočasných datech.

awk je v tomhle šílená věc, snad můj neoblíbínejší nástroj na linuxu, používám často na podobnou úlohu, odstranit carriage return z desítek GB velkých csv souborů, člověk by ani nevěřil jak často takovýhle soubory vypadnou z db.

Nikdy jsem nezkoumal podrobně co awk dělá interně, ale právě na zpracování řádků od konce je o řád lepší než jakýkoliv nástroj, který jsem kdy zkoušel, často jsem nebyl schopný ani vlastním C kódem mít lepší časy. Vítě někdo v čem to vězí?

Ne, protože pokud je to rozumně napsané (e.g. nespouštíš nový proces pro každý řádek), tak je to limitované rychlostí čtení dat, případně když jsou v RAM, tak klidně rychlostí čtení z RAM. Poslat to do GPU a zpět by bylo dražší.

A rychlost čtení dat u opravdu velkých datasetů řeší mapreduce.

"řeší mapreduce"? Mám takový dojem, že MR je už na ústupu, ať už ten java framework nebo ten samotný algoritmus.

Myslite, akoze funkcie vyssieho radu map a fold su na ustupe? Som zvedavi aku inu paradigmu mozete pouzit na prechrumanie existujucej obrovskej mnoziny dat, tak aby ste vypocet mohli lahko paralelizovat a opakovat bez sideefektov.

pokud se vezme awk a regex, je to skoro stejne pomaly jak ten grep....

while read line; do rev <<<"$line" | cut -c1-5 | rev; done < file > rev5

WHY???

rev file | cut -c 1-5 | rev > rev5

je žiliónkrát rychlejší, protože nespouští dva revy pro každý řádek.

Žilión = něco pod 2? ;)

Pardon, beru zpět, blbě jsem se podíval.

Podle diskuze pod originálním článkem se ukázalo, že moje řešení je zhruba 44x rychlejší a tedy žilión je 44.

Namisto bashismu a externich commandu si myslim, ze by to slo v Posixu.

#!/bin/sh
while read line; do printf "%s\n" "${line#${line%%?????}}"; done < file

Je to psano rychle, ale im hoby to melo fungovat. Porovnavat se mi rychlost nechce. A je mi jedno, kdo co pouzije za shell ;-)
f.

Docela by mne zajimalo proc tento prispevek dostal tolik minusu? Ze to je spatne citelne? Mozna, ale fungovat to opravdu funguje, a opravdu ve vicero shellech.
Nebo to ma autor za to, ze printf je onen "externi command"?

Dekuji za uznani ;-) Posix shell scripting proste vysel z mody a GNU coreutils taky nejsou na kazdem unixu, stejne tak bash. Printf je externi command, ale v mnoha shellech je kvuli rychlosti (dash, bash etc.) stejne jako echo vestavene.
Viz man dash :
In addition to these, there are several other commands that may be builtin for efficiency (e.g. printf(1), echo(1), test(1), etc).
a man bash : SHELL BUILTIN COMMANDS -> printf [-v var] format [arguments]
Posix shell se mi nechce startovat, ale podivam se zitra ... myslim, ze to bude stejne.
Kazdopadne dik, jdu sbirat dalsi negativni body :-D
f.

kdybych se měl předem vsadit, asi bych tipoval pořadí grep, sed, perl, awk s mnohem menšíma rozdílama.

...jak mohli zapomenout na ten perl? :)

na perl nezapomneli, ale nenasli nikoho, kdo by to v nem dokazal napsat :-)
bylo by zajimave zjistit, jak by na tom byla LUA

'grep xxx soubor' a 'cat soubor | grep xxx' je v rychlisti dost rozdil. Ten test nebude uplne objektivni, ten lua kod by to mel cist sam a ne pres rouru a cat.

Muzu potvrdit, ze perl opravdu vede.
Testovaci soubor o velikosti 1.6GB jsem vyrobil zretezenim kernel logu.
Tady jsou vysledky pro lua, awk a perl:

time cat /tmp/biglog | lua -e 'for line in io.lines() do print(line:sub(-5)) end' >/dev/null
real 0m9.187s
user 0m4.696s
sys 0m1.960s

time awk '{print substr($0,len­gth($0)-4,5)}' /tmp/biglog >/dev/null
real 0m5.259s
user 0m4.976s
sys 0m0.256s

time cat /tmp/biglog | perl -ne 'print substr($_,-6);' > /dev/null 2>&1
real 0m2.526s
user 0m2.252s
sys 0m0.868s

Toto zboznujem. Stravi hodiny pri pisani a skusani scriptov a nema uz tych 30s na margnutie tych minut a sekund dohromady v resulte

Jestli to psal hodiny, tak potez ... to musi byt velky Admin :-D

přesně tak, nejspíš během prvních těch pěti minut co mu běžela jedna varianta vyzkoušel všechny ostatní a jako jiný admin došel ke stejném závěru s awk :).

Autora tedy neznám, ale tohle je rychlé cvičení, podle jeho kódu to není začátečník.

Doporucuji si precist (poradne) co ma autor a co jste napsal vy, aneb:

$ line="text_o_del­ce_vic_nez_pe­ti_znaku"
$ echo ${line: -5}
znaku
$ echo ${line:-5}
text_o_delce_vic_nez_p­eti_znaku
$ unset line
$ echo ${line:-5}
5


Jen pro zajímavost jsem zkusil vytvořit kurzor z tabulky v databázi ve kterém bylo textové pole názvu položky - náhodně, nesetříděno , celkem 8 209 501 řádků - ve FOXPRO trvalo zpracování příkazu

replace ALL polout WITH RIGHT(ALLTRIM(na­zov),5)

celkem 4.79 sec.
Když jsou data v paměti tak to jde celkem rychle.

Konecne vime, k cemu to foxpro bylo.