Hlavní navigace

Hrátky z řádky: pomocné soubory a zamykání

Ondřej Bojar

Opět se setkáváme u pravidelné pondělní dávky tipů a triků z černé řádky. V dnešním díle se podíváme na problém pomocných (nebo chtete-li dočasných) souborů a zamykání souborů. Popíšeme si, jak správně vyrobit pomocný soubor, jak se naopak obejít bez pomocných souborů a také jak na zamykání souborů v bashi.

Jak správně vyrobit pomocný soubor

Pomocné soubory pro mezivýsledky při skriptování budete potřebovat často. Není ale strašlivější chyby, než chyby zaviněné kolizí dvou skriptů, které si navzájem přepisují pomocné soubory. Takovou chybu totiž zreprodukujete jedině neskutečně šťastnou náhodou, že se skripty střetnou ve stejnou chvíli i příště. Studium trosek po kolizi je obtížností srovnatelné s hledáním příčiny pádu letadla, nehledě na to, že slušný skript pomocné soubory před skončením smaže. V nepřátelském prostředí více uživatelů (tj. vlastně vždycky) se navíc podobné kolize užívají k získání neoprávněného přístupu.

Nejhloupější varianta spoléhá, že skript nikdy nepoběží víckrát a že pevné jméno nepoužije současně nikdo jiný:

pomocny=/tmp/moje-specialni-jmeno

Druhá nejlínější varianta do jména souboru zakomponovává číslo procesu (speciální proměnná $$). Stejný skript tedy může současně běžet víckrát a kolize nenastane (pokud do stejného adresáře nezapisuje víc počítačů, pak by samozřejmě i stejné číslo procesu mohlo být užito víckrát):

pomocny=/tmp/pom.$$

Mnohem lepší je ale nechat např. prográmkem mktemp vyrobit jméno zaručeně unikátní, koncová X totiž vybere tak, aby konfliktu zamezil:

pomocny=`mktemp /tmp/pomocny.XXXXXX` || exit 1

Program mktemp můžete též užít k vyrobení pomocného adresáře (parametr -d) pro všechny pomocné soubory pohromadě.

Jak se obejít bez pomocných souborů: Pojmenované roury

S pomocnými soubory nemáte práci navíc jen vy, ale i systém. Efektivnější je se jim úplně vyhnout pomocí rour. Pokud kýžený program trvá na tom, že musí pracovat se souborem, nebo pokud potřebujete „několik rour naráz“, můžete použít pojmenované roury.

Pojmenovaná roura navenek vypadá jako soubor, má jméno v adresářové struktuře. Pokud jej ale nějaký proces zkusí číst, bude zablokován, dokud se jiný proces nepokusí do roury zapisovat, a naopak. Až se producent a konzument sejdou, data protečou rourou, aniž by se ukládala na disk. Pojmenované roury můžete vyrobit příkazem mkfifo (pak ale musíte bojovat s volbou názvu souboru):

mkfifo roura
date > roura &
# spouštíme na pozadí, abychom dostali zpátky konzoli
cat < roura
rm roura # pro pořádek, pokud rouru už nebudeme potřebovat

V jednoduchých situacích v bashi postačí tzv. Process Substitution:

Takto vnějšímu programu předáte název „souboru“, který bude obsahovat to, co vyrobí vnitřní program na svůj stdout:

vnejsi <(vnitrni)
# např. upovídaná analogie k: "hostname; date"
head <(hostname) <(date)

Analogicky můžete nechat připravit soubor pro „odtok“ dat rovnou na stdin vnitřního programu:

vnejsi >(vnitrni)

Here-documents, víceřádkové echo

Jako dodatek k předchozím dílům uveďme, že ve skriptu můžete užít tzv. here-document, tj. přisměrovat data přímo z těla skriptu na stdin nějakého programu. Zde je víceřádková obdoba echa:

cat  << KONEC
řádek jedna
řádek dva
KONEC

Koncové slovo si volíte sami. Pokud jej uvedete v apostrofech, bude i opisovaný text brán doslova, bez expanze proměnných ap. Chcete-li pro přehlednost text či koncové slovo odsadit, použijte „ <<-“ místo „ <<“, aby bash počáteční tabulátory ignoroval.

Zamykání souborů v bashi

Pomocné soubory děláme, chceme-li zamezit náhodné kolizi a komunikaci mezi procesy vůbec. Občas ale potřebujeme, aby spolu dva skripty komunikovaly přes dohodnutý soubor. I v takovém případě je třeba zabránit kolizi (kdy např. jeden program už čte to, co druhý ještě nedopsal). Pro tento účel je možné soubory zamykat. V bashi nemáte nad zamykáním plnou kontrolu, můžete ale aspoň použít pomůcku lockfile (součástí distribuce procmailu) a vedle citlivého souboru vyrobit navíc soubor zámku. Pomůcka lockfile před vyrobením zámku totiž ověří, jestli už na daném místě zámek není, a pokud ano, zablokuje se, dokud někdo (typicky původní autor) zámek neodstraní:

sdileny_soubor=/cokoli/kdekoli
lockfile $sdileny_soubor.lock
# teď mi žádný slušný kolega nepoleze do zelí
echo "byl jsem zde" > $sdileny_soubor
rm -f $sdileny_soubor.lock # k odemčení stačí zámek smazat
# a teď zas může soubor měnit někdo jiný, já jsem odemkl

Zámky jsou bohužel jen dobrovolné a informativní. Různé programy užívají různé mechanismy zamykání, např. jsme si mohli jenom jinak zvolit příponu „ .lock“ nebo prostě lockfile zapomenout zavolat. (Pověstný je v tomto směru rozdíl mezi editory vim a emacs, navzájem si mohou omylem měnit soubory pod rukama.) I přesto se pečlivým užíváním zámků můžete aspoň sami před sebou poměrně dobře chránit.

Mírné povědomí o technice „zamykání souborů“ pomocí dodatečných souborů se hodí i pro případy nenadálých pádů různých programů (např. firefox). Občas totiž padající program nestihne zámek odstranit a příště se odmítne spustit (s tím, že „už přece jednou spuštěn je“). Často postačí (najít a) smazat vhodný soubor zámku ručně.

Za domácí cvičení můžete zkusit pomůcku lockfile naprogramovat sami v bashi, úplně snadné to ale nebude, protože prosté „ while [ ! -e file.lock ]; do sleep 5; done; touch file.lock“ nefunguje. Dva skripty se totiž mohou potkat tak, že oběma se bude ještě zdát, že soubor zámku neexistuje, a oba „zamknou současně“. Mne napadá použít přesměrování s nastavením noclobber (viz manuálová stránka bashe), ale třeba v diskusi navrhnete něco lepšího.

Na závěr připomínám výzvu z diskuse: Máte vlastní sbírku tipů pro příkazovou řádku? Nechcete se s námi podělit o své perly z ~/.bash_history? Prostor tohoto seriálu čeká i na díly od vás. Napište do redakce nebo nám, stávajícím autorům. Rádi vás mezi sebou přivítáme.

Našli jste v článku chybu?

4. 3. 2010 12:06

Stanislav Vokac (neregistrovaný)

Co takhle „mv -i“ kterej se te zepta na konfirmaci prepsani. V noven shellu pak „pgrep mv | xargs kill –9“ a tim to na pozadi zabit a vyhodnotit navratovou hodnotu.
Mel by jsi tak navratovou hodnotu toho, jesli lockfile existuje i za pomoci prikazu mv.
Je to trochu prez ruku a dost zprasek, ale vidis, ze i pomoci mv to jde a tudiz neni jak rikas k nicemu.



13. 3. 2009 0:24

Pokud jde jen o případ, aby se nestalo: "(kdy např. jeden program už čte to, co druhý ještě nedopsal)", tak bych možná využil raději práv než nějakých externích zámků.:


while [[ ! -a file || -w file ]]; do sleep 10; done

s tím, že ten zapisující po ukončení provede :
chmod 500 file

čímž uzavřel soubor pro zápis a je připraven pro čtení.







Vitalia.cz: To nejhorší při horečce u dětí: Febrilní křeče

To nejhorší při horečce u dětí: Febrilní křeče

120na80.cz: Boreliózu nelze žádným testem prokázat

Boreliózu nelze žádným testem prokázat

DigiZone.cz: SES zajistí HD pro M7 Group

SES zajistí HD pro M7 Group

Vitalia.cz: 7 originálních adventních kalendářů pro mlsné

7 originálních adventních kalendářů pro mlsné

DigiZone.cz: R2B2 a Hybrid uzavřely partnerství

R2B2 a Hybrid uzavřely partnerství

Vitalia.cz: Nejlepší obranou při nachlazení je útok

Nejlepší obranou při nachlazení je útok

Podnikatel.cz: K EET. Štamgast už peníze na stole nenechá

K EET. Štamgast už peníze na stole nenechá

120na80.cz: 5 nejčastějších mýtů o kondomech

5 nejčastějších mýtů o kondomech

Podnikatel.cz: Chtějte údaje k dani z nemovitostí do mailu

Chtějte údaje k dani z nemovitostí do mailu

Lupa.cz: Co se dá měřit přes Internet věcí

Co se dá měřit přes Internet věcí

DigiZone.cz: V Plzni odstartovalo Radio 1

V Plzni odstartovalo Radio 1

Vitalia.cz: Jak vybrat ořechy do cukroví a kde mají levné

Jak vybrat ořechy do cukroví a kde mají levné

Vitalia.cz: Pamlsková vyhláška bude platit jen na základkách

Pamlsková vyhláška bude platit jen na základkách

Vitalia.cz: Proč vás každý zubař posílá na dentální hygienu

Proč vás každý zubař posílá na dentální hygienu

Lupa.cz: Insolvenční řízení kvůli cookies? Vítejte v ČR

Insolvenční řízení kvůli cookies? Vítejte v ČR

120na80.cz: Horní cesty dýchací. Zkuste fytofarmaka

Horní cesty dýchací. Zkuste fytofarmaka

Měšec.cz: Za palivo zaplatíte mobilem (TEST)

Za palivo zaplatíte mobilem (TEST)

Měšec.cz: U levneELEKTRO.cz už reklamaci nevyřídíte

U levneELEKTRO.cz už reklamaci nevyřídíte

Root.cz: Certifikáty zadarmo jsou horší než za peníze?

Certifikáty zadarmo jsou horší než za peníze?

Měšec.cz: Zdravotní a sociální pojištění 2017: Připlatíte

Zdravotní a sociální pojištění 2017: Připlatíte