Hlavní navigace

Jak nejlépe mirrorovat weby

Martin Patka

Občas je potřeba z nejrůznějších důvodů stáhnout obsah nějakého webu z Internetu na lokální počítač. Prográmků, které toto umožňují existuje celá řada, podívejme se dnes na jeden z nich. (Pro ostřílené linuxové matadory to není žádná novinka, ale dobré věci zajisté neuškodí, občas ji připomenout.)

Pro přenos celých adresářů mezi servery jsem jeden čas zkoušel script mirror, ale nedokázal jsem jej doladit tak, aby mi vyhovoval. Proto jsem začal používat program Wget. S parametrem -m se z něj stává ideální nástroj pro noční mirrorování FTP adresářů. Wget však umí mirrorovat i WWW stránky. Díky této vlastnosti je možno jej použít i k off-line brouzdání. Program Wget automaticky navazuje, když vypadne spojení, pokud to zdrojový server podporuje (NT to bohužel nepodporují).

Nejzákladnější použití je na příkazový řádek napsat:

wget URL1 URL2 …

URL může být i v těchto formách:

ftp://host[:por­t]/path
ftp://user:pas­sword@host/path
http://user:pas­sword@host/path


Takže ho lze používat i na neanonymních FTP a na privátních WWW stránkách.

Některé možnosti programu wget:

wget -r –tries=10 http://fly.cc­.fer.hr/ -o log
stáhne rekurzívně všechno z fly.cc.fer.hr, v případě chyb 10× vyzkouší každý soubor a zapíše výsledný log.

wget -i FILE
soubor FILE může být normální textový soubor se seznamem URL oddělených mezerou nebo novým řádkem, ale může to být i libovolný HTML soubor, ze kterého si program wget „vytáhne“ všechny odkazy a ty stáhne. Soubor FILE může dokonce být i součástí URL – např. wget -i http://www.ne­co.cz/index.html

wget -N URL
Stáhne URL pouze pokud datum poslední modifikace je novější, než datum u souboru, ktery už je „doma“.

wget -r URL
Rekurze – rozlišuje http-URL a ftp-URL. Http-URL stáhne rekuzivně podle odkazů a ftp-URL podle adresářů. Podle původního nastavení stahuje do hloubky 5. To se dá změnit nastavením -l. Takže wget -rl 2 URL stáhne rekuzivně pouze další úroveň.

wget -m URL
Mirror – je to totožné s wget -rN URL, tj. rekurzivně stáhne všechno co je novější ze zadaného URL.

Program wget toho ale umí daleko více, např. se při stahování dají vyloučit odkazy na různé typy souborů, nebo domény atd.

Našli jste v článku chybu?

10. 8. 2006 21:54

Harvie (neregistrovaný)
To zrychlení se týká XMMS ne MPla"z"eru.

30. 7. 2006 22:58

Harvie (neregistrovaný)
Kromě mirrorování jsem ho ocenil také při nahrávání mp3 (snad i jiných stRýmů), napadlo mě to, když ještě nenastavená Mozilla (1.4) začala rádio místo otevření v aplikaci stahovat, jako soubor neznámé velikosti :), Například Radio1:
wget http://www.blognoviny.cz:8000/radio1-128 -O Reggae_club_29-07-2006.mp3
Ale nevím si rady s nahráváním ze streamu 32 kbps (http://www.blognoviny.cz:8000/radio1-32) Celý záznam je pak nějak podivně zrychlený, nemůže to být tím, že normální mp3 má v sobě …
Root.cz: Nová třída SD karet A1 s vysokým výkonem

Nová třída SD karet A1 s vysokým výkonem

Vitalia.cz: 7 originálních adventních kalendářů pro mlsné

7 originálních adventních kalendářů pro mlsné

120na80.cz: Rovnátka, která nejsou vidět

Rovnátka, která nejsou vidět

DigiZone.cz: R2B2 a Hybrid uzavřely partnerství

R2B2 a Hybrid uzavřely partnerství

DigiZone.cz: SES zajistí HD pro M7 Group

SES zajistí HD pro M7 Group

DigiZone.cz: Sat novinky: slovenská TV8 HD i ruský NTV Mir

Sat novinky: slovenská TV8 HD i ruský NTV Mir

DigiZone.cz: Ohrozí Freedom TV přechodové sítě?

Ohrozí Freedom TV přechodové sítě?

Vitalia.cz: Potvrzeno: Pobyt v lese je skvělý na imunitu

Potvrzeno: Pobyt v lese je skvělý na imunitu

Lupa.cz: Obchod budoucnosti je bez front, košíků i pokladen

Obchod budoucnosti je bez front, košíků i pokladen

Měšec.cz: Za palivo zaplatíte mobilem (TEST)

Za palivo zaplatíte mobilem (TEST)

Lupa.cz: Kdo pochopí vtip, může jít do ČT vyvíjet weby

Kdo pochopí vtip, může jít do ČT vyvíjet weby

120na80.cz: Horní cesty dýchací. Zkuste fytofarmaka

Horní cesty dýchací. Zkuste fytofarmaka

Root.cz: Certifikáty zadarmo jsou horší než za peníze?

Certifikáty zadarmo jsou horší než za peníze?

Měšec.cz: Jak vymáhat výživné zadarmo?

Jak vymáhat výživné zadarmo?

Vitalia.cz: Láska na vozíku: Přitažliví jsme pro tzv. pečovatelky

Láska na vozíku: Přitažliví jsme pro tzv. pečovatelky

120na80.cz: Pánové, pečujte o svoje přirození a prostatu

Pánové, pečujte o svoje přirození a prostatu

DigiZone.cz: V Plzni odstartovalo Radio 1

V Plzni odstartovalo Radio 1

Vitalia.cz: Proč vás každý zubař posílá na dentální hygienu

Proč vás každý zubař posílá na dentální hygienu

Podnikatel.cz: Udávání a účtenková loterie, hloupá komedie

Udávání a účtenková loterie, hloupá komedie

Lupa.cz: Levný tarif pro Brno nebude, je to kartel

Levný tarif pro Brno nebude, je to kartel