Comenzi Linux și abilități Shell
wget: Descărcătorul care nu doarme niciodată
wget este curl pentru joburi măsurate în ore: oglinzi, arhive, extrageri recursive și loturi cron care rulează în timp ce nimeni nu urmărește. Se repetă, onorează robots.txt, reia transferurile întrerupte în mod implicit și se adaptează la limitele ratei și intervalele de așteptare, ceea ce este o curbă de politețe pe care o lasă apelantului. Între cele două instrumente, diviziunea este curată: wget pentru volum și răbdare, curl pentru precizie și o echipă care le cunoaște pe ambele rareori are nevoie de un al treilea instalator.
Puncte-cheie
- Oglindirea este o singură linie: wget --mirror --convert-links --adjust-extension --no-parent https://docs.example.com; omit --no-parent și o arhivă de documentație devine în liniște un crawl a tot ce este deasupra ei.
- Reluați și reîncercați gratuit: wget -c preia o copie de rezervă a unui transfer întrerupt și --tries=10 --waitretry=5 elimină serverele care sughițează la jumătatea volumului în loc să eșueze sarcina la prima criză.
- Politețea are semnale: --limit-rate=200k, --wait=1 și --random-wait împiedică o oglindă să declanșeze limitele ratei din amonte sau o clauză de abuz de server partajat; găzduirea partajată plus un crawler nelimitat este o scurtă prietenie.
- robots.txt este respectat implicit; -e robots=off îl anulează în mod deliberat, iar utilizarea acestei opțiuni împotriva site-ului de producție al altcuiva este modul în care descărcările în bloc se transformă în bilete de incident.
- wget -O /dev/null -nv https://host/health este o sondă de monitorizare cu o singură linie ale cărei coduri de ieșire poartă diagnosticul: 4 este o eroare de rețea, 8 este o eroare de server și ambele bate un cron silentios.
- Conversia contează ulterior: --convert-links rescrie un site în oglindă pentru navigare offline, iar --adjust-extension salvează paginile generate de CMS sub extensiile pe care instrumentele locale le pot servi.
- Lucrările în bloc în cron primesc fișiere de blocare, sau rulările suprapuse se scriu în fișierele pe jumătate terminate ale celuilalt, în timp ce --waitretry întinde în liniște jobul dincolo de fereastra sa; wget nu are mutex intern.
- Cunoașteți granița: formularele, sesiunile bogate în cookie-uri și punctele finale API aparțin curl, iar paginile create de JavaScript oglindesc ca shell-uri goale, deoarece wget urmează link-uri, nu scripturi.
Notă de teren
O oglindă fără --no-parent a rătăcit în patruzeci de gigabytes din biblioteca media a unui client peste noapte și aproape a umplut discul. Steagurile de politețe sunt setate o dată și copiate pentru totdeauna după aceea.
Întrebări frecvente
De ce oglinda mea conține o singură pagină?
Indicatoarele de domeniu au făcut treaba pe care cineva a vrut să o anuleze: restricții robots.txt, --no-parent, o limită de adâncime sau site-ul fiind redat prin JavaScript. wget urmează linkurile pe care le poate vedea; verificați -o wget.log înainte de a da vina pe instrument.
Când ar trebui să aleg wget peste curl pentru o singură descărcare?
Pentru orice reluare sau cron-reliable: -c continuare, reîncercări încorporate și marcare temporală (--timestamping) fac din wget alegerea pentru intervalul de atenție scăzut; curl îți oferă același lucru doar dacă îl asamblați singur.
Este legal sau politicos să oglindiți un site public?
Proprietatea decide legal, robots.txt și încărcarea decid politicos: onorați fișierul roboți, accelerați la o rată umană și preferați un export oficial sau API în momentul în care ținta oferă unul.
De ce unele site-uri returnează 403 la simplu wget?
Filtrare utilizator-agent, de obicei intenționată; --user-agent='Mozilla/5.0' vă ajută să treceți, dar un 403 filtrat înseamnă, de asemenea, că operatorul urmărește, așa că un dialog sau un API este cel mai bun pas următor.
Cum ajută Kinetikatech la comenzi linux și abilități shell
Propunerea e simplă: Comenzile și obiceiurile de scriptare care decid dacă un administrator operează un server sau îl luptă: căutați, transformați, transferați și supravegheați textul și procesele cu instrumentele care se află în fiecare instalare de bază. Încredințează-i serviciului nostru Securitate servere Linux and Administrare servere și ai acoperire completă: evaluare serioasă, implementare curată, monitorizare non-stop.