Linux-kommandoer og skallferdigheter
wget: Det er nedlasteren som aldri sover
wget er curl for jobber målt i timer: speil, arkiver, rekursive trekk og cron-batcher som kjører mens ingen ser på. Den gjentar seg, respekterer robots.txt, gjenopptar avbrutt overføringer som standard, og går i takt med hastighetsgrenser og venteintervaller, noe som er en høflighetskrøll som etterlater den som ringer. Mellom de to verktøyene er divisjonen ren: wget for bulk og tålmodighet, krøll for presisjon, og et team som kjenner begge trenger sjelden en tredje installatør.
Nøkkelpunkter
- Speiling er én linje: wget --mirror --convert-links --adjust-extension --no-parent https://docs.example.com; utelate --no-parent og et dokumentasjonsarkiv blir stille en gjennomgang av alt over det.
- Fortsett og prøv på nytt gratis: wget -c velger en avbrutt overføring tilbake, og --tries=10 --waitretry=5 kjører ut servere som hikker midt i bulk i stedet for å mislykkes med jobben ved første rykk.
- Høflighet har flagg: --limit-rate=200k, --wait=1, og --random-wait forhindrer at et speil snur oppstrøms hastighetsgrenser eller en delt server misbruksklausul; delt hosting pluss en ukontrollert crawler er et kort vennskap.
- robots.txt respekteres som standard; -e robots=off overstyrer det bevisst, og å bruke den overstyringen mot andres produksjonsside er hvordan massenedlastinger blir til hendelsesbilletter.
- wget -O /dev/null -nv https://host/health er en enlinjes overvåkingssonde hvis utgangskoder bærer diagnosen: 4 er en nettverksfeil, 8 er en serverfeil, og begge slår en stille cron.
- Konvertering er viktig i ettertid: --convert-links omskriver et speilet nettsted for offline navigasjon, og --adjust-extension lagrer CMS-genererte sider under utvidelser som lokale verktøy kan tjene.
- Massejobber i cron får låsefiler, eller overlappende kjøringer skriver inn i hverandres halvferdige filer mens --waitretry stille strekker jobben forbi vinduet; wget har ingen intern mutex.
- Kjenn grensen: skjemaer, informasjonskapseltunge økter og API-endepunkter tilhører curl, og JavaScript-bygde sider speiler seg som tomme skall fordi wget følger koblinger, ikke skript.
Feltnotat
Ett speil uten --no-parent vandret inn i førti gigabyte av en klients mediebibliotek over natten og fylte nesten disken. Høflighetsflaggene settes én gang og kopieres for alltid etter.
Vanlige spørsmål
Hvorfor inneholder speilet mitt bare én side?
Scope-flagg gjorde jobben noen mente å angre: robots.txt-begrensninger, --no-parent, en dybdegrense eller at nettstedet blir JavaScript-gjengitt. wget følger lenker den kan se; sjekk -o wget.log før du gir verktøyet skylden.
Når bør jeg velge wget fremfor curl for en enkelt nedlasting?
For alt som kan gjenopptas eller cron-pålitelig: -c fortsettelse, innebygde forsøk og tidsstempling (--tidsstempling) gjør wget til valget med lav oppmerksomhetsspenn; curl gir deg det samme bare du monterer det selv.
Er det lovlig eller høflig å speile et offentlig nettsted?
Eierskap avgjør lovlig, robots.txt og load avgjør høflig: respekter robotfilen, gass til en menneskelig hastighet, og foretrekk en offisiell eksport eller API i det øyeblikket målet tilbyr en.
Hvorfor returnerer noen nettsteder 403 til vanlig wget?
User-agent-filtrering, vanligvis tilsiktet; --user-agent='Mozilla/5.0' får deg gjennom, men en filtrert 403 betyr også at operatøren ser på, så en dialog eller en API er det beste neste trinnet.
Slik hjelper Kinetikatech med linux-kommandoer og skallferdigheter
Ærlig talt, de fleste team finner oss etter at de har prøvd selv først: Kommandoene og skriptvanene som avgjør om en administrator driver en server eller bekjemper den: søk, transformer, overføring og overvåk tekst og prosesser med verktøyene som finnes i hver basisinstallasjon. Vår tjeneste Sikring av Linux-servere og Serveradministrasjon finnes for at du ikke skal lære linux-kommandoer og skallferdigheter på den harde måten; vi tar oss av iverksettingen, overvåkingen og overraskelsene klokka tre om natten.