Linux-opdrachten en shell-vaardigheden
wget: de downloader die nooit slaapt
wget is curl voor taken gemeten in uren: mirrors, archieven, recursieve pulls en cron-batches die worden uitgevoerd terwijl niemand meekijkt. Het herhaalt, respecteert robots.txt, hervat standaard onderbroken overdrachten en houdt zich aan de snelheidslimieten en wachtintervallen, wat een beleefdheidskrul is die aan de beller wordt overgelaten. Tussen de twee tools is de scheiding duidelijk: wget voor bulk en geduld, curl voor precisie, en een team dat weet dat beide zelden een derde installatieprogramma nodig hebben.
Kernpunten
- Mirroring is één regel: wget --mirror --convert-links --adjust-extension --no-parent https://docs.example.com; weglaten --no-parent en een documentatiearchief wordt stilletjes een verkenning van alles erboven.
- Hervatten en gratis opnieuw proberen: wget -c kiest een onderbroken overdrachtsback-up, en --tries=10 --waitretry=5 haalt servers uit die mid-bulk haperen in plaats van dat de taak bij de eerste schok mislukt.
- Beleefdheid heeft vlaggen: --limit-rate=200k, --wait=1 en --random-wait zorgen ervoor dat een mirror de stroomopwaartse snelheidslimieten of een misbruikclausule voor een gedeelde server niet overschrijdt; gedeelde hosting plus een ongeremde crawler is een korte vriendschap.
- robots.txt wordt standaard gerespecteerd; -e robots=off overschrijft dit opzettelijk, en door die overschrijving te gebruiken tegen de productiesite van iemand anders, veranderen bulkdownloads in incidenttickets.
- wget -O /dev/null -nv https://host/health is een éénregelige monitoringsonde waarvan de exitcodes de diagnose dragen: 4 is een netwerkfout, 8 is een serverfout, en beide verslaan een stille cron.
- Conversie is achteraf van belang: --convert-links herschrijft een gespiegelde site voor offline navigatie, en --adjust-extension bewaart door CMS gegenereerde pagina's onder extensies die lokale tools kunnen bieden.
- Bulktaken in cron krijgen lock-bestanden, of overlappende runs schrijven in elkaars halfafgemaakte bestanden, terwijl --waitretry de taak stilletjes voorbij het venster rekt; wget heeft geen interne mutex.
- Ken de grens: formulieren, sessies die veel cookies bevatten en API-eindpunten horen bij curl, en in JavaScript gebouwde pagina's worden gespiegeld als lege shells omdat wget links volgt en geen scripts.
Notitie uit de praktijk
Eén spiegel zonder --no-parent dwaalde van de ene op de andere dag veertig gigabyte aan mediabibliotheek van een klant binnen en vulde bijna de schijf. De beleefdheidsvlaggen worden één keer ingesteld en daarna voor altijd gekopieerd.
Veelgestelde vragen
Waarom bevat mijn mirror slechts één pagina?
Scope-vlaggen deden het werk dat iemand ongedaan wilde maken: robots.txt-beperkingen, --no-parent, een dieptelimiet of de site die met JavaScript werd weergegeven. wget volgt links die het kan zien; controleer -o wget.log voordat u de tool de schuld geeft.
Wanneer moet ik wget boven curl kiezen voor een enkele download?
Voor alles wat hervatbaar of cron-betrouwbaar is: -c voortzetting, ingebouwde nieuwe pogingen en tijdstempels (--timestamping) maken wget de keuze met een lage aandachtsspanne; curl geeft je hetzelfde alleen als je het zelf in elkaar zet.
Is het legaal of beleefd om een openbare site te spiegelen?
Eigendom beslist over legaal, robots.txt en load beslissen beleefd: respecteer het robotsbestand, ga naar een menselijk tarief en geef de voorkeur aan een officiële export of API zodra het doelwit er een aanbiedt.
Waarom retourneren sommige sites 403 naar gewone wget?
User-agent-filtering, meestal opzettelijk; --user-agent='Mozilla/5.0' helpt u erdoorheen, maar een gefilterde 403 betekent ook dat de operator meekijkt, dus een dialoog of een API is de betere volgende stap.
Hoe Kinetikatech helpt bij linux-opdrachten en shell-vaardigheden
Dit hebben wij al honderden keren opgelost: De opdrachten en scriptgewoonten die beslissen of een beheerder een server beheert of bestrijdt: tekst en processen zoeken, transformeren, overdragen en controleren met de tools die in elke basisinstallatie aanwezig zijn. Met Linux-serverbeveiliging en Serverbeheer krijgt u de volledige cyclus: wij beoordelen, implementeren, bewaken dag en nacht en reageren binnen 30 minuten als het erop aankomt.