Commandes Linux et compétences Shell
wget : le téléchargeur qui ne dort jamais
wget est curl pour les tâches mesurées en heures : miroirs, archives, extractions récursives et lots cron qui s'exécutent pendant que personne ne regarde. Il récure, honore robots.txt, reprend les transferts interrompus par défaut et s'adapte aux limites de débit et aux intervalles d'attente, ce qui est une boucle de politesse laissée à l'appelant. Entre les deux outils, la division est claire : wget pour le volume et la patience, curl pour la précision, et une équipe qui connaît les deux a rarement besoin d'un troisième installateur.
Points clés
- La mise en miroir est une ligne : wget --mirror --convert-links --adjust-extension --no-parent https://docs.example.com; omit --no-parent et une archive de documentation devient tranquillement une analyse de tout ce qui se trouve au-dessus.
- Reprendre et réessayer gratuitement : wget -c récupère un transfert interrompu et --tries=10 --waitretry=5 supprime les serveurs qui ont le hoquet en cours de route au lieu d'échouer le travail au premier tic.
- La politesse a des indicateurs : --limit-rate=200k, --wait=1 et --random-wait empêchent un miroir de déclencher les limites de débit en amont ou une clause d'abus de serveur partagé ; un hébergement partagé et un robot d'exploration sans limitation sont une courte amitié.
- robots.txt est respecté par défaut ; -e robots=off le remplace délibérément, et l'utilisation de ce remplacement sur le site de production de quelqu'un d'autre permet aux téléchargements groupés de se transformer en tickets d'incident.
- wget -O /dev/null -nv https://host/health est une sonde de surveillance sur une ligne dont les codes de sortie portent le diagnostic : 4 est une panne de réseau, 8 est une erreur de serveur et les deux battent un cron silencieux.
- La conversion est importante après coup : --convert-links réécrit un site en miroir pour la navigation hors ligne, et --adjust-extension enregistre les pages générées par le CMS sous les extensions que les outils locaux peuvent servir.
- Les travaux en masse dans cron obtiennent des fichiers de verrouillage, ou les exécutions qui se chevauchent écrivent dans les fichiers à moitié terminés des autres tandis que --waitretry étend tranquillement le travail au-delà de sa fenêtre ; wget n'a pas de mutex interne.
- Connaissez les limites : les formulaires, les sessions riches en cookies et les points de terminaison d'API appartiennent à curl, et les pages créées en JavaScript se reflètent sous forme de coquilles vides car wget suit les liens, pas les scripts.
Note de terrain
Un miroir sans --no-parent s'est promené pendant la nuit dans quarante gigaoctets de la médiathèque d'un client et a presque rempli le disque. Les drapeaux de politesse sont définis une seule fois et copiés pour toujours.
Questions fréquentes
Pourquoi mon miroir ne contient-il qu'une seule page ?
Les indicateurs de portée faisaient le travail que quelqu'un voulait annuler : restrictions robots.txt, --no-parent, une limite de profondeur ou le site étant rendu en JavaScript. wget suit les liens qu'il peut voir ; vérifiez -o wget.log avant de blâmer l'outil.
Quand dois-je choisir wget plutôt que curl pour un seul téléchargement ?
Pour tout ce qui peut être repris ou fiable par cron : la continuation -c, les tentatives intégrées et l'horodatage (--timestamping) font de wget le choix de faible durée d'attention ; curl vous offre la même chose uniquement si vous l'assemblez vous-même.
Est-il légal ou poli de refléter un site public ?
La propriété décide de la légalité, robots.txt et le chargement décident poliment : honorez le fichier robots, limitez-vous à un rythme humain et préférez une exportation officielle ou une API dès que la cible en propose une.
Pourquoi certains sites renvoient-ils 403 à wget simple ?
Filtrage user-agent, généralement intentionnel ; --user-agent='Mozilla/5.0' vous permet de passer à travers, mais un 403 filtré signifie également que l'opérateur surveille, donc un dialogue ou une API est la meilleure étape suivante.
Comment Kinetikatech vous aide avec commandes linux et compétences shell
Vous ne devriez pas avoir à devenir expert en commandes linux et compétences shell : Les commandes et habitudes de script qui décident si un administrateur exploite un serveur ou le combat : rechercher, transformer, transférer et superviser le texte et les processus avec les outils présents dans chaque installation de base. C'est exactement à cela que sert Sécurité des serveurs Linux et Gestion de serveurs : installation, durcissement, supervision et un ingénieur d'astreinte jour et nuit.