Linux parancsok és shell készségek
wget: A letöltő, amely soha nem alszik
A wget curl az órákban mért feladatokhoz: tükrök, archívumok, rekurzív levonások és cron kötegek, amelyek akkor futnak, amikor senki sem nézi. Megismétli, tiszteletben tartja a robots.txt fájlt, alapértelmezés szerint folytatja a megszakított átviteleket, és ütemezi magát sebességkorlátokkal és várakozási időközökkel, ami egy udvariasság, amelyet a hívónak hagy. A két eszköz között tiszta a felosztás: a wget a tömegért és a türelemért, a curl a precizitásért, és a mindkettőt ismerő csapatnak ritkán van szüksége harmadik telepítőre.
Kulcspontok
- A tükrözés egy sorból áll: wget --mirror --convert-links --adjust-extension --no-parent https://docs.example.com; hagyd ki a --no-parent elemet, és egy dokumentációs archívum csendben minden fölötte lévő feltérképezéssé válik.
- Folytatás és újrapróbálkozás ingyenes: a wget -c visszaállítja a megszakadt átvitelt, és a --tries=10 --waitretry=5 kiűzi azokat a szervereket, amelyek tömegesen akadoznak ahelyett, hogy az első rándulásnál meghiúsulnának.
- Az udvariasságnak vannak jelzői: --limit-rate=200k, --wait=1 és --random-wait, amely megakadályozza, hogy a tükör kioldja az upstream sebességkorlátokat vagy a megosztott szerverrel való visszaélést; megosztott tárhely plusz egy unthrottled bejáró egy rövid barátság.
- A robots.txt fájlt alapértelmezés szerint tiszteletben tartja; Az -e robots=off szándékosan felülbírálja, és ha ezt a felülírást valaki más termelési helyén alkalmazza, akkor a tömeges letöltések eseményjegyekké válnak.
- A wget -O /dev/null -nv https://host/health egy egysoros megfigyelő próba, amelynek kilépési kódjai a diagnózist hordozzák: 4 hálózati hiba, 8 szerverhiba, és mindkettő néma cront üt.
- Az átalakítás utólag számít: a --convert-links átír egy tükrözött webhelyet az offline navigációhoz, az --adjust-extension pedig a CMS által generált oldalakat a helyi eszközök által kiszolgált bővítmények alá menti.
- A cron tömeges munkái zárolt fájlokat kapnak, vagy az egymást átfedő futások egymás félkész fájljaiba íródnak, miközben a --waitretry csendesen kiterjeszti a feladatot az ablakon túl; A wgetnek nincs belső mutexe.
- Ismerje meg a határt: az űrlapok, a cookie-t tartalmazó munkamenetek és az API-végpontok a curl-hez tartoznak, a JavaScript-alapú oldalak pedig üres héjként tükröződnek, mivel a wget hivatkozásokat követ, nem parancsfájlokat.
Terepi jegyzet
Egy tükör – szülő nélkül – egyik napról a másikra betévedt egy kliens médiakönyvtárának negyven gigabájtjába, és majdnem betöltötte a lemezt. Az udvariassági zászlókat egyszer állítják be, majd örökre lemásolják.
Gyakori kérdések
Miért csak egy oldalt tartalmaz a tükröm?
A hatókör-jelzők elvégezték azt a munkát, amelyet valaki vissza akart vonni: a robots.txt korlátozásai, a --no-parent, a mélységkorlátozás vagy a webhely JavaScript-megjelenítése. wget követi a linkeket, amelyeket láthat; ellenőrizze a -o wget.log -ot, mielőtt az eszközt hibáztatná.
Mikor válasszam a wget over curl-t egyetlen letöltéshez?
Bármilyen folytatható vagy cron-megbízható esetében: -c folytatás, beépített újrapróbálkozások és időbélyegzés (--timestamping) teszik a wget-et az alacsony figyelemtartományú választássá; A curl csak akkor adja meg ugyanezt, ha magad szereled össze.
Legális vagy udvarias egy nyilvános webhely tükrözése?
A tulajdonjog legálisan dönt, a robots.txt és a betöltés udvariasan dönt: tartsa tiszteletben a robots fájlt, állítsa be az emberi mértéket, és részesítse előnyben a hivatalos exportálást vagy API-t, amint a célpont felajánlja.
Miért adnak vissza egyes webhelyek a 403-at a sima wget-nek?
User-agent szűrés, általában szándékos; --user-agent='Mozilla/5.0', de a szűrt 403 azt is jelenti, hogy az operátor figyel, így a párbeszéd vagy egy API a jobb következő lépés.
Hogyan segít a Kinetikatech a linux parancsok és shell készségek területén
Nap mint nap ezt tesszük: Azok a parancsok és szkriptelési szokások, amelyek eldöntik, hogy a rendszergazda üzemeltet-e egy kiszolgálót, vagy küzd ellene: keressen, alakítson, vigyen át és felügyeljen szöveget és folyamatokat a minden alaptelepítésben megtalálható eszközökkel. A Linux-szerverbiztonság és Szerveradminisztráció szolgáltatásunk mindent lefed az értékeléstől a bevezetésen és a 24/7 felügyeleten át a 30 perces sürgősségi beavatkozásig.