লিনাক্স কমান্ড এবং শেল দক্ষতা
wget: ডাউনলোডার যে কখনই ঘুমায় না
ঘন্টায় পরিমাপ করা কাজের জন্য wget হল কার্ল: মিরর, আর্কাইভ, রিকার্সিভ টান, এবং ক্রন ব্যাচ যা কেউ দেখে না। এটি পুনরাবৃত্ত হয়, robots.txt-কে সম্মান করে, ডিফল্টভাবে বাধাপ্রাপ্ত স্থানান্তরগুলি পুনরায় শুরু করে এবং রেট সীমা এবং অপেক্ষার ব্যবধানের সাথে নিজেকে গতি দেয়, যা কলারের জন্য একটি ভদ্রতা কার্ল ছেড়ে যায়। দুটি সরঞ্জামের মধ্যে বিভাজন পরিষ্কার: বাল্ক এবং ধৈর্যের জন্য wget, নির্ভুলতার জন্য কার্ল, এবং একটি দল যারা উভয়ই জানে তাদের খুব কমই তৃতীয় ইনস্টলারের প্রয়োজন হয়।
মূল বিষয়সমূহ
- মিররিং হল একটি লাইন: wget --mirror --convert-links --adjust-extension --no-parent https://docs.example.com; omit --no-parent এবং একটি ডকুমেন্টেশন আর্কাইভ নিঃশব্দে উপরে সবকিছুর একটি ক্রল হয়ে যায়।
- পুনরায় শুরু করুন এবং বিনামূল্যে পুনরায় চেষ্টা করুন: wget -c একটি বাধাপ্রাপ্ত স্থানান্তর ব্যাক আপ নেয় এবং --tries=10 --waitretry=5 সার্ভারগুলিকে রাইড করে যা প্রথম টুইচে কাজটি ব্যর্থ হওয়ার পরিবর্তে মধ্য-বাল্ককে হেঁচকি দেয়৷
- ভদ্রতার পতাকা রয়েছে: --সীমা-হার=200k, --অপেক্ষা=1, এবং --এলোমেলো-অপেক্ষা করুন আপস্ট্রিম রেট সীমা বা শেয়ার্ড-সার্ভার অপব্যবহারের ধারা ট্রিপ করা থেকে একটি আয়না রাখুন; শেয়ার্ড হোস্টিং প্লাস একটি আনথ্রটলড ক্রলার একটি ছোট বন্ধুত্ব।
- robots.txt ডিফল্টরূপে সম্মান করা হয়; -e robots=off ইচ্ছাকৃতভাবে এটিকে ওভাররাইড করে, এবং অন্য কারো প্রোডাকশন সাইটের বিরুদ্ধে সেই ওভাররাইড ব্যবহার করে কীভাবে বাল্ক ডাউনলোডগুলি ঘটনা টিকিটে পরিণত হয়।
- wget -O /dev/null -nv https://host/health হল একটি এক-লাইন মনিটরিং প্রোব যার এক্সিট কোডগুলি ডায়াগনসিস বহন করে: 4 একটি নেটওয়ার্ক ব্যর্থতা, 8 একটি সার্ভারের ত্রুটি, এবং উভয়ই একটি নীরব ক্রোনকে বীট করে।
- সত্যের পরে রূপান্তর গুরুত্বপূর্ণ: --কনভার্ট-লিঙ্কগুলি অফলাইন নেভিগেশনের জন্য একটি মিরর করা সাইট পুনঃলিখন করে, এবং --অ্যাডজাস্ট-এক্সটেনশন স্থানীয় সরঞ্জামগুলি পরিবেশন করতে পারে এমন এক্সটেনশনগুলির অধীনে CMS-উত্পন্ন পৃষ্ঠাগুলিকে সংরক্ষণ করে৷
- ক্রনের বাল্ক জবগুলি লক ফাইলগুলি পায়, বা ওভারল্যাপিং রান একে অপরের অর্ধ-সমাপ্ত ফাইলগুলিতে লিখতে পারে যখন --waitretry শান্তভাবে কাজটিকে তার জানালার পাশে প্রসারিত করে; wget এর কোন অভ্যন্তরীণ mutex নেই।
- সীমানা জানুন: ফর্ম, কুকি-হেভি সেশন, এবং API শেষ পয়েন্টগুলি কার্লের অন্তর্গত, এবং জাভাস্ক্রিপ্ট-নির্মিত পৃষ্ঠাগুলি খালি শেল হিসাবে মিরর করে কারণ wget লিঙ্কগুলি অনুসরণ করে, স্ক্রিপ্ট নয়।
মাঠের নোট
--নো-প্যারেন্ট ছাড়া একটি আয়না রাতারাতি ক্লায়েন্টের মিডিয়া লাইব্রেরির চল্লিশ গিগাবাইটে ঘুরে বেড়ায় এবং প্রায় ডিস্কটি পূর্ণ করে। ভদ্রতার পতাকা একবার সেট করা হয় এবং চিরতরে অনুলিপি করা হয়।
সচরাচর জিজ্ঞাসা
কেন আমার আয়না শুধুমাত্র একটি পৃষ্ঠা ধারণ করে?
স্কোপ ফ্ল্যাগগুলি সেই কাজটি করেছে যা কেউ পূর্বাবস্থায় ফেরাতে চেয়েছিল: robots.txt সীমাবদ্ধতা, --নো-প্যারেন্ট, একটি গভীরতা সীমা, বা জাভাস্ক্রিপ্ট-রেন্ডার করা সাইট৷ wget এটি দেখতে পারে এমন লিঙ্কগুলি অনুসরণ করে; টুলটিকে দোষ দেওয়ার আগে -o wget.log চেক করুন।
একক ডাউনলোডের জন্য আমার কখন wget over curl বাছাই করা উচিত?
পুনঃসূচনাযোগ্য বা ক্রন-নির্ভরযোগ্য যেকোনো কিছুর জন্য: -c ধারাবাহিকতা, বিল্ট-ইন পুনঃপ্রচার, এবং টাইমস্ট্যাম্পিং (--টাইমস্ট্যাম্পিং) wgetকে কম মনোযোগের স্প্যান পছন্দ করে তোলে; আপনি নিজেই এটি একত্রিত করলেই কার্ল আপনাকে একই দেয়।
একটি পাবলিক সাইটের মিরর করা কি আইনি বা ভদ্র?
মালিকানা আইনি সিদ্ধান্ত নেয়, robots.txt এবং লোড ভদ্র সিদ্ধান্ত নেয়: রোবট ফাইলকে সম্মান করুন, মানব-ইশ হারে থ্রোটল করুন, এবং লক্ষ্যমাত্রা অফার করার মুহূর্তে একটি অফিসিয়াল এক্সপোর্ট বা API পছন্দ করুন।
কেন কিছু সাইট প্লেইন উইজেটে 403 ফেরত দেয়?
ব্যবহারকারী-এজেন্ট ফিল্টারিং, সাধারণত ইচ্ছাকৃত; --user-agent='Mozilla/5.0' আপনাকে দিয়ে যায়, কিন্তু একটি ফিল্টার করা 403 এর মানে অপারেটরও দেখছে, তাই একটি সংলাপ বা একটি API পরবর্তী ধাপে উত্তম।
লিনাক্স কমান্ড এবং শেল দক্ষতা নিয়ে Kinetikatech কীভাবে সাহায্য করে
এটাই আমরা প্রতিদিন করি: কমান্ড এবং স্ক্রিপ্টিং অভ্যাস যা নির্ধারণ করে যে একজন প্রশাসক একটি সার্ভার পরিচালনা করে বা এটির সাথে লড়াই করে: অনুসন্ধান, রূপান্তর, স্থানান্তর, এবং টেক্সট এবং প্রক্রিয়াগুলিকে তত্ত্বাবধান করে যা প্রতিটি বেস ইনস্টলে থাকে। আমাদের Linux সার্ভার নিরাপত্তা and সার্ভার ব্যবস্থাপনা সেবাটি শুরু থেকে শেষ পর্যন্ত সব নেয় — মূল্যায়ন, বাস্তবায়ন, ২৪/৭ পর্যবেক্ষণ, আর ৩০ মিনিটের মধ্যে জরুরি সাড়া।