Ўтыліта Wget дазваляе загружаць вэб-старонкі, файлы і выявы з Інтэрнэту з дапамогай каманднага радка Linux.
Вы можаце выкарыстоўваць адну каманду Wget на сваіх уласных, каб загрузіць з сайта або ўсталяваць ўваходных файл для загрузкі некалькіх файлаў на некалькіх сайтах.
Згодна з даведачнай старонцы Wget можна выкарыстоўваць нават тады, калі карыстальнік увайшоў у сістэму з сістэмы. Для гэтага трэба выкарыстоўваць каманду поЬира.
Ўтыліта Wget будзе паўтараць загрузку, нават калі злучэнне падае, аднаўленне, адкуль яна была перапыненая, калі магчыма, калі вяртаецца злучэнне.
Вы можаце загрузіць цэлыя вэб-сайты з дапамогай Wget і пераўтварыць спасылкі, каб паказаць на мясцовыя крыніцы, так што вы можаце праглядаць вэб-сайт у аўтаномным рэжыме.
Асаблівасці Wget заключаюцца ў наступным:
- Загрузка файлаў з выкарыстаннем HTTP, HTTPS і FTP
- рэзюмэ загрузкі
- Пераўтварыць абсалютныя спасылкі ў загружаных вэб-старонак у адносных URL-адрасоў, так што вэб-сайты можна праглядаць у аўтаномным
- Падтрымка HTTP проксі і печыва
- Падтрымлівае пастаянныя злучэння HTTP
- Можа працаваць у фонавым рэжыме, нават калі Вы не ўвайшлі ў сістэму
- Працуе на Linux і Windows,
Як спампаваць сайт з дапамогай Wget
У гэтым кіраўніцтве я пакажу вам, як загрузіць мой асабісты блог.
Wget www.everydaylinuxuser.com
Гэта каштуе стварыць уласную тэчку на вашым кампутары , выкарыстоўваючы каманду MKDIR , а затым перайсці ў тэчку , выкарыстоўваючы каманду кд .
Напрыклад:
MkDir everydaylinuxuser
кд everydaylinuxuser
Wget www.everydaylinuxuser.com
У выніку адзін файл index.html. Сам па сабе гэты файл з'яўляецца даволі бескарысным, так як змест ўсё яшчэ пацягнулі ад Google, і выявы і табліцы стыляў па-ранейшаму ўсё правялі на Google.
Для таго, каб загрузіць поўны сайт і ўсе старонкі, якія вы можаце выкарыстоўваць наступную каманду:
Wget -r www.everydaylinuxuser.com
Гэта загружае старонку рэкурсіўна да максімуму 5 узроўняў у глыбіню.
5 узроўняў ўкладзенасці не можа быць дастаткова, каб атрымаць усё, што з сайта. Вы можаце выкарыстоўваць ключ -l, каб усталяваць колькасць узроўняў, якія вы хочаце пайсці наступным чынам:
Wget -r -l10 www.everydaylinuxuser.com
Калі вы хочаце бясконцай рэкурсіі вы можаце выкарыстоўваць наступнае:
Wget -r -l інф www.everydaylinuxuser.com
Акрамя таго, можна замяніць інф з 0, што азначае тое ж самае.
Існуе яшчэ адна праблема. Вы можаце атрымаць усе старонкі на месцы, але ўсе спасылкі на старонках яшчэ паказваюць на іх першапачатковае месца. Таму не ўяўляецца магчымым пстрыкнуць лакальна паміж спасылкамі на старонкі.
Вы можаце абыйсці гэтую праблему з дапамогай -k перамыкача, які пераўтворыць ўсе спасылкі на старонках, каб паказаць на іх лакальна загружаным эквівалент наступным чынам:
Wget -r -k www.everydaylinuxuser.com
Калі вы хочаце, каб атрымаць поўнае люстэрка вэб-сайта, вы можаце проста выкарыстоўваць наступны перамыкач, які бярэ на неабходнасць выкарыстання -r -k і -l перамыкачы.
Wget -m www.everydaylinuxuser.com
Таму, калі ў вас ёсць свой уласны сайт, вы можаце зрабіць поўную рэзервовую копію, выкарыстоўваючы гэтую адну простую каманду.
Прагон Wget ў якасці фону Камандавання
Вы можаце атрымаць Wget для працы ў якасці каманды фону ў выніку чаго вы можаце атрымаць з вашай працай у акне тэрмінала ў той час як файлы загрузкі.
Проста выкарыстоўвайце наступную каманду:
Wget -b www.everydaylinuxuser.com
Вы, вядома, можаце камбінаваць перамыкачы. Для запуску каманды Wget ў фонавым рэжыме, у той час як люстраное адлюстраванне сайта вы будзеце выкарыстоўваць наступную каманду:
Wget -b -m www.everydaylinuxuser.com
Вы можаце спрасціць гэта далей наступным чынам:
Wget -bm www.everydaylinuxuser.com
каротажа
Калі вы запускаеце каманду Wget ў фонавым рэжыме вы не ўбачыце якія-небудзь са звычайных паведамленняў, якія ён адпраўляе на экран.
Вы можаце атрымаць усе гэтыя паведамленні , адпраўленыя ў лог - файл , так што вы можаце праверыць на прагрэс у любы час , выкарыстоўваючы каманду хвост .
Для вываду інфармацыі з каманды Wget ў лог-файл з дапамогай наступнай каманды:
Wget -о / шлях / да / mylogfile www.everydaylinuxuser.com
Адваротнае, вядома, не патрабуе ніякай рэгістрацыі наогул і няма выйсця на экран. Для таго, каб прапусціць усе выходныя дадзеныя з дапамогай наступнай каманды:
Wget -q www.everydaylinuxuser.com
Загрузка з некалькіх сайтаў
Вы можаце наладзіць ўваходных файл для загрузкі з мноства розных сайтаў.
Адкрыйце файл з дапамогай вашага каханага рэдактара ці нават каманды кошкі і проста пачаць пералічваць сайты або спасылкі для загрузкі з кожнага радка файла.
Захавайце яго, а затым запусціце наступную каманду Wget:
Wget -i / шлях / да / входной_файл
Акрамя рэзервовага капіявання свайго ўласнага сайта або, можа быць, знайсці нешта для загрузкі, каб прачытаць на цягніку, то малаверагодна, што вы хочаце, каб загрузіць ўвесь сайт.
Вы, хутчэй за ўсё, каб загрузіць адзін URL з выявамі або, магчыма, спампоўваць файлы, такія як паштовыя файлы, файлы ISO або файлы малюнкаў.
Маючы гэта на ўвазе, вы не хочаце, каб увесці наступнае ў файл ўводу, як гэта адымае шмат часу:
- http://www.myfileserver.com/file1.zip
- http://www.myfileserver.com/file2.zip
- http://www.myfileserver.com/file3.zip
Калі вы ведаеце, базавы URL заўсёды будзе тое ж самае вы можаце проста пазначыць наступныя дадзеныя ў файле ўводу:
- file1.zip
- file2.zip
- file3.zip
Вы можаце даць базавы URL, як частка каманды Wget наступным чынам:
Wget -B http://www.myfileserver.com -i / шлях / да / входной_файл
Retry Options
Калі вы наладзілі чаргу файлаў для загрузкі ў якасці ўваходнага файла і вы пакідаеце ваш кампутар працуе ўсю ноч, каб загрузіць файлы будуць даволі раздражнёны, калі вы прыходзіце ўніз раніцай, каб знайсці, што ён затрымаўся на першым файле і было паўтарэнне ўсю ноч.
Вы можаце паказаць колькасць паўторных спробаў, выкарыстоўваючы наступны параметр:
Wget -t 10 -i / шлях / да / входной_файл
Пры жаданні вы можаце выкарыстоўваць прыведзеную вышэй каманду ў спалучэнні з перамыкачом -T, які дазваляе паказаць тайм-аўт у секундах наступным чынам:
Wget -t 10 -T 10 -i / шлях / да / входной_файл
Гэтая каманда будзе паўтараць 10 разоў і будзе спрабаваць злучыцца на працягу 10 секунд для кожнай спасылкі ў файле.
Гэта таксама даволі раздражняе, калі вы часткова загрузілі 75% файла ў 4 гігабайта на павольным шырокапалоснае злучэнне толькі для падлучэння выпадаць.
Вы можаце выкарыстоўваць Wget, каб паўтарыць спробу з месцам прыпынку загрузкі з дапамогай наступнай каманды:
Wget -c www.myfileserver.com/file1.zip
Калі вы забівалі сервер хасту можа не спадабацца, гэта занадта шмат, і можа альбо блакаваць або проста забіць вашыя запыты.
Вы можаце паказаць перыяд чакання, які вызначае, як доўга чакаць паміж кожнай выбаркай наступным чынам:
Wget -w 60 -i / шлях / да / входной_файл
Прыведзеная вышэй каманда будзе чакаць 60 секунд паміж кожнай загрузкай. Гэта карысна, калі вы загружаеце шмат файлаў з адной крыніцы.
Некаторыя вэб-хасты можа вызначыць частату, аднак і ў любым выпадку будзе блакаваць вас. Вы можаце зрабіць перыяд чакання выпадковага, каб прымусіць гэта выглядаць, як вы не выкарыстоўваеце праграму наступным чынам:
Wget --random-пачакай -i / шлях / да / входной_файл
Абарона межы Спампаваць
Шматлікія інтэрнэт-правайдэры да гэтага часу прымяняюцца абмежаванні загрузкі для шырокапалоснага выкарыстання, асабліва калі вы жывяце за межамі горада.
Вы можаце дадаць квоту, так што вы не падрываць гэты мяжа загрузкі. Вы можаце зрабіць гэта наступным чынам:
Wget -q 100м -i / шлях / да / входной_файл
Звярніце ўвагу, што -q каманда не будзе працаваць з адным файлам.
Так што, калі вы загружаеце файл, які 2 гігабайта ў памерах, выкарыстоўваючы -q 1000м не спыніць загрузку файлаў.
Квота ўжываецца толькі пры рэкурсіўная запампоўцы з сайта або пры выкарыстанні уваходнага файла.
Атрыманне праз Бяспека
Некаторыя сайты патрабуюць, каб увайсці, каб мець магчымасць атрымаць доступ да кантэнту, які вы жадаеце загрузіць.
Вы можаце выкарыстоўваць наступныя параметры, каб паказаць імя карыстальніка і пароль.
Wget --user = имя_пользователь --password = ВАШ ПАРОЛЬ
Звярніце ўвагу на шматканальнай сістэму карыстальніка, калі хтосьці запускае каманду сабаку яны будуць мець магчымасць бачыць ваша імя карыстальніка і пароль.
Іншыя варыянты загрузкі
Па змаўчанні ключ -r рэкурсіўна загружаць кантэнт і ствараць каталогі, як яна ідзе.
Вы можаце атрымаць усе файлы для загрузкі ў адну тэчку, выкарыстоўваючы наступны параметр:
Wget -nd -r
Супрацьлегласцю гэтага з'яўляецца фарсіраваць стварэнне каталогаў, якія могуць быць дасягнутыя з дапамогай наступнай каманды:
Wget -x -r
Як загрузіць некаторыя тыпы файлаў
Калі вы хочаце спампаваць каталогаў з іх сайта, але вы хочаце загрузіць толькі пэўны тып файла, такія як mp3 ці малюнкі, такія як дзіцячыя вы можаце выкарыстоўваць наступны сінтаксіс:
Wget -A "* .mp3" -r
Рэверс гэта ігнараваць пэўныя файлы. Магчыма, вы не хочаце, каб загрузіць выкананыя файлы. У гэтым выпадку, вы павінны выкарыстоўваць наступны сінтаксіс:
Wget -R "* .exe" -r
Cliget
Існуе Firefox, надбудова называецца cliget. Вы можаце дадаць гэта ў Firefox наступным чынам.
Наведайце https://addons.mozilla.org/en-US/firefox/addon/cliget/ і націсніце кнопку «Дадаць у Firefox».
калі ён з'яўляецца, націсніце кнопку ўстаноўкі. Вы павінны перазапусціць Firefox.
Каб выкарыстоўваць cliget наведаць старонку альбо выяву, які вы хочаце спампаваць і націсніце правую кнопку мышы. Кантэкстнае меню з'явіцца пад назвай cliget і будзе опцыі «капіяваць ў Wget» і «копіі згарнуцца».
Націсніце кнопку «копію Wget» варыянт і адкрыць акно тэрмінала, а затым пстрыкніце правай кнопкай мышы і ўставіць. Адпаведная каманда Wget будзе ўстаўлена ў акно.
У асноўным, гэта дазваляе Вам эканоміць увядзіце каманду самастойна.
рэзюмэ
Каманда Wget як велізарная колькасць варыянтаў і перамыкачоў.
Варта таму чытанне старонкі кіраўніцтва для Wget, увёўшы наступную каманду ў акне тэрмінала:
чалавек Wget