Android

Wget-opdracht in Linux met voorbeelden

Linux Notes: Downloading a full website using Wget

Linux Notes: Downloading a full website using Wget

Inhoudsopgave:

Anonim

GNU Wget is een opdrachtregelhulpprogramma voor het downloaden van bestanden van internet. Met Wget kunt u bestanden downloaden met behulp van HTTP-, HTTPS- en FTP-protocollen. Wget biedt een aantal opties waarmee u meerdere bestanden kunt downloaden, downloads kunt hervatten, de bandbreedte kunt beperken, recursieve downloads, downloaden op de achtergrond, een website kunt spiegelen en nog veel meer.

In deze zelfstudie laten we u zien hoe u de Wget-opdracht kunt gebruiken door praktische voorbeelden en gedetailleerde uitleg van de meest voorkomende Wget-opties.

Wget installeren

Het wget-pakket is vandaag vooraf geïnstalleerd op de meeste Linux-distributies.

Om te controleren of het Wget-pakket op uw systeem is geïnstalleerd, opent u uw console, typt u wget en drukt u op Enter. Als u wget hebt geïnstalleerd, drukt het systeem wget: missing URL , anders wordt de wget command not found .

Als wget niet is geïnstalleerd, kunt u het eenvoudig installeren met behulp van de pakketbeheerder van uw distro.

Wget installeren op Ubuntu en Debian

sudo apt install wget

Wget installeren op CentOS en Fedora

sudo yum install wget

Wget Command Syntax

Voordat we ingaan op het gebruik van de opdracht wget , gaan we eerst kijken naar de basissyntaxis.

De uitdrukkingen van het hulpprogramma wget hebben de volgende vorm:

wget

  • options - De Wget options url - URL van het bestand of de map die u wilt downloaden of synchroniseren.

Hoe een bestand te downloaden met Wget

In zijn eenvoudigste vorm, wanneer het zonder enige optie wordt gebruikt, zal wget de in de huidige map gespecificeerde bron downloaden.

In het volgende voorbeeld downloaden we het Linux kernel tar-archief:

wget

Zoals u in de bovenstaande afbeelding kunt zien, begint Wget door het IP-adres van het domein op te lossen, maakt vervolgens verbinding met de externe server en start de overdracht.

Tijdens het downloaden toont Wget de voortgangsbalk samen met de bestandsnaam, de bestandsgrootte, de downloadsnelheid en de geschatte tijd om de download te voltooien. Nadat de download is voltooid, kunt u het gedownloade bestand vinden in uw huidige werkmap.

Gebruik de optie -q om de uitvoer van Wget uit te schakelen.

Als het bestand al bestaat, voegt Wget .N (nummer) toe aan het einde van de bestandsnaam.

Wget Command gebruiken om het gedownloade bestand onder een andere naam op te slaan

Om het gedownloade bestand onder een andere naam op te slaan, geeft u de optie -O , gevolgd door de gekozen naam:

wget -O latest-hugo.zip

De bovenstaande opdracht slaat het nieuwste hugo-zipbestand van GitHub op als latest-hugo.zip plaats van de oorspronkelijke naam.

Wget Command gebruiken om een ​​bestand naar een specifieke map te downloaden

Wget slaat het gedownloade bestand standaard op in de huidige werkmap. Gebruik de optie -P om het bestand op een specifieke locatie op te slaan:

wget -P /mnt/iso

Met de bovenstaande opdracht vertellen we Wget het CentOS 7 iso-bestand op te slaan in de map /mnt/iso .

Hoe de downloadsnelheid te beperken met Wget

Gebruik de optie --limit-rate om de downloadsnelheid te beperken. Standaard wordt de snelheid gemeten in bytes / seconde. Voeg k voor kilobytes, m voor megabytes en g voor gigabytes.

De volgende opdracht downloadt het binaire bestand Go en beperkt de downloadsnelheid tot 1 MB:

wget --limit-rate=1m

Deze optie is handig als u niet wilt dat wget alle beschikbare bandbreedte verbruikt.

Een download hervatten met Wget

U kunt een download hervatten met de optie -c . Dit is handig als uw verbinding wegvalt tijdens het downloaden van een groot bestand en in plaats van helemaal opnieuw te beginnen met downloaden, kunt u doorgaan met de vorige.

In het volgende voorbeeld hervatten we de download van het Ubuntu 18.04 iso-bestand:

wget -c

Als de externe server het hervatten van downloads niet ondersteunt, start Wget de download vanaf het begin en overschrijft het bestaande bestand.

Hoe te downloaden op de achtergrond met Wget

Gebruik de optie -b om op de achtergrond te downloaden. In het volgende voorbeeld downloaden we het OpenSuse ISO-bestand op de achtergrond:

wget -b

Standaard wordt de uitvoer omgeleid naar het wget-log in de huidige map. Gebruik de opdracht tail om de status van de download te bekijken:

tail -f wget-log

Hoe de Wget User-Agent van Wget te veranderen

Soms kan bij het downloaden van een bestand de externe server worden ingesteld om de Wget User-Agent te blokkeren. In situaties als deze om een ​​andere browser te emuleren, geeft u de optie -U .

wget --user-agent="Mozilla/5.0 (X11; Linux x86_64; rv:60.0) Gecko/20100101 Firefox/60.0"

De bovenstaande opdracht wget-forbidden.com Firefox 60 en vraagt ​​de pagina aan via wget-forbidden.com

Hoe meerdere bestanden te downloaden met Wget

In het volgende voorbeeld downloaden we de iso-bestanden Arch Linux, Debian en Fedora met URL's die zijn opgegeven in het bestand linux-distros.txt :

wget -i linux-distros.txt linux-distros.txt

http://mirrors.edge.kernel.org/archlinux/iso/2018.06.01/archlinux-2018.06.01-x86_64.iso https://cdimage.debian.org/debian-cd/current/amd64/iso-cd/debian-9.4.0-amd64-netinst.iso

Wget Command gebruiken om te downloaden via FTP

Om een ​​bestand van een FTP-server met wachtwoordbeveiliging te downloaden, geeft u de gebruikersnaam en het wachtwoord op zoals hieronder wordt weergegeven:

wget --ftp-user=FTP_USERNAME --ftp-password=FTP_PASSWORD ftp://ftp.example.com/filename.tar.gz

Wget Command gebruiken om een ​​mirror van een website te maken

Gebruik de optie -m om een ​​spiegel van een website met Wget te maken. Hiermee wordt een volledig lokaal exemplaar van de website gemaakt door alle interne links en de websitebronnen (JavaScript, CSS, afbeeldingen) te volgen en te downloaden.

wget -m

wget -m -k -p

Met de optie -k converteert Wget de koppelingen in de gedownloade documenten om ze geschikt te maken voor lokale weergave. De optie -p vertelt wget om alle benodigde bestanden te downloaden voor het weergeven van de HTML-pagina.

Hoe certificaatcontrole overslaan met Wget

wget --no-check-certificate

Hoe te downloaden naar standaarduitvoer met Wget

In het volgende voorbeeld zal Wget op een stille manier (vlag -q ) de nieuwste WordPress-versie downloaden en uitvoeren naar stdout (vlag -O - ) en dit naar het tar hulpprogramma leiden, dat het archief naar de map /var/www zal extraheren.

wget -q -O - "http://wordpress.org/latest.tar.gz" | tar -xzf - -C /var/www

Conclusie

Met Wget kunt u meerdere bestanden downloaden, gedeeltelijke downloads hervatten, websites spiegelen en de Wget-opties combineren volgens uw behoeften.

Ga naar de GNU wget Manual-pagina voor meer informatie over Wget.

wget terminal