Linux Notes: Downloading a full website using Wget
Inhoudsopgave:
- Wget installeren
- Wget installeren op Ubuntu en Debian
- Wget installeren op CentOS en Fedora
- Wget Command Syntax
- Hoe een bestand te downloaden met Wget
- Wget Command gebruiken om het gedownloade bestand onder een andere naam op te slaan
- Wget Command gebruiken om een bestand naar een specifieke map te downloaden
- Hoe de downloadsnelheid te beperken met Wget
- Een download hervatten met Wget
- Hoe te downloaden op de achtergrond met Wget
- Hoe de Wget User-Agent van Wget te veranderen
- Hoe meerdere bestanden te downloaden met Wget
- Wget Command gebruiken om te downloaden via FTP
- Wget Command gebruiken om een mirror van een website te maken
- Hoe certificaatcontrole overslaan met Wget
- Hoe te downloaden naar standaarduitvoer met Wget
- Conclusie
GNU Wget is een opdrachtregelhulpprogramma voor het downloaden van bestanden van internet. Met Wget kunt u bestanden downloaden met behulp van HTTP-, HTTPS- en FTP-protocollen. Wget biedt een aantal opties waarmee u meerdere bestanden kunt downloaden, downloads kunt hervatten, de bandbreedte kunt beperken, recursieve downloads, downloaden op de achtergrond, een website kunt spiegelen en nog veel meer.
In deze zelfstudie laten we u zien hoe u de Wget-opdracht kunt gebruiken door praktische voorbeelden en gedetailleerde uitleg van de meest voorkomende Wget-opties.
Wget installeren
Het wget-pakket is vandaag vooraf geïnstalleerd op de meeste Linux-distributies.
Om te controleren of het Wget-pakket op uw systeem is geïnstalleerd, opent u uw console, typt u
wget
en drukt u op Enter. Als u wget hebt geïnstalleerd, drukt het systeem
wget: missing URL
, anders wordt de
wget command not found
.
Als wget niet is geïnstalleerd, kunt u het eenvoudig installeren met behulp van de pakketbeheerder van uw distro.
Wget installeren op Ubuntu en Debian
Wget installeren op CentOS en Fedora
Wget Command Syntax
Voordat we ingaan op het gebruik van de opdracht
wget
, gaan we eerst kijken naar de basissyntaxis.
De uitdrukkingen van het hulpprogramma
wget
hebben de volgende vorm:
wget
-
options- De Wget optionsurl- URL van het bestand of de map die u wilt downloaden of synchroniseren.
Hoe een bestand te downloaden met Wget
In zijn eenvoudigste vorm, wanneer het zonder enige optie wordt gebruikt, zal wget de in de huidige map gespecificeerde bron downloaden.
In het volgende voorbeeld downloaden we het Linux kernel tar-archief:
wget

Zoals u in de bovenstaande afbeelding kunt zien, begint Wget door het IP-adres van het domein op te lossen, maakt vervolgens verbinding met de externe server en start de overdracht.
Tijdens het downloaden toont Wget de voortgangsbalk samen met de bestandsnaam, de bestandsgrootte, de downloadsnelheid en de geschatte tijd om de download te voltooien. Nadat de download is voltooid, kunt u het gedownloade bestand vinden in uw huidige werkmap.
Gebruik de optie
-q
om de uitvoer van Wget uit te schakelen.
Als het bestand al bestaat, voegt Wget
.N
(nummer) toe aan het einde van de bestandsnaam.
Wget Command gebruiken om het gedownloade bestand onder een andere naam op te slaan
Om het gedownloade bestand onder een andere naam op te slaan, geeft u de optie
-O
, gevolgd door de gekozen naam:
wget -O latest-hugo.zip
De bovenstaande opdracht slaat het nieuwste hugo-zipbestand van GitHub op als
latest-hugo.zip
plaats van de oorspronkelijke naam.
Wget Command gebruiken om een bestand naar een specifieke map te downloaden
Wget slaat het gedownloade bestand standaard op in de huidige werkmap. Gebruik de optie
-P
om het bestand op een specifieke locatie op te slaan:
wget -P /mnt/iso
Met de bovenstaande opdracht vertellen we Wget het CentOS 7 iso-bestand op te slaan in de map
/mnt/iso
.
Hoe de downloadsnelheid te beperken met Wget
Gebruik de optie
--limit-rate
om de downloadsnelheid te beperken. Standaard wordt de snelheid gemeten in bytes / seconde. Voeg
k
voor kilobytes,
m
voor megabytes en
g
voor gigabytes.
De volgende opdracht downloadt het binaire bestand Go en beperkt de downloadsnelheid tot 1 MB:
wget --limit-rate=1m
Deze optie is handig als u niet wilt dat wget alle beschikbare bandbreedte verbruikt.
Een download hervatten met Wget
U kunt een download hervatten met de optie
-c
. Dit is handig als uw verbinding wegvalt tijdens het downloaden van een groot bestand en in plaats van helemaal opnieuw te beginnen met downloaden, kunt u doorgaan met de vorige.
In het volgende voorbeeld hervatten we de download van het Ubuntu 18.04 iso-bestand:
wget -c
Als de externe server het hervatten van downloads niet ondersteunt, start Wget de download vanaf het begin en overschrijft het bestaande bestand.
Hoe te downloaden op de achtergrond met Wget
Gebruik de optie
-b
om op de achtergrond te downloaden. In het volgende voorbeeld downloaden we het OpenSuse ISO-bestand op de achtergrond:
wget -b
Standaard wordt de uitvoer omgeleid naar het
wget-log
in de huidige map. Gebruik de opdracht
tail
om de status van de download te bekijken:
Hoe de Wget User-Agent van Wget te veranderen
Soms kan bij het downloaden van een bestand de externe server worden ingesteld om de Wget User-Agent te blokkeren. In situaties als deze om een andere browser te emuleren, geeft u de optie
-U
.
wget --user-agent="Mozilla/5.0 (X11; Linux x86_64; rv:60.0) Gecko/20100101 Firefox/60.0"
De bovenstaande opdracht
wget-forbidden.com
Firefox 60 en vraagt de pagina aan via
wget-forbidden.com
Hoe meerdere bestanden te downloaden met Wget
In het volgende voorbeeld downloaden we de iso-bestanden Arch Linux, Debian en Fedora met URL's die zijn opgegeven in het bestand
linux-distros.txt
:
wget -i linux-distros.txt
linux-distros.txt
http://mirrors.edge.kernel.org/archlinux/iso/2018.06.01/archlinux-2018.06.01-x86_64.iso https://cdimage.debian.org/debian-cd/current/amd64/iso-cd/debian-9.4.0-amd64-netinst.iso
Wget Command gebruiken om te downloaden via FTP
Om een bestand van een FTP-server met wachtwoordbeveiliging te downloaden, geeft u de gebruikersnaam en het wachtwoord op zoals hieronder wordt weergegeven:
wget --ftp-user=FTP_USERNAME --ftp-password=FTP_PASSWORD ftp://ftp.example.com/filename.tar.gz
Wget Command gebruiken om een mirror van een website te maken
Gebruik de optie
-m
om een spiegel van een website met Wget te maken. Hiermee wordt een volledig lokaal exemplaar van de website gemaakt door alle interne links en de websitebronnen (JavaScript, CSS, afbeeldingen) te volgen en te downloaden.
wget -m
wget -m -k -p
Met de optie
-k
converteert Wget de koppelingen in de gedownloade documenten om ze geschikt te maken voor lokale weergave. De optie
-p
vertelt wget om alle benodigde bestanden te downloaden voor het weergeven van de HTML-pagina.
Hoe certificaatcontrole overslaan met Wget
Hoe te downloaden naar standaarduitvoer met Wget
In het volgende voorbeeld zal Wget op een stille manier (vlag
-q
) de nieuwste WordPress-versie downloaden en uitvoeren naar stdout (vlag
-O -
) en dit naar het
tar
hulpprogramma leiden, dat het archief naar de map
/var/www
zal extraheren.
wget -q -O - "http://wordpress.org/latest.tar.gz" | tar -xzf - -C /var/www
Conclusie
Met Wget kunt u meerdere bestanden downloaden, gedeeltelijke downloads hervatten, websites spiegelen en de Wget-opties combineren volgens uw behoeften.
Ga naar de GNU wget Manual-pagina voor meer informatie over Wget.
wget terminalLinux snijd commando met voorbeelden
Knippen is een opdrachtregelhulpprogramma waarmee u delen van lijnen uit gespecificeerde bestanden of piped-gegevens kunt knippen en het resultaat naar standaarduitvoer kunt afdrukken. In deze zelfstudie laten we u zien hoe u het Linux-knipcommando kunt gebruiken door praktische voorbeelden en gedetailleerde uitleg van de meest voorkomende knipopties.
Linux-datumopdracht met voorbeelden
Met de opdracht date wordt de systeemdatum weergegeven of ingesteld. Het wordt meestal gebruikt om de datum en tijd in verschillende formaten af te drukken en toekomstige en afgelopen datums te berekenen.
Linux ip commando met voorbeelden
De opdracht ip is een krachtig hulpmiddel voor het configureren van netwerkinterfaces. Het kan worden gebruikt om interfaces omhoog of omlaag te brengen, adressen en routes toe te wijzen en te verwijderen, ARP-cache te beheren en nog veel meer.







