How to Wget Hacker Credibility

Sommer, Sonne und Wget! 

Oh Verzeihung, ich meinte natürlich:

Lebenslange Haftstrafe, Cybercrime und Wget!
Es ist nunmehr schon zwei Wochen her, dass in Fort Meade das Urteil für Bradley Manning verkündet wurde. Er ist zwar dem Todesurteil entgangen wurde jedoch in 19 von 21 Anklagepunkten schuldig gesprochen. Das ist nicht nur voll gnädig, sondern auch voll praktisch, weil damit eine Vorlage geboten wurde, mit der sich jeder zweite Unix-Tools-User als krass0r Haxx0r begreifen kann. Denn Hacker ist man, wenn andere einen Hacker nennen.

Manning wurde unter anderem der Computerkriminalität beschuldigt, da er sich nicht die Mühe machte, jede einzelne Diplomaten-Depesche mit Rechtsklick herunterzuladen. Stattdessen verwendete er wget, ein Unix-Tool, um sein Teufelswerk in weniger als 8 Stunden und ohne Sehnenscheidenentzündung zu beenden.

„Später Ruhm für Wget“ und ein guter Grund, um dieses Tool mal kennenzulernen.

Kleine Disclaimer-Depesche: Wget ist so sehr Hacker wie dieses Hacker-Symbolbild.

Zugegeben, wget ist ein unheimlich vielseitiges Tool, was es auch so nützlich macht. Ein Blick in die manual-Page verrät, wieviele Kommandozeilenparameter das Programm eigentlich parsen kann.

Eine sehr leichte Anwendung, die ich auch häufig verwende, ist das Herunterladen einer einzelnen Audiodatei mit wget. Der Befehl wäre beispiels- und legalerweise

wget http://meta.metaebene.me/media/cre/cre202-hackerfilme.mp3 -O /home/fiona/Music/podcasts/hackerfilme.mp3

Ich gebe an wget die Download-Seite und den Ort und Namen, unter dem die Datei gespeichert werden soll mit (dafür steht das -O da). Probiert es einfach mal aus. Das Ganze geht natürlich auch mit pdfs, Bildern, Film(chen) und allem, was noch so heruntergeladen werden kann.

Solltet ihr einen Teil der Datei heruntergeladen und zwischendurch die Verbindung verloren haben, könnt ihr mit

wget -c http://dateiblabla.mp3 -O /home/user/dateien/dateiblabla.mp3 

den Download fortsetzen. Wget sucht dafür nach der entsprechenden Datei und beginnt dann, den Rest vom Server herunterzuladen.

Gegen Tendovaginitis hilft das jedoch auch nicht. Was wir von unserem Computer wollen ist in der Regel das Ausführen einer dummen Aufgabe,. Dann nochmal. Und nochmal. Und nochmal. Darunter fällt auch das Herunterladen mehrerer Dateien.
Das geht beispielsweise mit -i . Das i steht für input. Der von wget benötigte input ist ganz einfach eine .txt-Datei mit einer Liste von URLs. Entweder schreibt ihr eine Liste mit URLs per Hand oder ihr lasst euch eine schlaue Methode einfallen, wie ihr diese Liste erstellen könnt. Habe ich beispielsweise eine Liste angelegt mit Podcasts, die ich herunterladen möchte, sobald ich wieder W-Lan habe, oder eine entsprechende Liste mit Empfehlungen bekommen, kann ich die Liste einfach auf wget werfen. Das sieht dann so aus:

wget -i /home/fiona/Documents/recommendations.txt

und ab geht die Telegrammpost!

Eine weitere wichtige Funktion von wget ist das Herunterladen ganzer Webseiten. Klingt ersteinmal bescheuert, ist aber durchaus praktisch. Ich stoße selber immer wieder auf hilfreiche Seiten mit Dokumentationen, Verzeichnissen, Erklärungen und Ähnlichem, die ich wie eine Art Buch herunterladen und nachlesen möchte, auch wenn ich gerade nicht online bin.

Hm.

Mir fällt grad auf, dass es wirklich mal keine schlechte Idee wäre, diese Website hier zu wget-r-en. Andererseits soll Linus Torvalds laut Wikipedia mal gesagt haben, dass nur Weicheier eigene Backups machen. Echte Männer (so wie ich) lassen natürlich das Internet die Backups machen!

Wenn ich beispielsweise meine eigene Seite wget-r-e, sähe das so aus:

wget -r -l2 https://fionalerntprogrammieren.wordpress.com

Das -l2 bedeutet, dass der Download zwei Linkebenen tief sein darf. Wenn ihr euch mal mein Blog anschaut und nach ganz unten scrollt, seht ihr das Archiv. Ich brauchte nur einmal Links zu verfolgen, um zu den jeweiligen Monaten zu kommen. Allerdings habe ich beim Anschauen vom Januar gemerkt, dass mir das gar nicht alle Beiträge des Monats ausliefert, sondern maximal fünf. Danach muss ich auf „ältere Beiträge“ klicken, um die restlichen zu sehen. Also brauche ich zwei Linkebenen, um wirklich alle Beiträge herunterzuladen. Ich kann mich nicht erinnern, mal mehr als zehn Beiträge in einem Monat geschrieben zu haben, sonst müsste es natürlich -l3 heißen.

Das Ganze kann auch mit dem kompletten Mirrorn (Spiegeln) einer Seite abgekürzt werden:

wget -m https://fionalerntprogrammieren.wordpress.com

Tatsächlich hat sich schonmal jemand damit auseinandergesetzt, wie man eine WordPress-Seite sauber spiegelt. (Danke Linus!)
Es lohnt sich auf jeden Fall, sich einmal durch die manual page zu wühlen, um die vielen Features kennenzulernen. Vielleicht gibt es auch Leute, die für andere LeserInnen hilfreiche und praktische Anwendungsbeispiele in die Kommentare posten möchten. Aber denkt bitte an die Zugänglichkeit für AnfängerInnen. Ansonsten – probiert einfach mal die hier erwähnten Beispiele aus, es kann nichts schief gehen, außer, dass ihr aus Versehen das Internet herunterladet.

Es ist im Grunde genommen so einfach, wie Gmail im Browser aufzurufen.
Es ist im Grunde genommen so einfach, wie Gmail im Browser aufzurufen, ein Hacker zu sein. Zumindest laut Militärgericht.