project:spider-bashing
Unterschiede
Hier werden die Unterschiede zwischen zwei Versionen angezeigt.
| Beide Seiten der vorigen RevisionVorhergehende ÜberarbeitungNächste Überarbeitung | Vorhergehende Überarbeitung | ||
| project:spider-bashing [2011-01-16 12:12] – ::ffff:212.9.189.66 | project:spider-bashing [2022-04-20 10:59] (aktuell) – chris | ||
|---|---|---|---|
| Zeile 1: | Zeile 1: | ||
| - | ====== | + | **//Work in Progress//** |
| ====== Spider Bashing ====== | ====== Spider Bashing ====== | ||
| + | {{tag> | ||
| + | {{process: | ||
| + | |||
| + | ===== Situation ===== | ||
| Am 13.1.2011 wurde ich darauf aufmerksam, dass ein vor mir | Am 13.1.2011 wurde ich darauf aufmerksam, dass ein vor mir | ||
| Zeile 10: | Zeile 14: | ||
| Das auf Basis von net-acct arbeitende IP-Accounting | Das auf Basis von net-acct arbeitende IP-Accounting | ||
| verriet, dass ein grosser Teil des Traffics auf einen | verriet, dass ein grosser Teil des Traffics auf einen | ||
| - | Webservice entfiel. | + | Webservice entfiel. Auf dem Webserver lief ein MediaWiki, |
| + | das in der juengeren Vergangenheit Ziel von Spam-Edits geworden war. | ||
| Die Untersuchung der Webserver-Logs ergab, dass immer wieder | Die Untersuchung der Webserver-Logs ergab, dass immer wieder | ||
| bestimmte URIs in derselben Reihenfolge abgefragt wurden. | bestimmte URIs in derselben Reihenfolge abgefragt wurden. | ||
| + | |||
| + | '' | ||
| + | |||
| + | |||
| + | < | ||
| + | | ||
| + | | ||
| + | | ||
| + | | ||
| + | | ||
| + | | ||
| + | | ||
| + | | ||
| + | | ||
| + | 10 | ||
| + | 11 | ||
| + | 12 | ||
| + | 13 | ||
| + | 14 | ||
| + | 15 | ||
| + | 16 | ||
| + | 17 | ||
| + | 18 | ||
| + | </ | ||
| + | |||
| + | |||
| + | '' | ||
| + | |||
| + | < | ||
| + | | ||
| + | | ||
| + | | ||
| + | | ||
| + | | ||
| + | | ||
| + | | ||
| + | | ||
| + | | ||
| + | 10 | ||
| + | 11 | ||
| + | 12 | ||
| + | 13 | ||
| + | 14 | ||
| + | 15 | ||
| + | 16 | ||
| + | 17 | ||
| + | 18 | ||
| + | </ | ||
| + | |||
| + | |||
| + | Es fallen dabei folgende Punkte auf: | ||
| + | * die hohe Kadenz von 18 Requests in 20 Sekunden => Es handelt sich sehr wahrscheinlich um einem Automaten | ||
| + | * der Einstieg in das Webangebot (Zeile 1 im Beispiel 1) mit einem EDIT-Link => Es wird ohen Umschweife versucht, den Inhalt der Startseite des Wikis zu aendern. | ||
| + | * die fast identische Abfolge der aufgerufenen URIs => ein weiterer Hinweis auf einen Automaten | ||
| + | * es werden im wesentlichen spezielle Funktionsseiten der Wiki-Engine aufgerufen. => vermutlich der Versuch, weitere Informationen ueber die Struktur des Wikis zu erhalten | ||
| + | * das Fehlen jeglicher Referer-Angaben ( " | ||
| + | * in Beispiel 2, Zeile 10, der Aufruf einer Seite, die auf keiner der bisher angesteuerten Seiten referenziert ist und wahrscheinlich aus dem Aufruf von / | ||
| + | * der Nicht-Abruf von Dokumenten, die Seiten lediglich ergaenzen, wie Bildern, CSS- und JS-Dateien. | ||
| + | |||
| + | Von manchen IP-Adressen aus wurden die Request-Bloecke seit Wochen hundert- bis tausendfach wiederholt. | ||
| + | |||
| + | ===== Erste Massnahmen ===== | ||
| + | |||
| + | Bei IP-Adressen, | ||
| + | Angriffs darstellen, liegt es nahe, den Kontakt mit Ihnen zu unterbrechen. | ||
| + | |||
| + | Im vorliegenden Falle geschah das einfach durch Setzen einer Nullroute: | ||
| + | |||
| + | < | ||
| + | route add $IP gw 127.0.0.1 | ||
| + | </ | ||
| + | |||
| + | Das entspricht in den Auswirkungen im Wesentlichen einer Drop-Rule | ||
| + | auf einer Firewall, laesst sich aber ohne lokalen Firewall-Code erreichen. | ||
| + | |||
| + | Der Reihe nach wurden die Adressen 213.172.52.202, | ||
| + | 134.130.184.19 gesperrt. | ||
| + | |||
| + | Das fuehrte zu folgendem bemerkenswerten Ergebnis: | ||
| + | |||
| + | '' | ||
| + | |||
| + | < | ||
| + | | ||
| + | | ||
| + | | ||
| + | | ||
| + | | ||
| + | | ||
| + | | ||
| + | | ||
| + | | ||
| + | 10 | ||
| + | 11 | ||
| + | 12 | ||
| + | 13 | ||
| + | 14 | ||
| + | 15 | ||
| + | 16 | ||
| + | 17 | ||
| + | 18 | ||
| + | </ | ||
| + | |||
| + | Nach der Sperrung einer IP-Adresse kam es zu einer Verzoegerung von etwas | ||
| + | ueber 30 Sekunden, danach kam die fuer einen Request-Block chakteristische | ||
| + | naechste Anfrage von einer anderen IP-Adresse. | ||
| + | |||
| + | Das bedeutet, dass das Botnet hinter diesem Szenario rueckmeldet und nachsteuert. | ||
| ... | ... | ||
| + | |||
| + | ==== Gegenmassnahmen ==== | ||
| + | |||
| + | Als Custom-Log wurde ein PIPE-Log fuer die Website eingerichtet. | ||
| + | Das Programm erkennt die typischen URIs und setzt eine Nullroute | ||
| + | auf die entsprechende Quell-IP. | ||
| + | |||
| + | '' | ||
| + | |||
| + | Die Anzahl der Hits ist wieder angestiegen. | ||
| + | * Die komplette Wiki-Instanz in ein Unterverzeichnis geschoben | ||
| + | * Redirect / auf das Unterverzeichnis | ||
| + | * Die Bot-Requests laufen ins Leere (404) | ||
| + | * Damit ist fuer's Erste mal Schluss: | ||
| + | < | ||
| + | | ||
| + | | ||
| + | </ | ||
| + | |||
| + | ==== Extrapolation ==== | ||
| + | |||
| + | Es bedarf eines Systems, dass | ||
| + | * die typische Einstiegs-URI erkennt und die Quell-IP-Adresse umgehend sperrt. | ||
| + | * beim Auftreten der im Request-Block folgenden URI von einer IP-Adresse, die bisher nicht bekannt war, ist auch diese sofort zu sperren. Die Einschraenkung " | ||
| + | * Die Abfolge der angefragten URLs wird sich sicher in Kuerze aendern. Wahrscheinlich | ||
| + | sind dann Ueberlegungen zur Ablauferkennung und zur Distribution der Ablaeufe unausweichlich. | ||
| + | | ||
project/spider-bashing.1295176360.txt.gz · Zuletzt geändert: 2011-01-16 12:12 von ::ffff:212.9.189.66