Webseiten-Infos.de » User Agent

Bots mittels User Agent blockieren

Dieter — Thu, 11 Mar 2010 01:14:38 +0000

In meinem Blogbeitrag “Spam-Schutz auf Webseiten-Infos.de” hatte ich auch ein Beispiel für einen von mir geblockten User-Agent gebracht.

Zwar bin ich ein Laie in Sachen Administration eines Apache-Servers, aber soviel habe ich mitbekommen:

Bots (Robots, Webcrawler), die sich nicht an die robots.txt halten, kann man guten Gewissens von der Website aussperren.

Hier mein aktuelles Praxisbeispiel:

In den Logdaten meiner chCounter-Installation auf Webseiten-Infos.de tauchte sehr häufig der Crawler 80legs mit folgendem User Agent, aber ständig wechselnden IP-Adressen und Hosts auf:

1
2
3

Mozilla/5.0 (compatible; 008/0.83;
http://www.80legs.com/spider.html;)
Gecko/2008032620

Ich überprüfte die im User Agent enthaltene Website http://www.80legs.com/spider.html. Danach handelte es sich um einen Webcrawler und nach den FAQ hierzu sollte ein Ausschluss des Crawlers in der robots.txt beachtet werden:

1 2	User-agent: 008 Disallow: /

Wie ich aber den Logdaten von chCounter entnehmen konnte, war dem aber leider nicht so. Auch nach dieser Ergänzung der robots.txt tauchten viele Logdaten mit diesem User Agent auf.

Nun war ich mir sicher, dass es sich um einen sogenannten ungezogenen Jungen (bad guy) handelte, sprich einen Bot (Robot, Webcrawler), der nur vorgibt zu 80legs zu gehören. Also wollte und konnte ich diesen Bot (Robot, Webcrawler) ohne schlechtes Gewissen blockieren.

Das Aussperren dieses Bots (Robots, Webcrawlers) von Webseiten-Infos.de gelang mir mit folgender Ergänzung der .htaccess auf meinem Webspace:

1
2
3
4
5
6
7

SetEnvIfNoCase User-Agent "Mozilla/5\.0 \(compatible; 008/0\.83; http\://www\.80legs\.com/spider\.html;\)" bad_bot

<Limit GET POST PUT HEAD>
order allow,deny
allow from all
deny from env=bad_bot
Limit>

Wie oben schon erwähnt, bin ich kein Experte für den Webserver Apache. Leider fand ich im Netz (Web) auch keine gut lesbaren Einsteigerinfos zur richtigen Schreibweise von solchen Einträgen in der .htaccess. Ich dachte mir lediglich, dass es wohl erforderlich sein dürfte, alle Zeichen, die keine Buchstaben oder Schrägstrich (Slash) sind, durch einen sogenannten umgekehrten Schrägstrich (Backslash) zu maskieren.

Darüber hinaus dachte ich mir, dass es nichts schaden könnte, wenn ich die Funktionsfähigkeit dieser Ergänzung der .htaccess testen könnte.

Und tatsächlich: Das geht mittels dem Firefox-Addon User Agent Switcher 0.7.2.

Dieses Addon kann auch um beliebige User Agents ergänzt werden. Ich habe bei mir das Addon User Agent Switcher 0.7.2 um oben genannten User-Agent ergänzt und dann meinen Firefox auf diesen User Agent umgestellt. Ein Neuladen der Webseite Webseiten-Infos.de führte dann zu folgender Meldung:

Forbidden

You don’t have permission to access / on this server.

Mit den anderen User Agents für die gängigen Browser lässt sich dagegen die Website Webseiten-Infos.de problemlos aufrufen.

Seitdem ich die .htaccess entsprechend ergänzt habe, finden sich in den Logdaten auch keine neuen Zugriffe mit diesem User Agent mehr.

Die Aussperrung dieses User Agent scheint also zu funktionieren.

Solltest Du Anmerkungen oder Verbesserungsvorschläge haben, dann nur her damit.

Kommentare

11. März 2010, Thomas Scholz schreibt: Was für Spam hat der denn hinterlassen?
11. März 2010, Dieter schreibt: Ich sollte so spät nachts keine Blogbeiträge schreiben. ;-) Du hast mal wieder den Nagel auf den Kopf getroffen. Die einzige von mir beobachtete Aktivität des Bots war die Missachtung der robots.txt. Er war mir mit seinen weiterhin extrem häufigen Zugriffen auf meine Webseiten, die mir die Besucherstatistik verfälschen und Serverressourcen verbrauchen, lediglich suspekt. Werde den Titel des Blogbeitrags gleich mal korrigieren. Danke für den Gedankenschubser!
14. März 2010, Andreas schreibt: Von solchen Bots habe ich bisher noch nichts gehört, aber der Artikel ist dennoch interessant. Ich werde mit den Link mal abspeichern, und wenn ich dann doch Besuch von einem solchen Bot bekomme, weiß ich ja, was ich zu tun habe. Bekäme man Spambots denn auf dieselbe Weise los? Vielleicht bekomme ich von so einem ja über kurz oder lang mal Besuch.
14. März 2010, Dieter schreibt: @Andreas Geht auch mit Spambots, wenn die einen unüblichen User Agent verwenden oder immer von der gleichen IP-Adresse kommen. Und im Übrigen kann ich Dir das WordPress-Plugin Antispam Bee gegen automatisierte Spam-Kommentare uneingeschränkt empfehlen. Ich hoffe, das hilft Dir im Bedarfsfall weiter. Beste Grüße Dieter
14. März 2010, Thomas schreibt: Bin auch gerade auf der Suche nach einer besseren Lösung. Leider kommen die SpamBots bei mir immer mit unterschiedlicher IP und auch mit wechselndem UserAgent. Danke für den Tipp mit "Antispam Bee" - kannte ich bisher noch nicht - werd ich mir gleich mal ansehen. Zu der Misachtung der robots.txt solltest du mal auf bot-trap.de schauen.
14. März 2010, Dieter schreibt: @Thomas Die fleißige Biene Antispam Bee kannst Du auch so einstellen, dass sie die automatischen Spam-Kommentare direkt blockt. Dann bekommen Du und Deine WordPress-Datenbank diesen Spam noch nicht einmal mehr zu sehen. Danke für den Hinweis auf bot-trap.de. Steht bei mir schon auf der Liste der Websites, die ich mir noch näher ansehen will. Hast Du denn schon Erfahrungen mit bot-trap.de gemacht? Beste Grüße Dieter
14. März 2010, Icem@n schreibt: Auf der Suche nach Infos zu diesem Bot, bin ich auf diesen Eintrag gestoßen. Heute Nacht kam das Ding auch bei mir vorbei und bescherte mir rund 500 Besucher in knappen 4 Stunden. In den Logfiles habe ich bisher nichts Ungewöhnlichliches entdeckt, außer, dass sehr oft das Gästebuch und der Veranstaltungskalender besucht wurde. Ist mir jedenfalls höchst suspekt. Hast du noch weitere Infos zu diesem Spider finden können?
14. März 2010, Dieter schreibt: @Icem@n Habe leider keine weiteren Infos zu dem Spider gefunden. Da er sich aber entgegen der Website nicht an die robots.txt hält, gehe ich stark davon aus, dass es sich um einen vorgetäuschten User Agent handelt und der Bot mit Sicherheit nicht mein Freund, sondern mein Feind ist.
15. März 2010, Thomas schreibt: @Dieter: Nein, ich habe bisher nur gelesen und gehört, dass das mit der Bot-Falle super funktionieren soll. Wenn bei der Antispam Bee die Beiträge nichtmal mehr in der Datenbank landen, wäre das ja ein echter Vorteil gegenüber SpamKarma - wobei man das dort vielleicht auch einstellen kann und ich habs nur noch nicht gefunden.
15. März 2010, Dieter schreibt: @Thomas Dann werde ich demnächst mal bot-trap.de ausprobieren. SpamKarma habe ich noch nicht eingesetzt. Dazu kann ich deshalb nichts sagen. Antispam Bee blockiert in der Standardeinstellung automatische Spam-Kommentare. Diesbezüglich zitiere ich mal aus der Dokumentation von Antispam Bee:
Im Auslieferungszustand entfernt Antispam Bee jeden Spam-Kommentar, ohne dies irgendwo zu notieren. Diese Vorgehensweise hat den wesentlichen Vorteil, dass sich keine Liste mit Spam-Einträgen bildet, die in bestimmten Abständen zeitintensiv und mühselig kontrolliert und geleert werden muss.
15. März 2010, Thomas Scholz schreibt: @Dieter: Das kann aber auch ein Nachteil sein, denn ein Versehen kann man dann nicht mehr korrigieren. Ich würde die rabiate Methode des unkontrollierten Löschens nur benutzen, wenn täglich so viel Spam einschlägt, daß eine manuelle Kontrolle ohnehin nicht mehr zu bewältigen ist. Nur dann. Einmal am Tag 50—100 Spamkommentare zu überfliegen, halte ich noch für vertretbar.
15. März 2010, Dieter schreibt: @Thomas Wie Du der Grafik in meinem Blogbeitrag "Spamschutz nur mit Antispam Bee" entnehmen kannst, habe ich den Haken bei Spam markieren, nicht löschen gesetzt. Ich teile Deine Einschätzung, dass die rabiate Methode des unmittelbaren automatischen Löschens nur in Ausnahmefällen gewählt werden sollte. Über 50 Spam-Kommentare an einem Tag sind bisher auf Webseiten-Infos.de die absolute Ausnahme. Unabhängig davon untersuche ich gerne kurz die Spam-Kommentare hinsichtlich irgendwelcher Auffälligkeiten (insbesondere IP-Adressen sowie User Agent mit chCounter).
11. November 2010, Robert schreibt: Danke für den Hinweis mit der htaccess. Denn immer wieder fallen Bots auf, die sich nicht an die robots.txt halten. Bislang habe ich es immer mit der IP versucht, was aber einerseits nur begrenzt funktionierte und andererseits auch "echte" Besucher blockierte. Die htaccess-Lösung scheint soweit ganz gut zu funktionieren und ist perfekt ergänzbar.
12. November 2010, Dieter schreibt: @Robert Gern geschehen. Mit der htaccess-Datei kann man viel machen. Schade nur, dass ich bisher keine umfassende Einführung hierzu gefunden habe.

Neues Layout für Handy und PDA

Dieter — Sun, 09 Aug 2009 16:28:06 +0000

Vor einigen Wochen hatte ich hier das Layout für Handy, PDA und iPhone mittels des Plugins WordPress PDA & iPhone deaktiviert.

Ursächlich dafür war, dass ich auf Webseiten-Infos.de unter Blog auch eine Template-Datei ohne WordPress-Loop einsetze und diese Seite dann beim Betrachten mit Handy oder PDA keinen Inhalt anzeigte. Danke an Ute, die mich hierauf aufmerksam machte. Sie war zwar mit dem normalen Layout auf ihrem iPhone zufrieden, aber andere mobile Geräte haben meistens eine noch kleinere Bildschirmauflösung und dann ist ein reduziertes und angepasstes Layout für diese Geräte sinnvoll.

Thomas Scholz aka toscho brachte mir mit seinem Link zu dem Blogbeitrag “The 5-Minute CSS Mobile Makeover” wieder in Erinnerung, dass ich da eine noch offene Baustelle habe.

Leider wird von vielen mobilen Browsern der Medientyp handheld nicht unterstützt. Deshalb halte ich die Erkennung von mobilen Browsern über den User Agent, wie sie auch von vielen WordPress-Plugins praktiziert wird, derzeit für die bessere, da effektivere Alternative.

Heute habe ich mit Hilfe des WordPress-Plugins WP viewMobile ein neues Layout für Handy und PDA erstellt, also diese offene Baustelle endlich geschlossen.

Die Vorteile des WordPress-Plugins WP viewMobile liegen für mich darin, dass

es mit einem deutschen Theme und deutsch im Administrationsbereich (Backend) daher kommt,
ich eigene Themes hinzufügen und anpassen kann,
sich die Erkennung der mobilen Browser anpassen lässt.

Ein mobiles CSS-Layout sollte aus meiner Sicht insbesondere berücksichtigen, dass

eine kleinere Bildschirmfläche und -auflösung als bei Monitoren von Computern zur Verfügung steht,
in der Regel die Datenübertragungsgeschwindigkeit / -rate niedrig ist und
Funktionalitäten, die lediglich mit Computer genutzt werden können, entfernt werden sollten.

Zur Umsetzung habe ich dafür

das modifizierte WordPress-Theme YAML Green in den Theme-Ordner des WordPress-Plugins WP viewMobile kopiert,
dann YAML Green auf der Seite Optionen für das Plugin WP viewMobile im Administrationbereich (Backend) ausgewählt und die Einstellung entsprechend aktualisiert,
in der functions.php des YAML Green-Themes im Theme-Ordner des WordPress-Plugins WP viewMobile den CSS-Code im Kopfbereich (Header) sowie für die Conditional Comments gelöscht / entfernt,
ein vereinfachtes mobiles CSS-Layout erstellt, das
- möglichst den geringen Bildschirmplatz auf Handys und PDAs optimal nutzt,
- möglichst wenig Bandbreite benötigt,
- die Breite der Formularelemente begrenzt, damit der Opera Mini die Webseiten nicht auf maximale Breite zieht.

Sehr wahrlich

fehlen noch einige User Agents, so dass noch nicht alle mobile Browser erkannt werden, und
gibt es noch Verbesserungsbedarf und -möglichkeiten bei diesem mobilen CSS-Layout.

Getestet habe ich das mobile CSS-Layout

mit dem Opera Mini 4 auf meinem Handy Sony-Ericsson P990i,
mit dem Opera Mini Simulator und
mit dem iPhone-Simulator.

Der iPhone-Simulator funktionierte allerdings erst, nachdem ich mittels dem Firefox-Addon User Agent Switcher und der importierten XML-Liste von Mobilgeräten, als User Agent für den Firefox das iPhone auswählte.

Darüber hinaus probierte ich den Seitentest unter ready.mobi aus. Das Ergebnis war zwar vernichtend, aber die dort zum Emulationstest aufgeführten Mobilgeräte sind aus meiner Sicht eh nicht zum mobilen Surfen geeignet. Vielmehr gehören die schon ins Museum. Anscheinend hat das auch der Betreiber der Website ready.mobi erkannt, denn die Website lies sich nicht mehr aufrufen (Stand: 24. Mai 2010).

~~Hier noch der Link zu meiner mobilen CSS-Datei.~~

Für Verbesserungshinweise und -vorschläge mittels Kommentar oder Mail bin ich jederzeit dankbar.

Kommentare

9. August 2009, Micha schreibt: Ich warte nur noch auf den Tag, an dem du dein erstes Theme veröffentlichst :)
9. August 2009, Dieter schreibt: @Micha Man soll ja nie nie sagen, aber das überlasse ich lieber Profis wie Dir und Heiko. :-) Und diesbezüglich hast Du mir ja schon den Mund wässrig gemacht. Ich sage nur Xtreme One-Theme. :-)
9. August 2009, Ute schreibt: Hi Dieter, sorry ich schon wieder und das ichphone... Leider bin ich schon wieder nicht glücklich. Das Theme lässt mich Beiträge wieder nur mit quer scrollen lesen. Das ist mühsam. Alles andere sieht gut aus, falls dieser Kommentar auch noch ankommt. ;)
10. August 2009, Dieter schreibt: @Ute Danke für Deinen Hinweis und die Screenshots. Ich will ja nicht unken, aber interpretiert das iPhone den Media Querie max-device-width: 480px als width auch für die vertikale Nutzung des Browsers? Testweise habe ich jetzt mal max-device-width auf 320px geändert und die Seitenvergrößerung (den Zoom) freigegeben. Verstehe sowieso nicht, warum bei "The 5-Minute CSS Mobile Makeover" empfohlen wird diese abzustellen. Wäre Dir und allen Lesern die ein iPhone haben sehr dankbar, wenn die Zugänglichkeit dieser Seiten mit dem iPhone testet. Scheint ja - im Gegensatz zum Opera Mini - leider mit dem Simulator nicht richtig zu funktionieren. :-(
10. August 2009, Dieter schreibt: So die Benutzerkennungen für das iPhone und den iPod Touch habe ich beim WordPress-Plugin WP viewMobile herausgeworfen. Nun sollten diese mobilen Geräte halt das Standardlayout von Webseiten-Infos.de für Computerbildschirme erhalten (siehe hierzu auch meinen neuen Blogbeitrag "iPhone-Simulatoren sind für die Tonne!").
17. Juli 2011, Susanne schreibt: Also mir gefällt es, schaut auf alle Fälle professioneller aus als bei mir...
17. Juli 2011, Dieter schreibt: Danke! Nur so als Tipp: Wenn der Benutzername zum Impressum der angegebenen Website gepasst hätte, wäre der Link auch drin geblieben.
10. Dezember 2011, iPhone-Simulatoren sind für die Tonne! | Webseiten-Infos.de schreibt: [...] Gestern hatte ich mein neues Layout für Handy und PDA vorgestellt (siehe hierzu meinen Blogbeitrag “Neues CSS-Layout für Handy und PDA“). [...]
10. Dezember 2011, WordPress-Plugin PDA & iPhone in Deutsch | Webseiten-Infos.de schreibt: [...] die Darstellung von Webseiten-Infos.de auf Handy und PDA kannst Du in meinem Blogbeitrag “Neues Layout für Handy und PDA” [...]

Webseiten-Infos.de » User Agent

Bots mittels User Agent blockieren

Kommentare

Ähnliche Beiträge

Neues Layout für Handy und PDA

Kommentare

Ähnliche Beiträge