| Author |
Message |
a7
knows MySQLDumper
Joined: 04 Jan 2010
Posts: 6
|
 Posted:
2010-01-04, 13:58 Feature Request: Google Bots zerstört die Datenbank --> Fix: |
  |
Gestern Nacht habe ich mal wieder mit dem msd gearbeitet als ich eine Seite auf einen anderen Server umgezogen habe und alles hat wie gehabt gut funktioniert. Msd per wget ziehen, installieren, backup einspielen. Nur (ich schiebe es mal auf die späte Stunde) habe ich diesmal vergessen ein .htpasswd zu setzen, mit gravierenden Folgen:
Heute morgen gehen die Seiten nicht mehr und die Datenbank ist völlig wahllos verhackstückelt, Daten Fehlen, Tabellen haben weniger Spalten…
To make a long story short:
Google hat, über einen Link in Gmail oder das Firefox Pagerank Plugin von der Adresse des msd Wind bekommen und ist einfach jedem Link gefolgt was zu den verrücktesten Fehlern und zu einer leichten Überlastung des Servers geführt hat. Tausende Logeinträge in der Art: sql.php?db=web72db1&tablename=xtca_webform_submissions&dbid=0&order=&orderdir=&limitstart=0&sql_statement=SELECT+*+FROM+%60xtca_webform_submissions%60&tdc=1
Ich für mich konnte den Spuk jetzt beenden, aber der Fehler wird bei irgend jemand irgendwann wieder auftreten, da dem ein oder anderem evtl. nicht mal klar ist, dass es ein pwd setzen sollte und Menschen eben dazu neigen Dinge zu vergessen. Daher sollte man unbedingt am besten zwei Features einbauen:
* Einrichtung des .htpasswd Schutzes während des Installationsprozesses in dem man explizit auswählen muss, dass man keinen Passwort Schutz möchte.
* <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> auf Seiten
Alternativ könnte man natürlich auch js oder .htaccess einsetzen oder nach dem User Agent fragen, aber die kombination aus den genannten Punkten dürfte denke ich ausreichen.
|
|
   |
|
Anzeigen
|
|
Posted:
Anzeigen |
|
|
| |
|
DSB
Developer
Age: 41
Joined: 30 Apr 2004
Posts: 16067
Location: Reichenberg bei Würzburg
|
|
Posted:
2010-01-04, 16:28 (No subject) |
|
Ich habe das mal in "Feature Requests" verschoben und halte das mal im Hinterkopf.
Die ein oder Sache kann man da bestimmt machen.
Danke für die Anregung.
_________________
Gruß / Greetings, DSB
Teigwaren heißen Teigwaren, weil sie Teig waren.
Diejenigen, die lautstark darüber diskutieren, warum es nicht geht, mögen bitte jene nicht stören, die es gerade tun.
|
|
   |
|
StvN
Developer
Age: 21
Joined: 19 Dec 2008
Posts: 167
Location: Potsdam
|
|
Posted:
2010-01-05, 01:53 (No subject) |
|
Man müsste einfach in einer robots.txt das ganze für Bots verbieten "Disallow".
Es ist nicht nötig ein META-Tag dafür zu setzen
Die guten Bots fragen die robots.txt von alleine ab.
_________________
Jag är lat
Bitte stellt keine Meta-Fragen!
follow me on twitter
|
|
| |
|
a7
knows MySQLDumper
Joined: 04 Jan 2010
Posts: 6
|
|
Posted:
2010-01-05, 01:55 (No subject) |
|
« DSB » wrote: Ich habe das mal in "Feature Requests" verschoben und halte das mal im Hinterkopf.
Die ein oder Sache kann man da bestimmt machen.
Danke für die Anregung.
Ups, nach dem Forum hatte ich nur unter Fehler gesucht 
Danke für dein Feedback und Deine Arbeit am msd.
Bzgl robots.txt - die wird afaik nur im Website root nachgefragt auf welches der msd idR keinen Zugriff hat - Die Vorgeschlagene Funktion soll Nutzer ja automatisch schützen um Menschliche Fehler nicht im Desaster Enden zu lassen. Eine Alternative wäre da eher Links per nofollow oder js einzusetzen aber da finde ich den meta tag noch von allen Möglichkeiten am besten. Ein Tag an der Stelle macht auch für die Webseiten Ladegeschwindigkeit null Unterschied.
|
|
| |
|
JayD
Moderator
Age: 50
Joined: 12 Apr 2009
Posts: 1017
Location: Ruhrgebiet
|
|
Posted:
2010-01-06, 02:48 (No subject) |
|
« StvN » wrote: Man müsste einfach in einer robots.txt das ganze für Bots verbieten "Disallow".
Es ist nicht nötig ein META-Tag dafür zu setzen
Die guten Bots fragen die robots.txt von alleine ab.
Das ist so nicht ganz richtig.
Eine robots.txt ist keineswegs irgendein "Schutz", lediglich eine Art "Empfehlung" und der dezente Hinweis, das man dies und jenes nicht wünscht.
"Verbieten" kannst damit nicht wirklich etwas, auch wenn es die Übersetzung vermuten lässt.
Es ersetzt weder eine .htaccess noch sonstige Schutz-Einrichtungen, sondern ist lediglich eine Art "Regelwerk", was man möchte und was nicht.
Zwar ist es so, dass "seriöse" SuMa/Bots/Crawler sich "freundlicherweise" an eine robots.txt halten, sofern sie denn existiert, aber "technisch verbindlich" ist sei keineswegs und ersetzt auch nichts an Schutz-Maßnahmen.
Es gibt genug Bots/SuMa, die drauf pfeifen und sich großflächig über diese TXT hinwegsetzen und trotzdem überall "schnüffeln".
Ich weiß, dass dieser Denkfehler sehr häufig (selbst unter Web-Admins) gemacht wird und zu Verwirrung führt, aber gerade deswegen muss man explizit darauf hinweisen, sich nicht alleinig auf diese (simpele Textdatei) zu verlassen.
Wirklich "steuern" kann man sie damit im Zweifelsfall zumindest nicht.
Über Rechtevergabe kann man z.B. in Foren recht viel machen, indem man SuMa nicht nur Gastrechte einräumt, sondern diese im Zweifelsfall (über eine eigene Bot-Gruppe) noch weiter eingrenzt.
Zwar können sie vorhandene Links innerhalb einer Domain dann immer noch indexieren, deren Inhalte aber dann mangels Zugriff nicht mehr für sich auswerten und "sinnvoll" verwenden.
Umgekehrt ist es aber gerade auch so, dass Meta-TAGs immer mehr an Bedeutung verlieren. Gerade Google achtet seit längerer Zeit fast gar nicht mehr darauf, einfach weil damit in der Vergangenheit viel zu viel Mißbrauch getrieben wurde, gepushte Rankings erreicht wurden usw usw.
In der Folge irgendwelcher "SEO-Maßnahmen" usw. stehen sie bei Google inzwischen ziemlich weit unten, das wird häufig überschätzt heutzutage.
//PS:
Quote: Bzgl robots.txt - die wird afaik nur im Website root nachgefragt auf welches der msd idR keinen Zugriff hat -
Auch nicht ganz richtig. Du kannst eine robots.txt auch zusätzlich im nächst-höheren Verzeichnis anlegen. Sie wird dann im Normalfall ebenso berücksichtigt und abgefragt (aber eben nicht von allen Bots).
Das kann man sich aber auch ersparen, wenn man alle Ein/Ausschlüsse/Pfade/Ordner usw. direkt schon in der TXT, welche im Web-Root liegt, angibt. 
_________________
Gruß,
Jörg
Anfragen zu vBulletin, welche nichts mit Datenbanken bzw. dem Dumper zu tun haben, bitte nicht hier sondern im vBulletin-Support-Forum stellen.
Aus technischen Gründen befindet sich der Rest der Signatur auf der Rückseite dieses Beitrags.
|
|
| |
|
DSB
Developer
Age: 41
Joined: 30 Apr 2004
Posts: 16067
Location: Reichenberg bei Würzburg
|
|
Posted:
2010-01-06, 02:58 (No subject) |
|
« JayD » wrote: Umgekehrt ist es aber gerade auch so, dass Meta-TAGs immer mehr an Bedeutung verlieren. Gerade Google achtet seit längerer Zeit fast gar nicht mehr darauf, einfach weil damit in der Vergangenheit viel zu viel Mißbrauch getrieben wurde, gepushte Rankings erreicht wurden usw usw.
Dies gilt aber nur für die Tags mit denen Mißbrauch betrieben wurde (description, keywords, usw.). Die Standardtags wie NOINDEX und NOFOLLOW werden nach wie vor ganz normal beachtet. Insofern bietet sich das hier als schnelle Lösung an.
_________________
Gruß / Greetings, DSB
Teigwaren heißen Teigwaren, weil sie Teig waren.
Diejenigen, die lautstark darüber diskutieren, warum es nicht geht, mögen bitte jene nicht stören, die es gerade tun.
|
|
| |
|
StvN
Developer
Age: 21
Joined: 19 Dec 2008
Posts: 167
Location: Potsdam
|
|
Posted:
2010-01-06, 10:32 (No subject) |
|
Quote: Zwar ist es so, dass "seriöse" SuMa/Bots/Crawler sich "freundlicherweise" an eine robots.txt halten, sofern sie denn existiert, aber "technisch verbindlich" ist sei keineswegs und ersetzt auch nichts an Schutz-Maßnahmen.
Es gibt genug Bots/SuMa, die drauf pfeifen und sich großflächig über diese TXT hinwegsetzen und trotzdem überall "schnüffeln".
Genau das hab ich doch geschrieben, nagut ich hab das kleine Wörtchen "meist" vergessen. xD
Aber danke für die Umschreibung.
BTW.: Dieses Feature ist gerade erfolgreich in der Entwicklerversion eingegangen, dank Daniel. :-)
_________________
Jag är lat
Bitte stellt keine Meta-Fragen!
follow me on twitter
|
|
| |
|
DSB
Developer
Age: 41
Joined: 30 Apr 2004
Posts: 16067
Location: Reichenberg bei Würzburg
|
|
Posted:
2010-01-06, 11:06 (No subject) |
|
Bevor ich das wieder vergesse...
_________________
Gruß / Greetings, DSB
Teigwaren heißen Teigwaren, weil sie Teig waren.
Diejenigen, die lautstark darüber diskutieren, warum es nicht geht, mögen bitte jene nicht stören, die es gerade tun.
|
|
| |
|
a7
knows MySQLDumper
Joined: 04 Jan 2010
Posts: 6
|
|
Posted:
2010-01-07, 01:50 (No subject) |
|
Also das robots in jedem theoretischen Ordner nach einer robots.txt schauen halte ich für ein Grücht - was glaubst Du wie voll mit 404 Fehlern die Logs von wordpress blogs und anderen Systemen mit SEF-URLs wären.
Klasse, dass es so schnell geklappt hat!
Die Implementierung eines Passwortschutzes in den Installationsprozess sollte man denke ich aber auf jeden Fall auch voran treiben - alternativ wäre auch ein Usermanagement mit Login eine Lösung. Das wäre vor allem auch dahingehend interessant wenn man Entwicklern zugriff auf einzelne Datenbanken geben möchte, nicht aber auf alle über einen Server verwaltete.
Zur Verdeutlichung der Wichtigkeit schaue man sich einfach mal den Wikipedia Artikel zu Google Hacking an und überlege sich eine Query für Google - ich bin mir sicher jeder kommt auf verschiedene Querys die jeweils viele Seiten liefern mit einem nicht geschützten Mysqldumper bzw Seiten die offensichtlich schon mal einen Mysqldumper ohne Passwortschutz installiert hatten. Mich hat es keine 30 Sekunden gebraucht nicht passwort geschützte Seiten zu finden, vermutlich hunderte.
Mit zunehmener Bekanntheit wird eine Software auch zunehmend für Scribt Kiddies und Malware Programmierer interessant...
|
|
| |
|
DSB
Developer
Age: 41
Joined: 30 Apr 2004
Posts: 16067
Location: Reichenberg bei Würzburg
|
|
Posted:
2010-01-07, 02:15 (No subject) |
|
« a7 » wrote: Klasse, dass es so schnell geklappt hat!
In der aktuellen Entwicklerversion ist das nun implementiert. Beim nächsten Release ist das also drin.
Quote: Das wäre vor allem auch dahingehend interessant wenn man Entwicklern zugriff auf einzelne Datenbanken geben möchte, nicht aber auf alle über einen Server verwaltete.
Einen klitzekleinen Moment. Das Einsatzgebiet, was Du hier andenkst geht weit über das ursprüngliche Einsatzgebiet des Dumpers hinaus und klingt eher nach einer kommerziellen Lösung. Bisher ist MySQLDumper eine einfache Möglichkeit für einen einzelnen Admin seine eigenen Datenbanken zu sichern, zu editieren oder Backups wieder einzuspielen. Eine Mehruserfähigkeit besitzt er nicht.
Quote: Zur Verdeutlichung der Wichtigkeit schaue man sich einfach mal den Wikipedia Artikel zu Google Hacking an und überlege sich eine Query für Google - ich bin mir sicher jeder kommt auf verschiedene Querys die jeweils viele Seiten liefern mit einem nicht geschützten Mysqldumper bzw Seiten die offensichtlich schon mal einen Mysqldumper ohne Passwortschutz installiert hatten.
Ich sehe hier keinen dringenden Handlungsbedarf. Der Dumper weist direkt auf der Startseite auf einen fehlenden Verzeichnisschutz hin. Wer das ignoriert ist selbst schuld und unbelehrbar. Zusätzlich habe ich ein ausführliches Video-Tutorial zum Verzeichnisschutz gemacht und auch hier im Forum in der FAQ findet man einen ausführlichen Artikel. Wer sich dazu informieren möchte, hat hier alle Möglichkeiten dazu. Es ist nicht die Aufgabe des Dumpers einen "Admin" dazu zu zwingen den Schutz anzulegen.
Ebenfalls ist eine automatische Erstellung problematisch, da es viele Server mit unterschiedlichen Voraussetzungen gibt. Nicht jeder kann eigene htaccess-Dateien nutzen. Dafür bieten einem die Hoster aber die Möglichkeit einen Schutz zu erstellen - das kann technisch nicht von MySQLDumper übernommen werden. Eine Zwangsanlegung einer htaccess würde dazu führen, dass viele Anwender danach nicht in den Dumper kommen und scheidet damit aus. Der Admin muss wissen wie sein Space funktioniert.
Die Gedanken habe ich natürlich alle schon gehabt. Ein automatisches Anlegen einer htaccess-Datei ist leider problematisch und kann nicht automatisiert werden. Wenn es problemlos ginge, hätte der Dumper das bereits.
_________________
Gruß / Greetings, DSB
Teigwaren heißen Teigwaren, weil sie Teig waren.
Diejenigen, die lautstark darüber diskutieren, warum es nicht geht, mögen bitte jene nicht stören, die es gerade tun.
|
|
| |
|
JayD
Moderator
Age: 50
Joined: 12 Apr 2009
Posts: 1017
Location: Ruhrgebiet
|
|
Posted:
2010-01-07, 05:26 (No subject) |
|
« a7 » wrote: Also das robots in jedem theoretischen Ordner nach einer robots.txt schauen halte ich für ein Grücht -
Ja sorry, das muss ich tatsächlich korrigieren. Du hast Recht.
Habe grad extra nochmal geguckt und das hatte ich falsch in Erinnerung.
Anders als eine .htaccess wird sie tatsächlich nur im Web-Root einer Domain gesucht und muss demzufolge auch da liegen.
_________________
Gruß,
Jörg
Anfragen zu vBulletin, welche nichts mit Datenbanken bzw. dem Dumper zu tun haben, bitte nicht hier sondern im vBulletin-Support-Forum stellen.
Aus technischen Gründen befindet sich der Rest der Signatur auf der Rückseite dieses Beitrags.
|
|
| |
|
a7
knows MySQLDumper
Joined: 04 Jan 2010
Posts: 6
|
|
Posted:
2010-01-07, 13:17 (No subject) |
|
Mir ist klar dass diese Funktion aktuell nicht implementiert ist und ich möchte auf keinen Fall das etwas in die Richtung "Ich will!", "Mach das!" oder "Das fehlt!" sagen - nur "Das wäre doch eine schöne Funktion".
Mein Vorschlag ist nicht, dass die .htaccess automatisch und zwingend erstellt wird, sondern nur dass der Hinweis mit der optionalen Erstellfunktion am Ende der installation erscheint und zwar noch bevor das Menü links angezeigt wird. So würde der Fokus des Anwenders zwangsweise darauf fallen und ein Übersehen wäre quasi ausgeschlossen.
Von der Anwendung ins eigene Verzeichnis geschriebene Daten sind immer kritisch - bei .htacces ganz besonders weil im zweifelsfal nur noch ein 500er Fehler erscheint, aber auch aus sicherheitstechnischen Aspekten und weil je nach Webserverkonfiguration von php angelegte Dateien nicht mehr vom user gelöscht werden können.
Hierzu noch eine Anmerkung: Drupal wird z.B. mit einer .htaccess Datei ausgeliefert die manche evtl vorhandene Schwachstellen des Servers durch vorgefertigte .htaccess Regeln schließt. http://ftp.drupal.org/files/projects/drupal-6.x-dev.tar.gz Das aber nur am Rande.
Quote: Ich sehe hier keinen dringenden Handlungsbedarf. Der Dumper weist direkt auf der Startseite auf einen fehlenden Verzeichnisschutz hin. Wer das ignoriert ist selbst schuld und unbelehrbar.
Dringend ist relativ.
Ja wer lesen kann ist klar im Vorteil und ich war selbst schuld, dass ich in dem Moment nicht daran gedacht habe, keine Frage.
Trotzdem möchtet ihr bestimmt die Software so sicher wie möglich machen und die meisten Fehler sitzen nun mal vor dem Rechner und müssen leider mit bedacht werden
Sollte das Argument nicht überzeugen, dann denkt einfach daran, dass Mysqldumper dazu verwendet werden wird Webserver zu hacken um darüber Spam zu versenden, Trojander zu verteilen, ... und darunter leiden wir alle die wir das Internet nutzen. In diesem Sinne - Keine Panik, aber reagieren sollte man denke ich.
|
|
| |
|
|
|
CrackerTracker © 2004 - 2012 CBACK.de
Powered by Orion based on phpBB
© 2001, 2002 phpBB Group
CBACK Orion Style based on FI Theme
All times are GMT + 2 Hours
phpBB SEO
|
