MySQLDumper-Board Forum Index Follow me on Twitter

Portal  •   Forum  •  Downloads  •  Profile  •  Search   •  Register  •  Log in to check your private messages  •  Log in  •  


 75 Mio Datensätze aus Tabelle Dumpen?

Post new topicReply to topic
Author Message
crypto
knows MySQLDumper
knows MySQLDumper





Joined: 02 Feb 2012
Posts: 4


blank.gif

PostPosted: 2012-02-02, 21:37    75 Mio Datensätze aus Tabelle Dumpen? Reply with quoteBack to top

Folgendes Problem bereitet mir Kopfschmerzen, weil ich es seit 2 Tagen bereits nicht gelöst bekomme:

Es geht darum, eine Tabelle mit nur 3 Feldern AutoID, GruppenID, ProduktID auf der ein unique indize AutID angelegt ist.

Es sind zwar nur 3 Felder, aber 75 Mio Datensätze (ja Sie lesen richtig)

Nun habe ich zur DB lediglich einen PhpMyAdmin Account und kann auch nur die dort verfühbaren Funktionen verwenden.
Ferner verfüge ich über Zugangsdaten aus einem PHP-Skript, das greifzt natürlich per localhost auf die DB zu, bisher habe ich es auch nicht vollbracht, mich via remote über ein Tool mit der DB zu verbinden um einen Dump der Tabelle zu holen.

der Timeout kickt mich bei der normalen Exportfunktion stets heraus bzw gibt mir nur unvollständige CSV files. Diese zu packen geht überhaupt nicht, die gepackten files sind unknown nicht zu öffnen.

Hat hier jemand ein paar Tips für mich, es ist wirklich immens wichtig!
Ich vermute das ich den Dumper dann eh nicht nehmen kann, da der vermutlich eh nur auf dem Dateisystem des Servers funktionieren wird?

Wie auch immer, ich muss die Daten haben.

Vielen Dank vorab,

Gruß Knut

OfflineView user's profileSend private message    
Anzeigen











Posted:    Anzeigen Back to top


    
DSB
Developer
Developer




Age: 41
Joined: 30 Apr 2004
Posts: 16049
Location: Reichenberg bei Würzburg


germany.gif

PostPosted: 2012-02-03, 01:28    Re: 75 Mio Datensätze aus Tabelle Dumpen? Reply with quoteBack to top

« crypto » wrote:
Nun habe ich zur DB lediglich einen PhpMyAdmin Account und kann auch nur die dort verfühbaren Funktionen verwenden.

Hast Du keinen FTP-Account für diesen Webspace und kannst MySQLDumper deshalb nicht hochladen und dort installieren?

_________________
Gruß / Greetings, DSB

Teigwaren heißen Teigwaren, weil sie Teig waren.
Diejenigen, die lautstark darüber diskutieren, warum es nicht geht, mögen bitte jene nicht stören, die es gerade tun.

OfflineView user's profileSend private messageSend e-mailVisit poster's website    
Jens_K
Moderator
Moderator




Age: 37
Joined: 04 Sep 2007
Posts: 1707
Location: Nähe Bielefeld


germany.gif

PostPosted: 2012-02-03, 11:11    Re: 75 Mio Datensätze aus Tabelle Dumpen? Reply with quoteBack to top

« crypto » wrote:
Ich vermute das ich den Dumper dann eh nicht nehmen kann, da der vermutlich eh nur auf dem Dateisystem des Servers funktionieren wird?

Da vermutest Du richtig.

Ohne einen FTP Zugriff auf den Server wird Dir der Dumper nicht beim Backup der DB helfen können.

_________________
It's like math-camp all over again ... not ... that i've ever been to math-camp!
mein Blog

OfflineView user's profileSend private messageVisit poster's website    
DSB
Developer
Developer




Age: 41
Joined: 30 Apr 2004
Posts: 16049
Location: Reichenberg bei Würzburg


germany.gif

PostPosted: 2012-02-03, 11:14    (No subject) Reply with quoteBack to top

Es sei denn Du hast einen SQL-User, der von externen Hosts zugreifen darf.
Dann kannst Du den Dumper woanders installieren und SQL-Host und -User dieses Servers angeben.

In der Regel erlauben die Hoster das aus Sicherheitsgründen eigentlich nicht.

Warum hast Du denn keinen FTP-Zugriff? Ist das nicht Dein Webspace?

_________________
Gruß / Greetings, DSB

Teigwaren heißen Teigwaren, weil sie Teig waren.
Diejenigen, die lautstark darüber diskutieren, warum es nicht geht, mögen bitte jene nicht stören, die es gerade tun.

OfflineView user's profileSend private messageSend e-mailVisit poster's website    
Jens_K
Moderator
Moderator




Age: 37
Joined: 04 Sep 2007
Posts: 1707
Location: Nähe Bielefeld


germany.gif

PostPosted: 2012-02-03, 12:17    (No subject) Reply with quoteBack to top

« DSB » wrote:
Es sei denn Du hast einen SQL-User, der von externen Hosts zugreifen darf.
Dann kannst Du den Dumper woanders installieren und SQL-Host und -User dieses Servers angeben.

Hmm, stimmt - daran hatte ich nicht gedacht.

_________________
It's like math-camp all over again ... not ... that i've ever been to math-camp!
mein Blog

OfflineView user's profileSend private messageVisit poster's website    
crypto
knows MySQLDumper
knows MySQLDumper





Joined: 02 Feb 2012
Posts: 4


blank.gif

PostPosted: 2012-02-06, 19:58    (No subject) Reply with quoteBack to top

Genau das ist der Punkt: Ich habe keinen FTP Account mehr, doch es handelt sich um Daten, die wir vollständig sichern müssen.

Leider bekomme ich den Dumper von einem anderen Host aus bisher nicht verbunden, bin aber auch nicht sicher ob ich dazu die richtigen Zugangsdaten verwende.

Mit PHPmyAdmin verbinde ich mich mit http://IP-adresse:Port
http://181.44.129.191:81


wenn ich die IP per zum Beispiel per cmd tracert IP auflösen .
es kommt dann ptr.dieDomain.de also mit ptr davor



sehe ich mir dort die Servervariablen/Umgebung an, wir mir als Hostname etwas anderes angegeben:

server.einandererDomainName.de also mit "server." davor

Nun habe ich auf dem Server die Serverumgebung angesehen, dort wier mir als Hostname ein anderer ausgegeben, als



Es gibt Zugangsdaten aus einem PHP-script vom webroot-Verzeichnisses aus auf betreffende Datenbank zugegriffen wird.

Dort ist zwar localhost angegeben, doch denke ich das man das nur gegen die richtige Hostadresse austauschen müsste oder?


Ansonsten wüsste ich gerade nicht, wie ich das mit Abfragen lösen könnte.



Danke für eure Hilfe

OfflineView user's profileSend private message    
DSB
Developer
Developer




Age: 41
Joined: 30 Apr 2004
Posts: 16049
Location: Reichenberg bei Würzburg


germany.gif

PostPosted: 2012-02-06, 20:14    (No subject) Reply with quoteBack to top

« crypto » wrote:
Mit PHPmyAdmin verbinde ich mich mit http://IP-adresse:Port
http://181.44.129.191:81

Das tut nichts zur Sache. Du musst Dich ja mit dem MySQL-Server verbinden. Der lauscht in der Regel auf Port 3306.

Quote:
Es gibt Zugangsdaten aus einem PHP-script vom webroot-Verzeichnisses aus auf betreffende Datenbank zugegriffen wird.

Dort ist zwar localhost angegeben, doch denke ich das man das nur gegen die richtige Hostadresse austauschen müsste oder?

Das kommt darauf an, wie der MySQL-Server bzw. der -User eingerichtet ist. Man kann ihn für den lokalen Zugriff, den externen Zugriff oder gar nur für den externen Zugriff von bestimmten IP-Adressen einrichten.
Frag am besten den Hoster ob der MySQL-User von extern zugreifen darf. Er kann Dir sowieso weiterhelfen und schnell ein DB-Dump für Dich machen.

_________________
Gruß / Greetings, DSB

Teigwaren heißen Teigwaren, weil sie Teig waren.
Diejenigen, die lautstark darüber diskutieren, warum es nicht geht, mögen bitte jene nicht stören, die es gerade tun.

OfflineView user's profileSend private messageSend e-mailVisit poster's website    
Jens_K
Moderator
Moderator




Age: 37
Joined: 04 Sep 2007
Posts: 1707
Location: Nähe Bielefeld


germany.gif

PostPosted: 2012-02-06, 22:50    (No subject) Reply with quoteBack to top

Du kannst den Server administrieren, aber hast keinen Zugriff per FTP?

Dem kann ich nicht so ganz folgen.

_________________
It's like math-camp all over again ... not ... that i've ever been to math-camp!
mein Blog

OfflineView user's profileSend private messageVisit poster's website    
crypto
knows MySQLDumper
knows MySQLDumper





Joined: 02 Feb 2012
Posts: 4


blank.gif

PostPosted: 2012-02-11, 18:44    (No subject) Reply with quoteBack to top

« Jens_K » wrote:
Du kannst den Server administrieren, aber hast keinen Zugriff per FTP?

Dem kann ich nicht so ganz folgen.


Ich auch nicht, wo steht das?

Also, es ist nicht so schlimm wie es aussieht, denn es ist schlimmer:
Wäre es der Standartfall in dem ich bei meinem Webhoster eine DB liegen habe, ftp-Zugang und DB-Frontend zugriff hätte, wäre der Käse bereits gegessen. Da kann man bestens den Dumper benutzen, für solche Fälle ist der geradezu genial.

Doch hier wird der Hoster rein gar nichts für uns Dumpen noch habe ich andere Zugriffspunkte als die bereits genannten, da es sich nicht um unseren Host handelt sondern nur unsere Daten. Diese hällt ein Dienstleister zurück. Zumal rechtlich zwar auch unser Hosting unserer ist, doch gehen solche Sachen oftmals anders aus als sie geplant wurden.
Dienstleister bereits vorab bezahlt, dieser hatte sich damit völlig übernommen in der Art: "Kann alles - will alles - kriegs aber nicht hin"

Alles nicht schlimm, fehlt letztlich aber noch die Einsicht.
Wie auch immer, wir holen uns die Daten.

Nur wäre es jetzt nötig und nicht erst im Monaten wo sie niemandem mehr nutzen

Über eine ausgetüftelte SQL Abfrage vllt und die Ergebnisse exportieren möglichst noch ohne einen timeout zu kriegen

OfflineView user's profileSend private message    
Jens_K
Moderator
Moderator




Age: 37
Joined: 04 Sep 2007
Posts: 1707
Location: Nähe Bielefeld


germany.gif

PostPosted: 2012-02-12, 11:51    (No subject) Reply with quoteBack to top

Wenn der Hoster / Server diese Art des Datenabrufs aber nicht zulässt, sehe ich da eher Schwarz für Dich / Euch.

Einfach mal von einem Anwalt ein kurzes Schreiben aufsetzen lassen, in dem auch noch mit der Kostenkeule gedroht wird - Geschäftspartner bewegen sich dann meist auf wundersame Weise blitzschnell.

_________________
It's like math-camp all over again ... not ... that i've ever been to math-camp!
mein Blog

OfflineView user's profileSend private messageVisit poster's website    
crypto
knows MySQLDumper
knows MySQLDumper





Joined: 02 Feb 2012
Posts: 4


blank.gif

PostPosted: 2012-02-12, 21:44    (No subject) Reply with quoteBack to top

« Jens_K » wrote:
Wenn der Hoster / Server diese Art des Datenabrufs aber nicht zulässt, sehe ich da eher Schwarz für Dich / Euch.

Einfach mal von einem Anwalt ein kurzes Schreiben aufsetzen lassen, in dem auch noch mit der Kostenkeule gedroht wird - Geschäftspartner bewegen sich dann meist auf wundersame Weise blitzschnell.



Verlass dich drauf, das Zettelchen ist bereits im Anmarsch Wink

Manche sind einfach zu unreif für das IT-Gewerbe,
denken sie könnten aus einer besseren Druckertankstelle eine Softwareschmiede machen.

Wenn ich bedenke wie sie unseren Chef geködert haben und was letztlich dahinter steckt, das ist der Hammer.

Stellen einfach mal Zugänge ab, ungeachtet dessen was letztlich dabei auf dem Spiel steht.
Verursachen so Unkosten dessen Höhe den Wert des eigenen Betriebs mehrfach übersteigt und denken das lässt man denen mal einfach so durchgehen.

Vorher Autos mit Tönumngsfolien beklebt und Tage später hauen Sie raus
"E-commerce - Wir messen uns da mit den ganz Großen der Branche"


Naja

Nichts gegen Druckertankstellen und Mediengestalter, doch bitte jeder sollte an seinem gewerk arbeiten. Ich beklebe doch auch keine Schaufensterscheiben mit Werbung!

Ich habe mir anders geholfen, habe mit meinen Abfragen solange rumgetrickst bis ich es zwar umständlich und langwierig aber dennoch irgendwie geschafft hatte.

Vieleb Dank für eure Hilfe

Knut Wink

OfflineView user's profileSend private message    
Display posts from previous:      
Post new topicReply to topic


 Jump to:   


Show permissions
Similar topics
Topic Author Forum Replies Posted
No new posts Bestimmte Zeilen einer Tabelle Export... proterra Allgemeine Fragen zu MySQLDumper 2 2012-02-11, 11:29 View latest post
No new posts Perl-Backup sichert Tabelle nicht vol... Stefan Knoepfel Fehler / Probleme 20 2012-02-05, 21:34 View latest post
No new posts Upload dauert ewig und legt 180000 Da... Touareg35 Allgemeine Fragen zu MySQLDumper 2 2011-12-27, 22:47 View latest post
No new posts Datenbank-Tabelle kopieren? Suchen un... proterra Allgemeine Fragen zu MySQLDumper 1 2011-11-07, 12:28 View latest post
No new posts Tabelle: Felder addieren pauliopa Allgemeine Spielwiese 7 2011-08-04, 12:56 View latest post

 
CrackerTracker © 2004 - 2012 CBACK.de

Powered by Orion based on phpBB © 2001, 2002 phpBB Group
CBACK Orion Style based on FI Theme
All times are GMT + 2 Hours

phpBB SEO