PerlSicherung von großen DBs (>1,2GB) und BLOB MSD1.24.4

**uses MSD regulary** Joined: 21 Jan 2011 Posts: 15

PHP:
Sicherung der DB mit 1,25GB über PHP Script funktioniert.

Perl-Sicherung:
Allerdings wird anscheinend im Perl-Skript der BLOB niht richtig gesichert, da das script die richtige Anzahl an Datensätzen ausgibt, welche gesichert wurden - die Dateigröße aber nicht stimmt - es wird bei multipart nur eine Datei von 792B angelegt......
hat jemand eine Idee?

PHP-LOG
21.03.2011 20:26:28 Start Multipart-Dump 'd0105c30_2011_03_21_20_26_part_1'
21.03.2011 20:26:43 Continue Multipart-Dump with File 2 (last file was 199262256 Bytes)
21.03.2011 20:26:56 Continue Multipart-Dump with File 3 (last file was 200962782 Bytes)
21.03.2011 20:27:08 Continue Multipart-Dump with File 4 (last file was 200994531 Bytes)
21.03.2011 20:27:51 Continue Multipart-Dump with File 5 (last file was 200273081 Bytes)
21.03.2011 20:28:04 Continue Multipart-Dump with File 6 (last file was 200133962 Bytes)
21.03.2011 20:28:17 Continue Multipart-Dump with File 7 (last file was 200456299 Bytes)
21.03.2011 20:28:27 Dump 'd0105c30_2011_03_21_20_26_part_7.sql.gz' finished in 1 Minute 59 Sekunden.

-> PER PERL wird nur unvollständig gesichert

PERL
LOG:
21.03.2011 20:30:41 Configuration 'mysqldumper.conf.php' loaded successfully from Querystring.
21.03.2011 20:30:41 Compression Library loaded successfully...
21.03.2011 20:30:41 FTP Library loaded successfully...
21.03.2011 20:30:41 FTP-SSL Library loading failed - FTP-SSL deactivated ...
21.03.2011 20:30:41 Mail Library loaded successfully...
21.03.2011 20:30:41 Starting backup using Perlscript version 1.24.4 (using perl v5.10.1)
21.03.2011 20:30:41 Characterset of connection and backup file set to utf8.
21.03.2011 20:30:41 Searching for tables inside database `d0105c30`.
21.03.2011 20:30:41 Optimizing tables:
21.03.2011 20:30:41 Table 1 `cloud` optimized successfully.
21.03.2011 20:30:41 1 tables have been optimized
21.03.2011 20:30:41 Found 1 tables with 1094 records.
21.03.2011 20:30:41 Starting to dump data into multipart-file `d0105c30_2011_03_21_20_30_part_1.sql.gz`
21.03.2011 20:30:41 Dumping table `cloud` (Type MyISAM):
21.03.2011 20:30:42 1094 inserted records (size of backupfile: 2.25 KB)
21.03.2011 20:30:42
Finished backup of database `d0105c30`.
21.03.2011 20:30:42 Sending E-Mail ...
21.03.2011 20:30:42 E-Mail sent successfully.
21.03.2011 20:30:42 Recipient/s: XXXXXXXXXX
21.03.2011 20:30:42
Everythings is done: closing script 21.03.2011 20:30:42
21.03.2011 20:30:42 total time used: 1 sec.
21.03.2011 20:30:42 #EOS (End of script)

**uses MSD regulary** Joined: 21 Jan 2011 Posts: 15

Achja das BLOB ist ein jpg......

Nach der Tabellen definition hört das File so auf:
--
-- Dumping data for table `cloud`
--

/*!40000 ALTER TABLE `cloud` DISABLE KEYS */;
/*!40000 ALTER TABLE `cloud` ENABLE KEYS */;

SET FOREIGN_KEY_CHECKS=1;
-- EOB

Keine Daten!

Posted: 2011-03-21, 22:36 (No subject)

Hm, das sieht so aus als wenn das Abholen der Blob-Daten das Speichervolumen von MySQL sprengt. Aber anstatt eine Fehlermeldung zurück zu geben, scheint der Server das einfach zu übergehen und so zu tun, als wäre nichts gewesen.
Ändere die Datei config/mysqldumper.conf.php mal ab und setze die Anzahl der abzuholenenden Datensätze herunter.

Ca in Zeile 72 findest Du

**uses MSD regulary** Joined: 21 Jan 2011 Posts: 15

Sodele - also der Dump ist wahnsinnig schnell. ich selbst bei $perlspeed=500 bleibts hängen - nur die Files bekommen nun Daten eingetragen. Also habe ich die Multipart Größe kleiner gemacht - das tut irgendwie auch nicht er bleibt dann im nächsten File hängen....

Es läuft auch bei $perlspeed = 1 nicht durch. ca. 100MB ist die Grenze - auch bei zwei Files (max. File-Größe 50mb in config gesetzt) , die geschrieben wurden.

Posted: 2011-03-21, 23:16 (No subject)

Immerhin: wir haben schon einmal eine Veränderung erreicht. Wink

Aber dennoch ist das Verhalten recht seltsam. Du könntest Deinen Hoster mal bitten in das Server-Error-Log zu schauen, um dem Grund auf die Spur zu kommen.

Einen anderen Ansatzpunkt hätte ich noch. In der Datei crondump.pl findets Du die Zeile (um Zeile 72 rum)

**uses MSD regulary** Joined: 21 Jan 2011 Posts: 15

habe mit dem Memory Limit gespielt noch nicht so der Erfolg bei ungefährer gesamt File Größe von 90MB scheint schluss zu sein.
(auch mit Sleeps in der Datensatzschreibe routine gab es keinen Erfolg.

Als ich aber gestern die MBs im ca. 1-2 Sekundentakt geschrieben haben gab es keinerlei Probleme. Allerdings kamen die Daten übers Netz von nem anderen Server - könnte also ein I/O-Quota Problem sein.

Obwohl ich von all-inkl.com das noch nicht gehört habe.