Für meine Datensicherung nutze ich „tar„, eines der meist genutzten Programme zum erstellen von Archiven. Dank der weiten Verbreitung ist das Tool zumeist mit den meisten Distributionen vorinstalliert.Per Default ist es aber recht langsam und nutzt nicht wirklich die Leistung des Systems. Grund hierfür ist die fehlende Multithreading Unterstützung.
Im konkreten möchte ich einen Samba Share innerhalb einer KVM-VM sichern. In diesem sind alle möglichen Arten von Dateien (Programme, Datenbanken, Scripte, PDFs, TXTs, Videos, …) vorhanden.
Die vorhandenen 22 GB Daten verteilen sich auf rund 90.000 Dateien. Für die Erstellung des Archivs stehen innerhalb der VM 1GB RAM sowie 2 virtuelle CPU Cores zur Verfügung vom KVM Hostsystem (Intel Xeon CPU E3-1240L v5 @ 2.10GHz, 16 GB DDR4 ECC 2133MHz, RAID1 über WD20EFRX-68EUZN0) bereit.
Top 15 Dateitypen zur Veranschaulichung:
root@catelyn:/storage_data/folder# find . -type f | sed -n 's/..*\.//p' | sort | uniq -c | sort -nr | head -n 15
27511 jpg
11864 php
11345 png
10867 html
4623 gif
4472 js
2321 pdf
1697 css
1382 bmp
1337 ini
1307 JPG
1278 xml
1258 txt
855 docx
771 htmDie Tools können alle mittels des jeweiligen Paketmanagers (yum, apt etc.) installiert werden.
| Typ | Befehl | Zeit | Größe in MB | Kompression |
| null | Reine Ordner/Dateigröße | 0 | 21949 | 0 |
| tar | tar cf backup_plain.tar ../folder | 7m22.590s | 21736 | 0,97% |
| tar compress | tar czf backup_compress.tar.gz ../folder/ | 16m8.776s | 18387 | 16,23% |
| pigz | tar -I pigz -cf backup_pigz.tar.gz ../folder/ | 9m43.084s | 18392 | 16,21% |
| pbzip2 | tar -I pbzip2 -cf backup_pbzip2.tar.bz2 ../folder/ | 28m33.028s | 17898 | 18,46% |
| pxz | tar -I pxz -cf backup_pxz.tar.xz ../folder/ | 82m30.024s | 17325 | 21,07% |
| zip | zip -r backup ../folder/* | 17m16.504s | 18464 | 15,88% |
Meine persönliche Wahl fällt auf pigz, da hier Kompression und Rechenzeit in einem guten Verhältnis stehen.
Wenn reine Dokumente gesichert werden, würde ich den Test nochmals wiederholen. Der durchgeführte Test bezieht sich auf viele verschiedene Dateitypen welche teilweise bereits komprimiert waren.