Rund um Rsync: Tipps - Tricks - Frust

Sojan

Dann zitiere ich mal Vicco von Bülow alias Loriot:

"Ein Leben ohne ~~Mops~~ SSH ist möglich, aber sinnlos."

Currock

Per ssh auf einen anderen Rechner einloggen einrichten geht doch mit einer Anweisung:

Code

ssh-copy-id "zielrechner"

Da wird einmal nach dem Passwort des Zielrechners gefragt, das wars dann auch schon.

Oder übersehe ich da etwas?

harihegen

Zitat von Currock

Oder übersehe ich da etwas?

Bei OMV geht das nicht.

Dann muss doch der Benutzer, das ist zB bei mir mal ein anderer als mit dem ich mich anmelde, auch angelegt sein mit dem man sich anmelden will, oder?

Sojan

Zitat von harihegen

Das war der Plan, weil es riesige Dateien mit 100GB gibt und wenn da die Prüfsumme gebildet werden soll und das lange dauern könnte dann soll er das doch bitte sein lassen, diese Fälle würde ich lieber manuell kopieren wollen.
Ob das gut ist weiß ich noch nicht, eine weitere, neben vielen Baustellen.

Sind die großen Dateien vom gleichen Dateityp? Dann könntest du sie mit exclude auch ausschließen.

Beispiel Videodateien:

Code

rsync -av --exclude=*.mpeg --exclude=*.mov  /Quelle  /Ziel

Oder die maximale Größe festlegen (hier 500 MB)

Code

rsync -av --max-size=500m  /Quelle  /Ziel

Die Option --ignore-existing würde mir doch etwas Bauchschmerzen bereiten.

harihegen

Zitat von Sojan
Sind die großen Dateien vom gleichen Dateityp? Dann könntest du sie mit exclude auch ausschließen.
Beispiel Videodateien:
Code
rsync -av --exclude=*.mpeg --exclude=*.mov  /Quelle  /Ziel
Die Option --ignore-existing würde mir doch etwas Bauchschmerzen bereiten.

Stimmt, du hast Recht, das wäre einfacher. Ich habe eine exclude Liste angelegt, da kann das so mit rein, werde ich mal austesten.

Sojan

Musste festellen, dass es die Option --verbose (-v) zwar noch gibt (und auch funktioniert), es mittlerweile aber eine erweiterte Funktion gibt: --info. Damit lässt sich die Ausgabe am Bildschirm und der Logdatei sehr fein einstellen.

Code

-$ rsync --info=help
Use OPT or OPT1 for level 1 output, OPT2 for level 2, etc.; OPT0 silences.

BACKUP     Mention files backed up
COPY       Mention files copied locally on the receiving side
DEL        Mention deletions on the receiving side
FLIST      Mention file-list receiving/sending (levels 1-2)
MISC       Mention miscellaneous information (levels 1-2)
MOUNT      Mention mounts that were found or skipped
NAME       Mention 1) updated file/dir names, 2) unchanged names
NONREG     Mention skipped non-regular files (default 1, 0 disables)
PROGRESS   Mention 1) per-file progress or 2) total transfer progress
REMOVE     Mention files removed on the sending side
SKIP       Mention files skipped due to transfer overrides (levels 1-2)
STATS      Mention statistics at end of run (levels 1-3)
SYMSAFE    Mention symlinks that are unsafe

ALL        Set all --info options (e.g. all4)
NONE       Silence all --info options (same as all0)
HELP       Output this help message

Options added at each level of verbosity:
0) NONREG
1) COPY,DEL,FLIST,MISC,NAME,STATS,SYMSAFE
2) BACKUP,MISC2,MOUNT,NAME2,REMOVE,SKIP

Alles anzeigen

Der Befehl sieht dann in etwas so aus. Je höher die Nummer -> mehr Informationen. STATS2 zeigt also mehr als STATS1.

Code

rsync -ah --info=COPY2,DEL2,NAME1,BACKUP2,REMOVE2,PROGRESS,SKIP2,STATS2 /Quelle /Ziel

Das bläht den Befehl natürlich sehr auf und lässt ihn unübersichtlich werden. Also packen wir das Ganze in eine Variable, die dann für alle nachfolgenden Rsync-Befehle gilt.

Bash

#!/bin/bash
info="COPY2,DEL2,NAME1,BACKUP2,REMOVE2,PROGRESS,SKIP2,STATS1"

rsync -ah --info=$info /Quelle /Ziel

Meistens läuft das Backup unbeaufsichtigt vor sich hin. Aber was ist in dieser Zeit tatsächlich passiert?

Wir brauchen noch eine Logdatei. Dafür gibt es die Option --log-file

Code

rsync -ah --info=$info --log-file=rsync.log  /Quelle /Ziel

Allerdings würde diese Logdatei bei jedem Durchlauf überschrieben, also noch das Systemdatum + Uhrzeit zum Dateinamen automatisch hinzufügen.

Bash

#!/bin/bash
 
#Systemdatum
datum=`date +"%Y-%m-%d--%H-%M-%S"`

# Pfad zur Logdatei + Dateiname inkl. Datum
logfile="/home/DEIN-NUTZER/$datum--rsync.log"

# Optionen
info="COPY2,DEL2,NAME1,BACKUP2,REMOVE2,PROGRESS,SKIP2,STATS1"

# Überschrift des Logs
echo "Rsync-Log vom $datum" > $logfile

# Start des Backups

echo "#####  Filme" >> $logfile
rsync -ah --info=$info --log-file=$logfile  ~/Filme /extPlatte/Filme

echo "#####  Serien" >> $logfile
rsync -ah --info=$info --log-file=$logfile  ~/Serien /extPlatte/Serien

echo "#####  Musik" >> $logfile
rsync -ah --info=$info --log-file=$logfile  ~/Musik /extPlatte/Musik

exit 0

Alles anzeigen

Die Logdatei sieht dann so aus. Ist natürlich davon abhängig, welche Optionen unter --info angegeben wurden.

Code

Rsync Log vom 2022-04-23--10-42-48
#####  MUSIK
2022/04/23 10:42:49 [9663] receiving file list
2022/04/23 10:42:49 [9665] sent 4,57K bytes  received 2,65M bytes  1,77M bytes/sec
2022/04/23 10:42:49 [9665] total size is 1,20T  speedup is 452.623,08
#####  FILME
2022/04/23 10:42:51 [9675] receiving file list
2022/04/23 10:42:51 [9677] .d..t...... Der Staatsfeind Nr. 1/
2022/04/23 10:46:14 [9677] >f.st...... Der Staatsfeind Nr. 1/Der Staatsfeind Nr. 1.mp4
2022/04/23 10:46:14 [9677] >f+++++++++ Der Staatsfeind Nr. 1/Der Staatsfeind Nr. 1.nfo
2022/04/23 10:52:07 [9677] >f+++++++++ Der Unsichtbare/Der Unsichtbare.mp4
2022/04/23 10:52:07 [9677] >f+++++++++ Der Unsichtbare/Der Unsichtbare.nfo
2022/04/23 10:57:13 [9677] >f+++++++++ Der unglaubliche Hulk/Der unglaubliche Hulk.mp4
2022/04/23 10:57:13 [9677] >f+++++++++ Der unglaubliche Hulk/Der unglaubliche Hulk.nfo
2022/04/23 10:57:40 [9677] >f+++++++++ Der unsichtbare Gast/Der unsichtbare Gast.mp4
2022/04/23 10:57:40 [9677] >f+++++++++ Der unsichtbare Gast/Der unsichtbare Gast.nfo

Alles anzeigen

Sojan

Wenn sich die Familie beschwert, dass durch stundenlanges Backup die Geschwindigkeit im Netzwerk leidet, dem kann geholfen werden.

Durch die Option --bwlimit lässt sich die maximale Geschwindigkeit festlegen. In diesem Beispiel sind es 50 MB/s.

Code

rsync -ahv --bwlimit=50m  /Quelle /Ziel

Rund um Rsync: Tipps - Tricks - Frust

Sojan 23. April 2022 um 10:56

Jetzt mitmachen!

6 Benutzer haben hier geschrieben

Benutzer online in diesem Thema