Synchronisation De Très Gros Fichiers

[Nico Angenon]

Bonjour,

 

J'ai 2 QNAP ts 469l-4t et je suis a la recherche de retours d'expériences sur de la synchro à distances de tres gros fichiers.

 

Mon client a une base de données avec plusieurs fichiers de 5 à 100 Go (oui, Giga...) pour un total de 180 Go...

La sauvegarde locale avec neback replicator se passe bien

Je fais une sauvegarde la lundi sur un rep, une le mardi, une le mercredi, une le jeudi, et enfin une le vendredi...

 

Le réseau local étant en Gb,pas de soucis... ça passe en 1h / 1h30 de sauvegarde totale

 

Il souhaitait avoir une sauvegarde a distance: j'ai synchronisé une première fois les repertoires en local ( ça a pris la journée) avec rsync.

J'ai ensuite emmené le 2ieme NAS a l’extérieur...et tenté une synchro sur 1 des journées... et la, catastrophe, il m'annonce plusieurs centaines d'heures de synchro (sur une ADSL)

Je précise qu'à peine 100 Mo (Mega) sont modifiés dans ces fichiers chaque jours... J'ai donc fait plusieurs tests :

 

- même en local, on a des temps de synchro de fichiers de 4 heures via rsync... plus qu'une nouvelle sauvegarde.

- dès que j'ajoute du lag pour simuler une liaison wan ( en mettant une machine entre les 2 NAS avec une commande tc sous linux...) ça devient ingérable... J'ai simulé une SDSL 8Mbps/ 20 Ms de ping et il m'annonce 160 heures de synchro !

 

- Quelqu'un a-t-il un retours d'expérience la dessus : sont-ce les checksum MD5 a recalculer qui sont trop long pour le CPU du 469l?

- Quelqu'un a-t-il déja tenté l'expérience avec des protocolles bittorrent Sync ?

- Renvoyer le fichier complet n'est pas envisageable, on est déjà a plus de 50 Heures sur un lien 8 MBps dédié...

 

Si vous voyez une solution, je suis preneur...

 

Nico

[father_mande]

Bonjour,

 

Il n'y a pas beaucoup de solutions :

Les lignes ADSL ont des débits asynchrones ... ce qui ralenti grandement les échanges

Des bases de données peuvent avoir peu de modifications mais répartis sur bien des blocs ... donc rsync ... même si il arrive (à voir avec la structure des fichiers) à gérer les différentiels au niveau blocs ... se retrouve avec beaucoup plus de blocs que la taille réellement changée ... 1 caractère dans 4 blocs différents ... fait 4 caractères de modifiés mais 4 blocs (de 4K ?)  sur disque ...

 

Les Rsync et autres ... ne sont généralement pas adaptés aux bases de données ..

 

Soit votre base de donnée à un outil différentiel (dump différentiel) est là il faut envoyer le différentiel et l'appliquer à la base distante ...

Soit il y a un mode de log des échanges ... qui peut (comme sur une reprise sur incident) être "joué" sur une version précédente sauvegardé ...

cela implique que le système distant dispose aussi du moteur de base de donnée dans la même version ... mais là le transfert devient raisonnable ... presque tous les moteurs de base de donnée ont une de ces fonctions appelée diversement ...

 

Enfin, il reste la bonne veille solution du backup sur support externe ... avec envoi ou transport ... par des moyens "anciens" ... mais qui peuvent être suffisant pour une remise en route rapide ... je connais des "grands" groupe qui font cela chaque soir pour redistribuer dans la nuit (matin) les mises à jour ... mais bon ... il faut mesurer les besoins réels et les coûts induit ... 

 

Le p2p ne fera pas de différentiel fin ... et ne changera pas les capacités de votre ligne ...  de plus BittorentSync est propriétaire ... je crois ... et pas obligatoirement disponible sur QNAP ???? (T.B.C.)

 

Philippe.

[Nico Angenon]

Bittorent sync est proposé dans les packages, mais je n'ai pas voulu l'installer... bon, on va voir ce que l'on peut faire avec du différenciel au niveau du serveur de base....

 

Merci pour ton aide.

 

Nico