Jump to content
  • 0

Réplication Distante Avec Rtrr (Ftp)


Tchup

Question

Bonjour à toutes et à tous,

 

J'essaye de synchroniser un dossier de partage local (sur QNAP TS879Pro 3.8.2) vers notre ancien NAS.

J'ai donc créé un profil RTRR FTP, de type Realtime, sélectionné le dossier local, le dossier distant, etc..

La première synchronisation a copiée environ 7000 fichiers sur 20000... avant de s'arrêter à cause de certains fichiers bloqués/verrouillés d'après ce que j'ai pu comprendre.

Depuis impossible de finir la synchronisation !

Lorsque je clic sur <Exécuter la tâche>, le job se lance, indique "Synchronisation en cours 17%" puis "Echec"

 

Une idée ?

Link to comment
Share on other sites

11 answers to this question

Recommended Posts

  • 0

Bonjour,

 

Essayez de relancer juste après un reboot du QNAP émetteur

Vérifiez l'état des disques et de l'espace disponible sur la cible ...

Que dit le log ?

 

Ce qui est surprenant c'est le 17% sauf si c'est sur la taille totale à transférer (7000 / 20000 c'est plus près de 30%) dans ce cas regardez si il ne s'agit pas de log ou de "très gros" fichiers qui bloqueraient

... les logs car en utilisation

... les "gros fichiers" qui seront à tester individuellement vers la même cible ... au cas ou un des 2 auraient un problème de taille limite (du a un ulimit Linux, un système de fichier limité (FAT32, etc.) et autres limites propres au serveur ou au client) cela peut se présenter avec des image ISO de DVD ou BR par exemple ...

 

Philippe.

Link to comment
Share on other sites

  • 0

Merci pour votre commentaire.

 

Le NAS cible (l'ancien) est réinitialisé et vidé spécialement pour gérer le "clônage" du nouveau NAS QNAP.

Faut savoir que l'ancien NAS stockés les même fichiers avant le changement (et transfert de fichier) de NAS...

 

17% correspond au moment de mon commentaire.... :icon_lol:  actuellement à 42%

 

Voici le log du job en cours (à 42%) :

 

2013/06/27 09:46:30 Job [Administratif-->Remote:clone_administratif] started.

2013/06/27 09:46:30 Synchronize files from a local folder to a remote folder.

2013/06/27 09:46:30 Server IP address: 10.0.0.7, port number 21.

2013/06/27 09:46:30 The SSL connection option is disabled.

2013/06/27 09:46:30 The number of folder pairs = 1.

2013/06/27 09:46:30 Pair1 = [Administratif, clone_administratif].

2013/06/27 09:46:30 Schedule type: Realtime.

2013/06/27 09:46:30 The deleting extra files option is disabled.

2013/06/27 09:46:30 The detail log is disabled.

2013/06/27 09:46:30 Maximum retry times: 3; Retry interval in seconds: 60; Connection timeout in seconds: 120; Current retry number: 0.

2013/06/27 09:46:35 Destination does not support changing file owner!

 

Je vois que "les détails des journaux sont désactivés"... comment les activer ?

Link to comment
Share on other sites

  • 0

Bonjour,

 

Le log ... que vous listez c'est lequel ? ... celui de FTP ou un de RTRR ... n'ayant pas eu ce type de problème ... je n'ai pas cherché et (désolé) mais pas le temps tout de suite ...

 

Personnellement, je ne fais des RTRR que de fichier tar compressé ... dans le but de bien garder les droits, propriétaires (sinon UID peut ne pas exister, ou être différente), et de ne pas envoyer de fichier alors qu'il n'y a qu'un lien ...

... mais c'est aussi par ce que je suis un peu "fada" (ou fana) du shell script :razz: .

 

Philippe.

Link to comment
Share on other sites

  • 0

C'est le log du FTP car le RTRR n'est pas compatible avec le NAS cible.

 

Donc voila... le profil est de nouveau en "Echec (Vérifiez les détails à partir du journal.)"

 

 

2013/06/27    12:06:56    # ERROR: Can't create the "clone_administratif/a/b/c/d/e/f/g/g/~$fichier.doc" file! (-127)
2013/06/27    12:06:57    The synchronization stopped with errors.
2013/06/27    12:06:57    Sync statistic: Total number of the folders: 1858. Total number of the files: 10719. Total updated size: 4.68 GB. Average updating speed: 582.62 (KB/sec). Time elapsed: 2 hours 20 minutes 22 seconds
2013/06/27    12:06:58    Unexpected network error has been encountered, the networking doesn't seem very stable! (-127) Begin the 1st retry.
2013/06/27    12:08:02    Synchronize files from a local folder to a remote folder.
2013/06/27    12:08:02    Server IP address: 10.0.0.7, port number 21.
2013/06/27    12:08:02    The SSL connection option is disabled.
2013/06/27    12:08:02    The number of folder pairs = 1.
2013/06/27    12:08:02    Pair1 = [Administratif, clone_administratif].
2013/06/27    12:08:02    Schedule type: Realtime.
2013/06/27    12:08:02    The deleting extra files option is disabled.
2013/06/27    12:08:02    The detail log is disabled.
2013/06/27    12:08:02    Maximum retry times: 3; Retry interval in seconds: 60; Connection timeout in seconds: 120; Current retry number: 1.
2013/06/27    12:08:06    Destination does not support changing file owner!
2013/06/27    12:08:06    Enter the real-time syncing phase.
2013/06/27    12:08:55    Bad port number to an unknown service!

 

 

Il semblerait que les fichiers ~$* ne sont pas les bienvenus... mais cela n'explique pas pourquoi les fichiers "normaux" ne se synchronisent pas. :-/

 

Toi father_mande qui est un pro du script shell... je te propose une colle :

j'ai essayé de retirer (avant de les supprimer définitivement) tous les fichiers commençant par ~$ (et y en a beaucoup) du dossier source avec :

find /share/Administratif/ -name "~$*" -type f -exec mv {} /root/files_corrupted/ \;

mais ça ne marche pas... la commande find ne semble pas accepter l'argument -exec.

de plus, j'aurais garder le chemin de chaque fichier... au cas où :-P

 

Help...

Link to comment
Share on other sites

  • 0

Bonjour,

 

Si c'est le find de base ... il ne supporte PAS toutes les fonctions c'est une applet de busybox

 find --help
BusyBox v1.01 (2013.06.23-18:42+0000) multi-call binary

Usage: find [PATH...] [EXPRESSION]

Search for files in a directory hierarchy.  The default PATH is
the current directory; default EXPRESSION is '-print'

EXPRESSION may consist of:
        -follow         Dereference symbolic links.
        -name PATTERN   File name (leading directories removed) matches PATTERN.
        -print          Print (default and assumed).

        -type X         Filetype matches X (where X is one of: f,d,l,b,c,...)
        -perm PERMS     Permissions match any of (+NNN); all of (-NNN);
                        or exactly (NNN)
        -mtime TIME     Modified time is greater than (+N); less than (-N);
                        or exactly (N) days

[~] #

PAR CONTRE le find de Optware / Ipkg (QPKG) lui OUI : (installation par ipkg install findutils)

[~] # /opt/bin/find --help
Usage: /opt/bin/find [path...] [expression]

default path is the current directory; default expression is -print
expression may consist of: operators, options, tests, and actions:

operators (decreasing precedence; -and is implicit where no others are given):
      ( EXPR )   ! EXPR   -not EXPR   EXPR1 -a EXPR2   EXPR1 -and EXPR2
      EXPR1 -o EXPR2   EXPR1 -or EXPR2   EXPR1 , EXPR2

positional options (always true): -daystart -follow -regextype

normal options (always true, specified before other expressions):
      -depth --help -maxdepth LEVELS -mindepth LEVELS -mount -noleaf
      --version -xdev -ignore_readdir_race -noignore_readdir_race

tests (N can be +N or -N or N): -amin N -anewer FILE -atime N -cmin N
      -cnewer FILE -ctime N -empty -false -fstype TYPE -gid N -group NAME
      -ilname PATTERN -iname PATTERN -inum N -iwholename PATTERN -iregex PATTERN
      -links N -lname PATTERN -mmin N -mtime N -name PATTERN -newer FILE
      -nouser -nogroup -path PATTERN -perm [+-]MODE -regex PATTERN
      -wholename PATTERN -size N[bcwkMG] -true -type [bcdpflsD] -uid N
      -used N -user NAME -xtype [bcdpfls]

actions: -delete -print0 -printf FORMAT -fprintf FILE FORMAT -print
      -fprint0 FILE -fprint FILE -ls -fls FILE -prune -quit
      -exec COMMAND ; -exec COMMAND {} + -ok COMMAND ;
      -execdir COMMAND ; -execdir COMMAND {} + -okdir COMMAND ;

Report (and track progress on fixing) bugs via the findutils bug-reporting
page at http://savannah.gnu.org/ or, if you have no web access, by sending
email to <bug-findutils@gnu.org>.
[~] #

Philippe.

NB notez que c'est pareil pour un tas d'outils de base ... avec les *utils d'ipkg (coreutils, findutils, etc.) ... on a des versions GNU complètes)

Link to comment
Share on other sites

  • 0

oulala... je ne connait pas (encore) du tout Busybox / Optware / Ipkg / QPKG & co...

 

plus tard ;-)

 

par contre en attendant, j'ai trouvé une commande qui fonctionne :

find /share/Administratif/ -name "~\$*" -type f | sed 's/.*/"&"/' | xargs rm -f

maintenant je vais retester la synchro...

 

:roll:

Link to comment
Share on other sites

  • 0

Bonjour,

 

Dans le menu "App. Center" ex. "QPKG Center" sont listés des pacages pour les QNAP ... ces pacages sont :

officiels : faisant partie de l'offre, maintenu par QNAP et installé parfois par défaut

Communautaires : ces QPKG bien que "fonctionnel et à jour" ne sont pas maintenus par QNAP mais par un membre de la communauté, ils s'installent pour les plus simples ... comme les officiels ou pour certain "manuellement" ...

Bêta : ce sont des QPKG QNAP pas encore considéré comme stabilisé ou pour essai avant officialisation ...

 

Optware est un QPKG officiel qui installe un simple programme : ipkg et un "serveur de package ipk" installable sur QNAP ... ce sont principalement des utilitaires te outils de programmation ... tous n'ont pas un "sens" à être installé ... mais certain OUI

Entre autre vous trouverez TOUS les utilitaires complets parfois nécessaire ... car QNAP utilise "busybox" c'est un programme UNIQUE qui contient des applets (équivalent aux commandes traditionnelles) mais généralement à fonctionnalités restreinte ... comme find par exemple ... busybox est très utilisé dans les système embarqués ou on ne peut disposer de Giga de disque pour tout mettre ...

 

Vous avez la liste des QPKG dans App. Center

Les Bêta et communautaires qui ont droit par QNAP a un forum dédié sont dans le forum des QPKG à Taïwan, en Anglais

Quelques QPKG sont "en vrac" car n'appartenant pas à un catégorie particulière ...

http://forum.qnap.com/viewforum.php?f=121

officiels : http://forum.qnap.com/viewforum.php?f=134

communautaire et bêta : http://forum.qnap.com/viewforum.php?f=132 (regardez aussi "en bas" après les forum dédiés il y a plusieurs autres ...

 

Philippe.

Link to comment
Share on other sites

  • 0

merci pour tes précieuses indications ! :razz:

 

après avoir supprimer tous les fichiers ~$* la synchronisation est arrivée à terme !!!! ça commence à prendre forme :roll:

 

sauf que l'option "Supprimer les fichiers supplémentaires" dans l'onglet stratégie ne semble pas faire effet...

> les fichiers du dossier cible ne sont pas supprimés.

 

Actuellement, le profil indique : Réessayer: 97 Compte à rebours: 44 sans aucune erreur dans les logs

 

Une idée ?

Link to comment
Share on other sites

  • 0

Bonjour,

 

Rsync a eu des soucis en 3.8 ... problème d’interaction kernel / outils ...

 

Ouvrez une demande de support ... car il semble qu'en QTS 4.0 ... il y ai eu des améliorations sur ce point ...

 

Pour votre problème de fichier ~ vous pouvez essayer de ne pas en tenir compte via l'option "RTRR / filtres / exclure / autre"

Mais, par contre, je n'ai pas vu d'option pour ignorer les erreur ...

 

Philippe.

Link to comment
Share on other sites

  • 0

Bonjour,

 

Passer en QTS 4.0 n'est pas si "chaud" que cela ... il faut à minima ... respecter les règles (plusieurs fois énoncés ici) ... cela ne protége pas de tout ... mais cela limite les risques ...

 

QTS 4 et la base de toutes les évolutions futures de QNAP Y COMPRIS pour les mises à jour de logiciels inclus (Samba ... par ex.)

QTS 4 va utiliser (y compris sur Arm) un noyau "à jour" 3.4.6 ... qui améne de fortes amélioration globale de la gestion des processeurs Arm et S.O.C. ... il y a eu pas mal de littérature (articles je journaux) là dessus ... y compris une "gueulante" de Linus Torvalds (le papa de Linux) ... qui voulait une meilleure prise en charge spécifique ...

 

Si vous avez fait un shell qui fait le ménage juste avant de lancer le Rsync ... cela suffit ... c'était juste pour vous rappeler l'existence de l'option ... parfois dans le "feu de l'action" ... on ne voit pas tout (moi le premier :icon_lol: )

 

Philippe.

NB plus le GAP est important entre une version et une mise à jour ... plus les risques augmentent ...

Link to comment
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Answer this question...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Loading...
×
×
  • Create New...