Discussion – 

0

Discussion – 

0

Copier des milliers de fichiers ou une archive ZIP : laquelle est vraiment la plus rapide ?

Dans de nombreux projets IT (migration serveur, PRA, sauvegarde initiale, reprise après incident), une question revient souvent :

« Pourquoi ma copie réseau de 1 To met des heures, voire des jours, alors que le réseau est rapide ? »

La réponse tient rarement au débit brut, mais à la nature des fichiers transférés.

Chez DYB, nous rencontrons ce cas très régulièrement, notamment sur des environnements contenant des centaines de milliers de petits fichiers (PDF, documents comptables, images, exports applicatifs).


Le vrai problème : la copie “fichier par fichier”

Quand vous utilisez :

  • un explorateur de fichiers
  • SyncBack Pro
  • Robocopy
  • rsync
  • ou une copie SMB/NFS classique

…chaque fichier est traité individuellement.

Pour chaque fichier, le système doit :

  1. Ouvrir le fichier source
  2. Lire les métadonnées (taille, dates, permissions)
  3. Établir un échange réseau
  4. Créer le fichier côté destination
  5. Écrire les données
  6. Fermer le fichier

👉 Sur un fichier de 10 Mo, c’est insignifiant.
👉 Sur 500 000 fichiers de 20 Ko, c’est catastrophique.

Résultat :

  • le réseau n’est jamais saturé
  • la latence devient le facteur limitant
  • le débit réel chute parfois à quelques Mo/s, voire moins

Pourquoi une archive (ZIP / TAR) va beaucoup plus vite

Quand on procède ainsi :

  1. Création d’une archive sur le serveur source
  2. Transfert d’un seul fichier volumineux
  3. Décompression côté destination

On transforme :

  • des centaines de milliers d’opérations réseau
  • en un flux continu unique

Les gains sont immédiats :

  • 🔹 Beaucoup moins d’allers-retours réseau
  • 🔹 Débit proche du maximum du lien (1 Gb/s, 10 Gb/s, etc.)
  • 🔹 I/O disque séquentielle (beaucoup plus efficace)
  • 🔹 Moins d’impact antivirus / ACL / permissions

Même sans compression réelle (TAR simple), le gain est souvent x3 à x10.


Comparaison concrète des méthodes

MéthodeAvantagesInconvénientsCas d’usage
Copie SMB / ExplorateurSimpleTrès lent avec petits fichiersPetits volumes
SyncBack ProVérification, synchroLent pour un premier “seed” massifIncrémental
RobocopyRobuste, multi-threadToujours pénalisé par petits fichiersAdmin Windows
rsyncTrès efficace en deltaLent au premier transfertLinux / Unix
ZIPPortableCompression CPU parfois lenteUsage ponctuel
TAR (sans compression)Ultra rapidePas de gain de tailleMigration brute
TAR + zstdExcellent compromisCPU modéréBackup / transfert

Pourquoi Robocopy ou rsync ne règlent pas tout

Ces outils sont excellents, mais ils ne changent pas une réalité fondamentale :

Le réseau et les systèmes de fichiers n’aiment pas les millions de petites opérations.

Même avec :

  • du multi-thread
  • des options agressives
  • un NAS performant

…le coût des métadonnées, des permissions et des ouvertures de fichiers reste dominant.


La bonne stratégie professionnelle

Chez DYB, nous appliquons systématiquement cette approche :

1️⃣ Transfert initial

  • Création d’une archive (TAR ou ZIP)
  • Transfert du fichier unique
  • Décompression côté destination

2️⃣ Synchronisation continue

  • SyncBack / Robocopy / rsync
  • uniquement pour les changements incrémentaux

👉 Résultat :

  • temps divisé par plusieurs facteurs
  • réseau utilisé efficacement
  • risques réduits pendant les migrations

Conclusion

Si votre copie réseau “rame” alors que votre lien est rapide, le problème n’est pas le débit.
C’est le nombre de fichiers.

👉 Quand les volumes sont importants et fragmentés, regrouper avant de transférer est souvent la solution la plus efficace.

Chez DYB, nous accompagnons nos clients sur :

  • migrations serveurs
  • plans de reprise d’activité
  • sauvegardes massives
  • optimisations réseau et stockage

📩 Besoin d’un diagnostic ou d’une migration propre ?
Nos équipes peuvent analyser votre volumétrie et choisir la méthode la plus rapide et la plus sûre.

Arthur Perrot

Vous allez surement aimer :