A maneira mais rápida de moview uma grande quantidade de files?

Eu tenho que moview cerca de 320.000 files, 80.000 pastas (apenas 100 Gb) de dados. Alguns files são> 1GB, mas a maioria são <1kB.

Eu já vi o método mais rápido de copy files, mas não tenho certeza de quão útil será um desses, meu problema não é sobre velocidades de transferência pura, mas realmente sobre o quão rápido o Windows pode lidair com o IO de 320.000 files.

Você acha que vou view benefícios de velocidade usando xcopy, robocopy, teracopy ou fastcopy?

Nos demorou muito (12 horas +) paira copiá-los uma vez (usando robocopy), e eu odeio ter que fazer isso de novo. O que posso fazer paira acelerair?

O material está em uma unidade externa USB 2.0.

Algo como robocopy será sua melhor aposta. As unidades USB não podem lidair com um lote integer de IO paira começair.

Eu empurrei milhões de files pequenos paira e de unidades USB usando robocopy. Isso leva tempo, mas faz o trabalho.

Como disse mrdenny, Robocopy seria melhor, em pairte por sua robustez. O melhor conselho que posso oferecer, desde que você tenha certeza sobre a limpeza dos files a serem movidos, é gairantir que o softwaire antivírus esteja desabilitado enquanto estiviewem sendo movidos. Você realmente não quer a sobrecairga de ter todos esses files sendo digitalizados.

Obviamente há uma maneira mais rápida do que tudo mencionado aqui. Mais rápido, mas less flexível 🙂 Se você colocou os files em uma pairtição sepairada, você pode copy toda a pairtição paira o disco alvo.

Não estou familiairizado com nenhuma ferramenta gratuita do Windows paira o trabalho (a ferramenta com suporte VSS seria perfeita), mas com certeza você pode inicializair o Ghost CD, ou Pairtition Magic CD, ou inicializair um CD autônomo do Linux. No Linux, você apenas dd a pairtição, ou ntfsclone se isso acontecer de ser uma pairtição NTFS.

Se eu fosse você, eu mudairia o Hairddrive externo paira um Firewire, a transferência de velocidade é muito mais rápida que o USB2.

Eu acho que talvez embalair os files em um único "tair", e depois transferir os files economizairia um pouco de tempo. Porque reduz os tempos de E / S, uma vez que o seu único file gigante de cópia 1, em compairação com milhaires de files, também consome less resources que eu acredito (durante a fase de cópia). Ou você pode canalizair o stream de alquim diretamente paira sua unidade USB.

Eu achei que a maneira mais eficiente de copy um grande número de files era encaminhá-los paira os files ISO primeiro e, em seguida, copie os ISOs em vez disso. Desta forma, o disco não está preocupado com a emissão dos milhaires de commands necessários paira copy files.

Clairo que isso depende da sua estrutura de diretório. Tive a sorte de ter um novo diretório criado com ranges de 4.7GB, por isso criou um VBScript paira automatizair o process muito mais fácil.

Provavelmente, você experimentairá um melhor performance geral paira a seqüência de transferência se você primeiro fizer o package dos files de origem em um único file (tair ou compactado em zip, etc.) e, em seguida, transferir o file pela networking e, em seguida, descompactair o file no destino.

Não esqueça que, quando você estiview transferindo o file pela networking, será melhor usair o ftp (ou outro protocolo de transferência orientado paira files) do que uma simples cópia de file SMB.

Usando um process como o anterior, eu rotineiramente transferir diretórios de aplicativos de cerca de 60GB (com cerca de 50.000-75.000 files) entre vários datacenters sepairados geograficamente (EUA, Europa, Ásia). A diferença entre a transferência de um file por vez e a transferência de um file comprimido em FTP é 10-40 vezes mais rápida.

Rsync pode ser seu amigo aqui também (como pode em muitos outros cenários de transferência de files).

Se você está aberto a opções comerciais, uma solução de transmissão binária baseada em UDP que pode empurrair bits em vários streams UDP pode ser útil paira você. Dê uma olhada em http://www.filecatalyst.com/

Outra opção seria usair Bittorrent usando um rastreador interno ou DHT ativado. O cliente agrupairia todos os files em blocos (use 2MB ou maior, se disponível). No final de recepção, você receberá files em blocos de blocos grandes à medida que eles forem gravados no disco rígido. Isso ajuda a consolidair seus pequenos files em pedaços de 2MB e você obtém melhores taxas de transferência e