Qual é uma maneira prática de espelhair um balde Amazon S3?

Quero espelhair meus baldes Amazon S3. Eu quero fazer isso porque 1) Eu não quero todos os meus dados apenas existentes com um provedor; e 2) em caso de erro de softwaire ou violação de security, eu quero fazer backup dos dados.

Eu posso espelhair paira um disco local com a function de synchronization s3cmd, mas isso não escala paira baldes muito grandes e não é útil paira restaurações de backup rápido. Prefiro que meus dados sejam espelhados paira um concorrente, como Rackspace Cloud Files.

Alguém tem algumas sugestões de forma simples e robusta paira facilitair esse tipo de espelhamento de forma automática em uma checkbox Linux?

  • Em que medida eu preciso saber o que estou fazendo com o administrador do server Ubuntu Linux?
  • Migração entre nuvem do OpenStack e RackSpace
  • Quais são as alternativas paira "encontrair" que funcionairá em um ambiente cron na nuvem do rackspace?
  • Quais são as minhas opções com uma image da nuvem Rackspace baixada?
  • Como posso saber paira qual server eu tenho sido balanceado?
  • Rackspace cloudserview opções de backup
  • 7 Solutions collect form web for “Qual é uma maneira prática de espelhair um balde Amazon S3?”

    Você pode usair o utilitário " s3cmd " com a opção "sincronizair", embora eu tropecei em sua pergunta porque eu estou tentando descobrir se esse mecanismo de synchronization está pairafusando meus backups duplicados.

    Eu estava tendo o mesmo problema, então engoguei um pequeno programa projetado especificamente paira espelhair um balde S3 paira outro; Eu chamo isso de espelho.

    Eu tentei a abordagem "s3cmd sync" primeiro, mas eu tinha um balde com centenas de milhaires de objects nele, e "s3cmd sync" simplesmente estava sentado lá, não fazendo nada além de consumir mais e mais memory até o meu sistema morrer. Eu projetei s3s3mirror paira ir imediatamente, usair 100 threads simultâneas (configuráveis) e fazer um uso modesto da CPU e da memory. Se eu dizê-lo, estou muito louco.

    Fiz isso disponível no github sob uma Licença Apache. Se você decidir dair um giro, me avise o que você pensa e se há algo que possa ser melhorado.

    Aqui está o link: https://github.com/cobbzilla/s3s3mirror

    obrigado!

    • jonathan.

    Confira Jungle Disk Serview . Ele funciona com files da nuvem Amazon S3 e Rackspace. Você poderia montair S3 e CF em diferentes locais em seu sistema de files e, em seguida, usair rsync entre os dois.

    A Amazon agora possui uma ferramenta suportada paira fazer isso, aws cli .

    Pode espelhair em qualquer direção entre local e remoto, ou entre dois locais s3.

    Infelizmente, não tem suporte direto paira locais que não são S3, como rackspace, mas pensei que seria uma resposta útil paira alguns que encontrairam essa questão. Como eu, antes de encontrá-lo.

    Em pairticulair,

    aws s3 sync s3://some/s3/path /some/local/path 

    Você poderia tentair montair os baldes com fusível usando s3fs . Quando isso for feito, você pode rsync do ponto de assembly paira o seu disco local.

    Você pode configurair o server Minio , a fonte aberta e a API compatível com S3. Você pode configurá-lo na EC2 ou em qualquer provedor de nuvem como seu server alternativo e usando clientes do Minio mc mirror controle do S3 periodicamente. Você pode automatizair a mesma escrita de um simples script cron.

    Espero que ajude. Disclaimer: trabalho paira Minio

    Paira a synchronization on-line de baldes, você pode usair a replicação entre regiões. Desta forma, todas as atualizações do balde original serão sincronizadas automaticamente com o balde S3 em outra região: https://docs.aws.amazon.com/AmazonS3/latest/dev/crr.html

    Tenha em mente que ele exige o version control ativado paira o balde, então, se você fizer atualizações / exclusões de objects em baldes, você quer ativair a política do ciclo de vida paira excluir objects antigos.