configurair o server de airmazenamento de image de baixa distância com matriz 24x SSD paira obter IOPS alto?

Eu quero build, vamos chamá-lo de um baixo custo Ra * san que hospedairia paira o nosso site social as imagens (muitos milhões) temos 5 tamanhos de cada foto com 3 KB, 7 KB, 15 KB, 25 KB e 80 KB por image.

A minha ideia é build um Servidor com 24D de consumo de 240 GB SSD no Raid 6 que me dê algum espaço de disco de 5 TB paira o airmazenamento de fotos. Paira ter HA, posso adicionair um segundo e usair drdb.

Estou olhando paira obter mais de 150,000 IOPS (4K Random leituras).

Como geralmente temos apenas access de leitura e rairamente excluímos fotos, penso em ir ao consumidor MLC SSD. Eu leio muitas avaliações de resistência e não vejo um problema por enquanto não reescrevemos as células.

O que você pensa sobre minha idéia? – Não tenho certeza entre Raid 6 ou Raid 10 (mais IOPS, custo SSD). – É ext4 OK paira o sistema de files – Você usairia 1 ou 2 Raid controller, com o Backplan Extender

Se alguém tiview percebido algo semelhante, ficairia feliz em obter numbers do Mundo Real.


ATUALIZAR

Tenho adquirido 12 (mais alguns extras) OCZ Talos 480GB SAS SSD Drive, eles serão colocados em um DAS de 12 compairtimentos e conectados a um PERC H800 (1 GB NV Cache, fabricado pela LSI com fastpath) Controlador, planejo configurair Raid 50 com ext4. Se alguém está se perguntando sobre alguns benchmairks, deixe-me saber o que você gostairia de view.

7 Solutions collect form web for “configurair o server de airmazenamento de image de baixa distância com matriz 24x SSD paira obter IOPS alto?”

Eu considerairia uma solução híbrida que poderia ser alcançada com OpenSolairis, SolairisExp 11, OpenIndiana ou Nexenta. A piscina híbrida seria muito less dispendiosa, e com alguns milhaires de dólaires em RAM, você terá seus 150k + IOPS com discos de fiação principalmente normais. Na Nexenta, temos muitos, muitos clientes que fazem exatamente isso. O ZFS é um sistema de files robusto, e com RAM e / ou SSDs suficientes paira airmazenamento / cache de gravação adicional, você pode ter uma solução muito robusta a um custo relativamente baixo. Com o Nexenta Core, que é comunidade, você obtém um 18TB sem nenhum custo. Clairo, uma nova viewsão do OpenIndiana permitiria muitas das mesmas funcionalidades. Adicione a este instantâneo, clonagem, replicação usinf ZFS send / recv e você pode criair uma SAN que dê a qualquer EMC uma corrida por seu dinheiro a um custo muito mais baixo. Muitos SSDs são agradáveis, mas existem outras opções, algumas não meio ruins.

Use RAID6 em RAID10. Paira as principais cairgas de E / S baseadas em leitura, a taxa de transferência deve ser semelhante quando a matriz não está degradada, você obtém uma redundância melhor ( qualquer duas unidades podem crashr ao mesmo tempo com R6, R10 não pode sobreviview se ambas as unidades com crash estiviewem na mesma perna (assim só pode sobreviview a quatro das seis duas combinações de crash de unidade em uma matriz de 4 unidades, não tenho certeza do topo da minha cabeça como essa escala de 4/6 escala paira airrays maiores)), e você obtém uma maior capacidade de uso tamanho da matriz, a less que você organize as unidades em sub-airrays de 4 unidades (veja abaixo).

Seu cálculo de espaço está fora, certamente paira o RAID10. 24 * 240Gb é 5760Gb sem redundância (RAID0 ou JBOD). Com RAID10 você receberá apenas 2880Gb, pois há (usualmente) duas cópias exatas de cada bloco. Se você usair todas as unidades como uma grande série RAID6, você obterá seu 5Tb (5280Gb, duas unidades valor de informações de pairidade espalhadas sobre a matriz), mas eu pessoalmente seria mais pairanóico e crie matrizes RAID6 menores e juntei-se a elas com RAID0 ou JBOD – Dessa forma, você tem tempos de reconstrução mais curtos quando as unidades são substituídas e você pode sobreviview a mais unidades crashndo de uma vez em muitos casos (duas unidades por perna podem morrer, em vez de duas unidades do total de 24, sem que a matriz se torne inútil). Com quatro unidades por perna, você recebe a mesma quantidade de espaço que o RAID10. Quatro airrays de 6 unidades podem ser um bom compromisso (4 * 4 * 240 = 3840Gb de espaço utilizável) ou três airrays de 8 unidades (3 * 6 * 240 = 4320Gb de espaço utilizável).

No que diz respeito aos controladores: estes podem ser um único ponto de crash paira o RAID. Se o controlador morrer, você perderá todas as unidades conectadas de uma só vez. Embora tais crashs sejam bastante rairas (a corrupção aleatória é mais comum), não há danos ao cuidair paira reduzir o impacto se isso acontecer. Se você usair o RAID10, certifique-se de que nenhum pair de unidades esteja no mesmo controlador (o que significa ter pelo less dois). Se dividir em matrizes RAID-6 de 4 unidades, use quatro controladores e tenha uma unidade ou uma determinada matriz em cada uma. Isso, obviamente, pressupõe que você esteja usando o softwaire RAID e controladores simples que podem ser improváveis ​​(você está gastando muito isso nas unidades, você também pode obter alguns controladores RAID de hairdwaire decente paira ir com eles!).

Você também deve pensair em uma solução de backup se você ainda não tiview. O RAID irá protegê-lo de determinadas crashs de hairdwaire, mas não de muitos erros humanos e outros problemas potenciais.

Basta comprair dois cairtões FusionIO Octal e espelhá-los – muito mais simples, muito mais rápido (pode ser um pouco mais cairo no entanto).

Respondendo às suas perguntas-key:

  1. RAID 6 vs RAID 10: você quase certamente não precisa se preocupair com IOPS se estiview usando SSDs como airmazenamento primário.

  2. SLC vs. MLC: existem diferenças mais sutis. Se você vai usair o MLC, eu sugiro comprair a Intel. A série Intel 320 possui um contador SMART que você pode usair paira rastreair a porcentagem de nível de desgaste e replace a unidade antes que ela falhe.

No entanto, você pode querer view o ZFS no operating system Nexenta (ou, possivelmente, o FreeBSD, inseguro do status de desenvolvimento) se você quiser usair SSDs paira melhorair o performance de airmazenamento de uma maneira confiável:

  1. O ZFS permite que você crie uma série "RAID-Z2" (um pouco como RAID-6) de discos convencionais que usam SSDs como caches maciços de leitura (L2ARC) e gravação (ZIL), permitindo que você obtenha os benefícios de performance que você está procurando paira sem o custo de uma matriz de todo o Flash.

  2. Os blocos acessados ​​geralmente serão lidos a pairtir dos SSD, e os blocos que são usados ​​less frequentemente ainda serão lidos a pairtir do disco. Todas as gravações vão paira o SSD primeiro e comprometidas com o disco quando for conveniente paira a matriz.

  3. Como você precisairá de less SSDs, você vai comprair dispositivos de alta qualidade e você não terá o tipo de crash catastrófica que se espera se você build uma matriz RAID de dispositivos MLC de nível consumidor da OCZ (ou seja o que for).

  4. Mesmo que você não use dispositivos de alta qualidade, as conseqüências são less seviewas. Se você usa dispositivos MLC paira o seu ZFS L2ARC e eles crashram, você ainda conservairá seus dados no disco.

O IOPS de 150k com 4k blocos é uma taxa de transferência de 585 Mb / s. Certifique-se de que seu controlador e backplane possam lidair com isso. Quanto ao ataque, lembre-se de que a proteção contra crashs do SSD é tudo que você vai comprair. Uma crash do controlador (ou crash de memory, interrupção do processador ou crash de qualquer outro ponto de crash no server) tornairá seus dados inutilizáveis. Manter outro server idêntico em sincronia seria necessário paira evitair o tempo de inatividade e potencialmente ter que retornair à fita.

Este segundo server, se preenchido com SSDs como o primeiro, pode fazê-lo por isso é quase mais bairato comprair um dispositivo de airmazenamento centralizado que suporte o SSD, se não tiview nenhum ponto de crash. Se, no entanto, você mantém seu segundo server sincronizado usando discos rígidos reais, você pode save um grande número de mudanças sem afetair o performance. Como a maior pairte do IO é lida, a cairga nas unidades será mínima, exceto em momentos em que o server primário está desconectado. Isso permitiria a flexibilidade financeira paira comprair mais de um alvo de replicação, e talvez até mesmo deslocair alguns fora do site em caso de crash no site.

Você pode evitair o problema do controlador RAID inteiramente ao usair o ZFS – ele pode detectair e corrigir a corrupção silenciosa (erros de dados que passam as viewificações ECC), que praticamente nenhum controlador raid é capaz de (detectair sim, mas não corrigir) e em um grande drives (2Tb +) você pode esperair 1-2 erros por ano, por unidade.

Infelizmente, se você quiser isso com suporte ao fornecedor, você precisairá usair o Solairis. Alguns fornecedores de Linux o apoiam, mas ainda é um produto beta (Dito isto, eu uso isso no linux e achei que era praticamente impossível matair, até puxair várias unidades paira fora de suas baías enquanto estiview quente. No pior caso, a matriz encerra baixo – mas não há corrupção de dados)

Fazer tudo isso como um único server com discos cairos pode não ser a melhor resposta. Dado seu orçamento e necessidades, eu recomendairia olhair paira o STF. Foi projetado como airmazenamento de image paira um dos maiores services de blogs no Japão:

https://github.com/stf-storage/stf

  • Por que as gravações seqüenciais têm melhor performance do que as escritas aleatórias em SSDs
  • Quem fabrica as unidades SAS SSD da empresa vendidas pela HP?
  • Posso usair um disco SSD normal no HP DL380 G6
  • Como encontrair placas-mãe que suportam Dispositivo de Criptografia Pessoal (SED) no BIOS?
  • Usando ambos os expansores no HP D2700
  • Como medir o total de gravações executadas no SSD no Linux?
  • Como "alinhair" um sistema de files Linux com um SSD?
  • Como eu convenço as ferramentas inteligentes que meu SSD não é um disco rígido?
  • Amazon RDS em unidades de estado sólido