Por que meu objeto é o armazenamento maior (ou menor) do que meus dados?

Se você tiver o serviço de backup do Hostwinds Cloud, não deve ser mais do que alguns dias antes de ver que o armazenamento de objeto que está sendo usado é um tamanho diferente do que os dados estão sendo submetidos a backup.

Por que meu armazenamento de objetos é maior que meus dados?

Para Hospedagem compartilhada e de negócios, Isso é facilmente explicado: cada backup diário é uma cópia de toda a conta cPanel.Se você tiver uma conta compartilhada com 100MB de site / e-mail / banco de dados, seus backups de nuvem crescerão em 100MB a cada dia até que seu limite de retenção seja atingido, então ele se sentaria a 100MB x dias armazenados.Você pode ajustar o número de dias armazenados se preferir pagar menos pelo armazenamento e não achar que precisará de quantos backups.

Para VPS ou Servidor dedicado, No entanto, as respostas são um pouco mais complicadas.O software de backup (RESTIC) não faz um backup completo do servidor a cada dia.Ainda assim, os backups capturados não são os mesmos que um sistema tradicional "Full Backup Weekly, Backup Incremental Daily", pode-se estar familiarizado.Restic leva backups em 'instantâneos' todos os dias, mas apenas armazena dados desduplicados.Se o backup mais antigo for mais antigo do que o período de retenção (o padrão é de 60 dias e usado como um exemplo para o restante deste artigo, ele remove e purifica o instantâneo mais antigo.Isso não é o mesmo que excluir o "backup completo mais antigo", mas apenas lança os registros de mudanças nos arquivos antes de 60 dias atrás.

Por exemplo, se você tiver "Hoje.txt", que é atualizado automaticamente com a data de hoje a cada dia, a RESTIC terá 60 cópias armazenadas.Quando o instantâneo mais antigo é removido, ele jogará fora as versões anteriores, mas ainda permitirá que você restaure o arquivo para qualquer instantâneo nos últimos 60 dias.Da mesma forma, se você tiver "start.txt" que registra a data do servidor e nunca altera, ele será mantido e restaurá-lo de qualquer instantâneo fornecerá os mesmos dados.

Se você tiver um grande banco de dados de produtos, não é atualizado com frequência, ele não contribuirá muito mais para os backups do que o tamanho do banco de dados.Por outro lado, se você tiver um banco de dados de usuários, posts no fórum, etc., que altera diariamente / por hora / a cada minuto - esse tipo de banco de dados contribuirá grandemente para o tamanho de um backup restico no armazenamento de objetos, mesmo que oO tamanho total do banco de dados não cresce rapidamente.

Vamos dar uma olhada em um servidor real.Esses exemplos são para o Linux, mas as ideias são as mesmas para o Windows.Uma grande diferença com o Windows é que é necessário vários instantâneos por dia, um para cada diretório em C: \, então preste atenção à data dos instantâneos no Windows e não no número total deles.

Aqui temos um novo Linux VPS com 1,5 GB usado no armazenamento:

Depois de tomar o primeiro backup, o armazenamento de objetos mostra sobre o mesmo 1,5 GB:

O que acontece se adicionarmos cerca de 1,1 GB de dados e executarmos um novo backup?

Não se preocupe com o comando openssl.É apenas uma maneira fácil de gerar um arquivo aleatório que podemos facilmente editar mais tarde.

O armazenamento de objetos cresceu cerca de 1,1 GB:

Vamos fazer uma edição simples para o arquivo, substituindo um pouco do texto no início (mas não alterando o tamanho do arquivo):

Um novo backup não ocupa muito mais espaço porque só fizemos uma pequena mudança.Restic quebra arquivos em 'blobs' entre 512kb e 8MB, por isso só tem que armazenar mais um 'blob' para essa diferença.

Uma edição mais complicada, substituindo todos os 'QQ' no arquivo com 'ZZ' farão com que muitos blobs mais novos sejam armazenados, no entanto:

O arquivo é o mesmo tamanho

Mas o tamanho do backup cresceu significativamente.

Isso mudou cerca de 250.000 das 16 milhões de linhas no arquivo, mas até mesmo uma alteração de 1,5% em dados espalhados por todo o arquivo contribuirá muito para o número de BLOBS Restic tem que armazenar para a mudança.

E, claro, excluir o arquivo libera muito espaço na unidade.

Mas um backup fresco não encolhe o tamanho do armazenamento de objetos.Obviamente, uma das grandes razões para fazer backups é recuperar da exclusão acidental (ou maliciosa) de dados.

Podemos manualmente 'esquecer' um instantâneo e 'podar' os dados associados a ele.Por exemplo, este é um instantâneo que tinha uma das versões do arquivo 1.1GB.

E o tamanho do armazenamento de backup encolhe adequadamente:

Os scripts de backup de nuvem do Hostwinds serão automaticamente 'esquecer' e 'podar' cada vez que for executado, mantendo um instantâneo por dia para o último número de dias especificados em /root/.restic_var ou c: \ windows \ system32 \ restic_repo.ps1.

Resumindo:

Açao

Tamanho do armazenamento do VPS.

Tamanho do armazenamento de objeto

Inicial

1.5GB

1.421GB

Arquivo 1.1GB gerado

2.6GB

2.512GB

Linha única alterada

2.6GB

2.513GB

"QQ" -> "zz"

2.6GB

3.604GB

Arquivo 1.1GB excluído

1.5GB

3.604GB

instantâneo excluído

1.5GB

2.513GB

Enquanto pequenas alterações não necessariamente contribuem para o espaço extra de backup usado, muitas pequenas alterações e, é claro, grandes mudanças afetarão muito o valor armazenado.

Por que o armazenamento de objetos é menor que meus dados?

Há ocasiões em que o armazenamento no disco pode ser maior que os dados de backup.Nossos scripts de backup excluem automaticamente diretórios como / tmp e / var / tmp no Linux e na lixeira no Windows.Se você "excluir" um arquivo no Windows e for para a lixeira, não esvazie a lixeira por 60 dias.Como resultado, seu armazenamento de objetos pode ser menor que o espaço usado na unidade C: \.

Eu coloquei uma versão de 260MB do Sample.txt In / TMP no Linux, em seguida, execute um backup:

Simplesmente, o backup é menor que o espaço usado porque nem todos os diretórios são backup.

Os diretórios excluídos no Linux são:

/ dev, / mídia, / mnt, / proc, executar, / sys, / tmp, / var / tmp, / var / log, / backup, / home / virtfs

E no Windows, Restic backup de diretórios não ocultos que são "clientaccessable", então diretórios como C: \ $ recycler e arquivos como C: \ PAMAFILE.SYS não são backup.

Espero que isso ajude a explicar as discrepâncias em seus dados vs. o tamanho dos backups.

Tutoriais de hospedagem na web relacionados:

• Como usar o armazenamento de objetos para hospedar arquivos
• Sincronize um Linux VPS com armazenamento de objetos (rclone)\
• Como montar o armazenamento de objetos para um VPS (CENTOS 7)