Los registros de backup en verde no demuestran que la recuperación de datos funcione
Un desarrollador demuestra cómo los cron jobs exitosos suelen ocultar backups rotos, mostrando cómo las pruebas automatizadas de restauración verifican la integridad real de los datos.
Traducido automáticamente del original en inglés.
Un desarrollador descubrió recientemente que su job nocturno de backup de base de datos había reportado éxito durante meses sin haber sido nunca probado para una recuperación real de datos. Al simular una pérdida de datos e intentar una restauración, reveló que un registro de estado en verde solo confirma que se escribió un archivo, no que los datos dentro sean utilizables o completos.
Qué ocurrió
El autor, que trabaja en la plataforma de despliegue autoalojada Levelrail, decidió auditar sus propias prácticas de backup tras darse cuenta de que no recordaba la última vez que cargó con éxito un archivo de backup en una base de datos. Configuró un entorno de prueba usando Postgres 16 en un Mac con Docker, ejecutando Levelrail compilado desde la rama de release v1.0.1. La prueba consistió en crear una base de datos con recuentos de filas y totales financieros específicos, programar un backup y luego eliminar intencionalmente datos del sistema en vivo para simular un error catastrófico.
Después de activar el backup y eliminar 500 pedidos de la base de datos en vivo, el autor usó el comando restore-as-new para crear una base de datos separada a partir del archivo de backup. Este proceso dejó intacta la base de datos dañada en vivo mientras iniciaba una instancia nueva desde el backup. La comparación entre ambas reveló que la base de datos restaurada contenía los 2000 pedidos originales y los totales financieros correctos, mientras que la base de datos en vivo mostraba el daño. Esta prueba manual demostró que el mecanismo de backup funcionaba, pero también resaltó que el cron job diario nunca había proporcionado este nivel de garantía.
Para automatizar esta verificación, el autor exploró la función "drill" (simulacro) de Levelrail. A diferencia de una simple comprobación de existencia de archivo, un drill descarga el backup, verifica su checksum SHA-256, lo restaura en un contenedor aislado y valida el contenido. El autor señaló que los drills requieren un destino de object-store en lugar de almacenamiento local, lo que le llevó a configurar un endpoint compatible con S3. Una vez configurado, el drill pasó todas las comprobaciones, incluida la validación del checksum y la coincidencia de contenido, cambiando el estado de salud de la base de datos de "no verificado" a "saludable".
Detalles clave
- Un registro de backup exitoso solo prueba que se escribió un archivo, no que los datos puedan ser restaurados o sean consistentes.
- Las pruebas manuales de restauración deben comparar recuentos de filas y sumas financieras para detectar corrupción sutil de datos.
- El comando
restore-as-newcrea una instancia de base de datos separada, asegurando que los datos de producción en vivo permanezcan afectados durante las pruebas. - Los drills de restauración automatizados en Levelrail verifican checksums y contenido para bases de datos Postgres, MySQL y MariaDB.
- Los drills requieren un destino de object-store como S3 o R2; los destinos de almacenamiento local no soportan operaciones de drill automatizadas.
- Se pueden habilitar copias de backup a un segundo destino para proteger contra fallos de un único bucket, aunque esto solo se revisó en la documentación.
Contexto
En muchos entornos autoalojados, los administradores dependen de cron jobs para ejecutar scripts como pg_dump y guardar la salida en un disco o bucket cloud. Estos scripts típicamente terminan con un código de estado cero si la escritura del archivo tiene éxito, llevando a las herramientas de monitoreo a reportar un estado en verde. Sin embargo, esto no tiene en cuenta problemas como archivos corruptos, escrituras incompletas o incompatibilidades de esquema que podrían impedir una restauración exitosa. Sin una prueba regular de restauración, los equipos operan bajo la falsa suposición de que su plan de recuperación ante desastres es funcional.
Levelrail es una plataforma de despliegue autoalojada diseñada para simplificar la gestión de infraestructura sin Kubernetes. Incluye herramientas integradas para gestionar bases de datos y backups, con el objetivo de reemplazar la scripting manual con flujos de trabajo integrados. La plataforma soporta varios proveedores de almacenamiento, incluyendo AWS S3, Cloudflare R2 y endpoints personalizados compatibles con S3, permitiendo a los usuarios almacenar backups fuera del sitio para mejor durabilidad.
Por qué importa
Para equipos que ejecutan su propio software, la diferencia entre un archivo respaldado y una base de datos recuperable es crítica. Un dashboard de monitoreo en verde puede crear una peligrosa sensación de seguridad, llevando a los ingenieros a creer que están protegidos cuando no lo están. Si ocurre un desastre real, como un ataque de ransomware o una eliminación accidental, la primera vez que un equipo intenta una restauración podría ser la primera vez que descubren que el backup es inutilizable. Este retraso puede extender el tiempo de inactividad de minutos a días, causando un impacto significativo en el negocio.
Automatizar el proceso de verificación elimina la dependencia de la memoria y disciplina humana. Las pruebas manuales de restauración a menudo se omiten debido a restricciones de tiempo o miedo a afectar los sistemas de producción. Al integrar drills de restauración en el flujo de trabajo de backup, los equipos pueden asegurar que cada backup no sea solo un archivo en un disco, sino una instantánea verificada de sus datos. Este cambio de logging pasivo a verificación activa transforma las estrategias de backup de gestos esperanzadores en redes de seguridad fiables.
Qué puedes hacer
- Programa una prueba manual de restauración inmediatamente usando un entorno no-productivo para verificar tus archivos de backup actuales.
- Compara recuentos de filas y valores agregados críticos, como totales financieros, entre bases de datos en vivo y restauradas para asegurar la integridad de los datos.
- Configura drills de restauración automatizados si tu plataforma los soporta, asegurando que se ejecuten en un horario regular como semanalmente.
- Usa destinos de object storage para backups en lugar de almacenamiento en disco local para habilitar funciones avanzadas como drills automatizados y redundancia fuera del sitio.
- Habilita copias de backup a un segundo destino para proteger contra fallos del proveedor de almacenamiento o eliminaciones accidentales.
- Documenta tu procedimiento de restauración e incluye pasos para verificar la consistencia de datos, no solo la existencia del archivo.



