Tecnologías de almacenamiento de datos

Al introducirnos en la ciencia de datos o como investigadores a menudo se pone mucho énfasis en programar y analizar datos, pero antes de trabajar tenemos que tener los datos almacenados en algún sitio. Muchas veces estaremos encargados de desarrollar procedimientos para poder garantizar la integridad de los datos con los que trabajamos y de hacer copias de seguridad para protegerlos de distintas amenazas (que veremos ahora), especialmente si trabajamos en equipos de investigación pequeños o empresas de nueva creación.

A nivel personal también debemos pensar en cómo almacenamos y protegemos nuestros datos de fallos en los dispositivos de almacenamiento. Todos los dispositivos tienen una vida útil, pasado un tiempo es probable que dejen de funcionar. Las habilidades que adquirimos para proteger nuestros datos personales nos pueden servir en entornos profesionales.

Amenazas a la integridad de los datos

Existen muchas circunstancias o eventos que pueden llevarnos a perder datos. Se pueden agrupar en 3 categorías fundamentales: errores de hardware/software, errores provocados por los usuarios y catástrofes.

Debemos desarrollar estrategias de copia de seguridad que nos permitan restablecer la información en caso de que se va afectada por alguna de éstas amenazas.

Errores de hardware/software

• Fallo completo de una unidad de almacenamiento: todas las tecnologías de almacenamiento fallan con el paso del tiempo. Tarde o temprano le llegará el turno a las unidades que almacenan nuestros datos.
• El ordenador no arranca o no se puede usar: ya sea por errores de hardware (se rompe la pantalla, falla la fuente de alimentación o la batería…) o software (el sistema operativo no funciona). Éste tipo de situaciones pueden limitar nuestro acceso a los datos o llevar a la pérdida de los mismos.
• Corrupción de los datos: incluso un disco que funciona bien es susceptible de presentar errores a la hora de recuperar los datos. Especialmente común en pen drives y tarjetas SD sometidas a condiciones estresantes (calor y humedad), mucho menos frecuente al usar discos de calidad.
• Robo de datos: un tercero consigue acceder a nuestros datos privados explotando vulnerabilidades en los sistemas de almacenamiento. Frecuente en servicios de almacenamiento en línea con seguridad deficiente.

Errores de los usuarios

• Borrado accidental: borramos un archivo sin querer.
• Cambios incorrectos en un documento: modificamos un documento y no somos capaces de volver a la versión original.
• Malware: un usuario instala software malintencionado que borra o encripta nuestros datos, impidiendo que accedamos a ellos (especialmente el ransomware).

Catástrofes

• Incendios, indundaciones…
• Robo
  • Robo de un dispositivo portátil
  • Robo en la casa (varios dispositivos)

Tecnologías de almacenamiento

Existen muchas tecnologías diferentes para almacenar datos. Aquí os presento un resumen de las más importantes, con sus ventajas, inconvenientes y longevidad para que sea posible seleccionar las más adecuadas.

Empezamos por aquellas tecnologías que podemos comprar nosotros mismos para almacenar datos de manera local, sin necesidad de depender de terceros.

HDD (Hard Disk Drive): almacenan los datos en un disco magnetizado que gira a 5.000-7.000 rpm, con una cabeza móvil que realiza las operaciones de lectura / escritura.

Ventajas:

• Bajo coste por GB

Inconvenientes:

• Voluminosos
• Hacen ruido
• Sensibles a las vibraciones mecánicas y los golpes, especialmente cuando están en funcionamiento ya que la cabeza puede chocar contra el disco. Menos probable cuando están apagados ya que la cabeza se coloca en una posición segura
• Mucho más lentos que los SSD

Longevidad: duran en torno a 5-10 años. Todos fallan tras cierto número de horas de funcionamiento (generalmente por desgaste de los elementos mecánicos).

• Pueden llegar a durar más si se usan poco, un HDD en un entorno seguro puede durar mucho (no eternamente, la lubricación de algunos elementos se espesa con el tiempo)
• NO TODOS LOS HDD SON IGUALES. Algunos son más fiables que otros, existen discos para NAS o servidores que tienen una vida mayor (pero son más caros)
• Generalmente los discos de escritorio están pensados para estar apagados la mayor parte del tiempo, los de servidores pueden estar encendidos 24 horas al día.
• Normalmente dan signos antes de fallar totalmente (ruidos, mal rendimiento), lo que permite copiar los datos antes.

Recomendación: ideales para almacenar muchos datos de forma barata. Usar siempre en aplicaciones estacionarias para evitar daño mecánico: ordenadores de sobremesa o discos externos que no salen de casa. Evitar en portátiles.

Pen drive y tarjetas SD: unidades de almacenamiento externo que se conectan a nuestro ordenador por USB o mediante ranuras específicas. Almacenan la información en chips de memoria flash. Éstos chips utilizan transistores para almacenar los datos.

Los teléfonos móviles también suelen usar chips de memoria flash, pero de mejor calidad.

Ventajas:

• Muy compactos y resistentes al daño mecánico
• Baratos
• Disponibles en capacidades bastante altas y en un tamaño compacto (alta densidad)

Inconvenientes:

• Muy mala fiabilidad
• Es fácil perderlos o que nos los roben. Nuestros archivos pueden ser vistos por terceros

Longevidad: depende mucho del dispositivo, pero en general es muy mala. Los chips de memoria flash suelen ser de mala calidad y tienen un número limitado de lecturas y escrituras. Pasado éste limite dejan de funcionar, ya que no suelen tener más de uno.

Recomendación: Vienen bien para transferir información entre dispositivos, o para guardar datos de forma temporal. NO UTILIZARLOS PARA GUARDAR DATOS IMPORTANTES, especialmente si únicamente tenemos una copia.

• Si vamos a guardar información privada es interesante encriptarla antes
• Especial cuidado con la memoria o las tarjetas microSD en teléfonos, ya que están sometidos a mucho estrés y es frecuente que fallen.

SSD (Solid State Drive): Al igual que los pen drives utilizan chips de memoria flash para almacenar los datos, pero generalmente tienen varios y de mayor calidad, lo que aumenta mucho la durabilidad.

Ventajas:

• Muy altas prestaciones
• Alta resistencia a golpes y vibraciones
• Disponibles en formatos muy compactos

Desventajas:

• Más caros que los HDD

Longevidad: en torno a 5-10 años. Al tener más chips flash y distribuir las escrituras sobre ellos tienen una durabilidad mucho mayor que un pen drive, manteniendo todas las ventajas. La operación que degrada éstos dispositivos es la escritura de datos, las lecturas o el tiempo de funcionamiento no tienen efecto sobre su vida útil.

• El problema es que cuando fallan lo hacen sin dar señales

Recomendación: no comprar NUNCA un ordenador que no tenga el sistema operativo instalado en un SSD. Es recomendable adquirir un SSD externo para hacer copias de manera rápida al mismo.

• La ventaja de un SSD externo frente a un HDD externo es que son más compactos, resistentes y rápidos, por lo que merece la pena pagar algo más

Discos blu-ray: son un medio de almacenamiento óptico, que almacena la información en discos de policarbonato. Se comercializan en capacidades de 25, 50 y 100 GB.

• Los de 100 GB requieren lectores / grabadores compatibles

Ventajas:

• Longevidad muy elevada si se almacenan correctamente

Desventajas:

• Puede ser incómodo si tenemos muchos datos (tendremos que guardarlos en varios discos)
• Coste por GB relativamente alto
• Sensible a arañazos y el polvo en el disco
• Necesitamos un dispositivo específico para poder leer / grabar

Longevidad: en torno a 80-100 años sobre el papel. No han existido el tiempo suficiente como para comprobarlo, pero si se almacenan correctamente pueden durar mucho tiempo.

• Existen también versiones todavía más longevas (y más caras) que llevan el distintivo M-disc (Milleniatta Disc). Se supone que están diseñados para durar mil años. La mayoría de lectores son compatibles con éstos discos, pero hacen falta grabadores especiales (verificar la compatibilidad)

Recomendación: dado que seguramente tendremos que comprar una unidad para grabarlos puede ser algo caro, además de que el acceso a los datos es lento y menos cómodo que en otras tecnologías al tener que manejar los discos. No obstante, si tenemos menos de 25 o 50 GB de datos podríamos hacer copias (anuales o cada X años) de todos nuestros datos a uno de éstos discos como archivo a largo plazo.

• Incluso podríamos almacenar alguna de estas copias en la casa de algún familiar.

DAS (Direct Attached Storage) y NAS (Network Attached Storage): hasta ahora hemos visto que tanto los HDD como los SSD tienen un tiempo de vida limitado, pasado el cual es probable que fallen y perdamos la información.

Por tanto, la única manera de protegernos contra la pérdida de datos es tener varias copias de los datos, para que cuando un disco falle podamos seguir disponiendo de la información.

Los DAS y los NAS son dispositivos que básicamente permiten sistematizar el proceso mediante lo que se conoce como un RAID (Redundant Array of Independent Disks). Un RAID es básicamente una única unidad de almacenamiento que se compone de varios discos que almacenan la información con diferentes niveles de replicación. Por ejemplo, imaginemos que tenemos un NAS con 4 discos de 10 TB cada uno (40 TB de capacidad total), podríamos elegir entre varias configuraciones:

• Podemos disponer de toda la capacidad (40 TB), de forma que no tendremos ninguna redundancia, en cuanto falle un disco perderemos todo (no recomendado).
• Podemos sacrificar la capacidad de uno de los discos (tendremos 30 TB), pero a cambio, no pasará nada si perdemos uno de los discos. Podemos cambiarlo por uno nuevo y en unos días el sistema volverá al estado normal.
• Podemos sacrificar la capacidad de dos discos (tendremos 20 TB), pero entonces nos podemos permitir que fallen dos discos a la vez sin problema.
• Éste último caso puede parecer improbable, pero de hecho el proceso de reconstruir el array es muy estresante para los discos, por lo que puede ocurrir que falle otro disco mientras se recompone el sistema.
• Los discos HDD tardan muchísimo más en recomponer el sistema que los SSD.

La diferencia entre DAS y NAS es que los DAS son dispositivos que se conectan directamente a nuestro ordenador (por ejemplo mediante un cable USB), mientras que un NAS se conecta a través de la red (mejor si es por cable, pero se puede acceder a los archivos por wifi). Así, un NAS permite crear unidades compartidas entre varios dispositivos para almacenar archivos de forma segura.

Ventajas:

• Longevidad potencialmente ilimitada para nuestros datos (si cambiamos los discos a tiempo)
• Permite obtener unidades de almacenamiento con capacidades muy altas (cientos de TB)
• Protegen a nuestros datos de la corrupción, gracias al uso de sistemas de ficheros específicos como BTRFS y ZFS.
• Con el NAS, podemos acceder a todos nuestros archivos desde múltiples dispositivos, e incluso desde cualquier parte del mundo
• Si almacenamos muchos datos (más de 10-20 TB), es la solución más barata y cómoda a largo plazo

Inconvenientes:

• Son soluciones bastante caras, aunque los DAS son más económicos que los NAS. Además tenemos que comprar más discos de los que necesitamos para obtener redundancia
• Tenemos que asegurarnos de cambiar los discos cuando se rompen
• Se requieren algunos conocimientos técnicos para ponerlos en marcha y seleccionar los equipos adecuados

Longevidad: ya lo hemos comentado, potencialmente ilimitada, pero tenemos que cambiar los discos y asegurarnos de que el sistema está en un lugar seguro.

Recomendación: para la mayoría de las personas no es necesaria una solución de éste tipo. Sí son muy recomendables para empresas pequeñas y medianas, ya que son una manera muy asequible de almacenar datos de manera fiable. Aún así, para particulares puede merecer la pena en alguno de éstos casos:

• Tenemos que almacenar muchos datos (más de 10 TB)
• Compartimos la solución con otras personas (por ejemplo con nuestra familia). En éste caso se amortiza mejor por el uso

Servicios de almacenamiento en la nube

También podemos recurrir a diferentes servicios en la nube para hacer copias de nuestros datos. Puede ser más cómodo, pero tenemos el problema de que debemos confiar en que nuestro proveedor respetará nuestra privacidad y que tiene la seguridad en regla (para evitar que terceros accedan a nuestros datos).

Algunas opciones son:

• Google Drive: ofrece 15 GB de almacenamiento gratuito, y es compatible con muchos clientes de sincronización. El principal inconveniente es la privacidad.
• OneDrive / iCloud: alternativas de Microsoft y Apple al servicio de Google. Mismo problema, la privacidad.
• Backblaze: tiene un servicio que permite sincronizar una cantidad ilimitada (supuestamente) de datos por una tarifa fija al mes.
• Proton Drive: alternativa más privada a Google Drive.
• Nextcloud: es una plataforma de código abierto que sirve de reemplazo a servicios como Google Drive o iCloud. Se puede contratar de la mano de varios proveedores como ionos o hetzner. También podemos auto-hospedarlo en un servidor que esté bajo nuestro control para garantizar la privacidad de nuestros datos.

Muchos de éstos servicios ofrecen clientes que permiten sincronizar los datos entre varios equipos, para poder disponer de una copia de los datos en todos nuestros equipos. Cada vez que cambiamos un archivo en un equipo, se propagan los cambios en todos.

• No confundir sincronización de datos con copia de seguridad. La sincronización puede propagar operaciones no deseadas como el borrado de datos.
• Para según que amenazas, todas las copias sincronizadas cuentan como una sola.

Si no le tenemos miedo a la línea de comandos, podemos utilizar rclone para sincronizar nuestros datos en la nube. Ésto nos permite acceder a servicios de almacenamiento enfocados a desarrolladores, que son más baratos.

• Por ejemplo Idrive e2 es un servicio de almacenamiento de objetos compatible con S3, con un precio muy asequible.

Recomendaciones finales

En términos generales, la opción más barata y que mejor funciona es comprar un SSD externo para hacer copias periódicas de nuestros datos al mismo.

• También podemos comprar un DAS en el que introducimos varios HDD si necesitamos mucha capacidad (nos dará redundancia)

Procurar evitar utilizar pen drives como parte de nuestra estrategia de copias de seguridad ya que no son nada fiables.

Si tenemos entre 20-100 GB de datos, también puede ser útil adquirir una grabadora de blu-ray. Cada X años podemos hacer una copia de nuestros datos más importantes a un disco nuevo, y así tendremos varias. También es buena idea almacenar alguna de éstas copias en una ubicación remota (nuestra oficina, la casa de un familiar…)

Si tenemos muchos datos, lo mejor es invertir en un NAS. Son una muy buena solución para pequeñas empresas y startups.

También es interesante hacer copias a algún servicio en la nube, pero debemos considerar la privacidad y la seguridad de nuestros datos. Conviene encriptar la información que subimos a la nube.

• Si utilizamos clientes de sincronización, tenemos que tener en cuenta que sirven para hacer copias de los datos en varios dispositivos, pero también pueden sincronizar cambios indeseados.

Para hacer copias de seguridad, es recomendable utilizar borg backup. Borg es una utilidad de línea de comandos que permite copiar periódicamente los datos de un directorio a lo que llaman un repositorio. Éstos repositorios nos ofrecen dos ventajas importantes:

• Almacenan los datos encriptados y comprimidos, ideal para guardarlos en la nube.
• Aplican el principio de deduplicación. Al hacer varias copias del mismo directorio, las copias sucesivas únicamente registran los datos que han cambiado. Ésto permite almacenar copias de distintos momentos temporales de manera eficiente, de modo que podemos restablecer el directorio al estado que tenía en distintos puntos temporales.