La cantidad de datos que los grandes proveedores de computación en la nube ahora almacenan es asombrosa, por lo que no es sorprendente que la mayoría almacene toda esta información como datos comprimidos de una forma u otra, tal como solía comprimir sus archivos en los días de los disquetes. , CD-ROMs y conexiones de bajo ancho de banda. Normalmente, esos sistemas son secretos bien guardados, pero hoy, Microsoft Abra el algoritmo, la especificación de hardware y el código fuente de Verilog para conocer cómo comprime los datos en su nube de Azure. La compañía está contribuyendo todo esto al proyecto Open Compute (OCP).
El proyecto Zipline, como Microsoft llama a este proyecto, puede alcanzar relaciones de compresión 2 veces más altas en comparación con el modelo estándar Zlib-L4 64KB. Para hacer esto, el algoritmo y su implementación de hardware se ajustaron específicamente para el tipo de grandes conjuntos de datos que Microsoft ve en su nube. Debido a que el sistema funciona a nivel de sistemas, prácticamente no hay sobrecarga y Microsoft dice que en realidad puede administrar tasas de rendimiento más altas y una latencia más baja de lo que otros algoritmos pueden lograr actualmente.
Microsoft subraya que también contribuye con el código fuente de Verilog para el lenguaje de transferencia de registros (RTL), es decir, el código de bajo nivel que hace que todo esto funcione. "Contribuir con RTL en este nivel de detalle como fuente abierta para OCP es líder en la industria", escribe Kushagra Vaid, gerente general de infraestructura de hardware de Azure. "Establece un nuevo precedente para impulsar la colaboración sin fricción en el ecosistema OCP para nuevas tecnologías y abrir las puertas para la innovación de hardware a nivel de silicio".
Actualmente, Microsoft está utilizando este sistema en su propia nube de Azure, pero ahora también se está asociando con otros en el proyecto Open Compute. Entre estos socios se encuentran Intel, AMD, Ampere, Arm, Marvell, SiFive, Broadcom, Fungible, Mellanox, NGD Systems, Pure Storage, Synopsys y Cadence.
"Con el tiempo, anticipamos que la tecnología de compresión Project Zipline se abrirá camino en varios segmentos del mercado y modelos de uso como el procesamiento de datos en red, SSD inteligentes, sistemas de archivo, dispositivos en la nube, microprocesadores de propósito general, IoT y dispositivos de borde", escribe Vaid.
Source link