Análisis y optimización de la interfaz de comunicación en sistemas de ficheros en red

Zusammenfassung

Algunas aplicaciones de computación de altas prestaciones (HPC) requieren una rápida y eficiente distribución de datos entre los nodos de un cluster. Algunos ejemplos de estas pueden ser: aplicaciones de análisis de información o de almacenamiento de datos. Los sistemas de almacenamiento en red están adaptándose tanto a los nuevos recursos hardware, entre los que están las tecnologías de almacenamiento de estado sólido SSD, las configuraciones SAN y NAS, y las interfaces de comunicación, como a las necesidades crecientes de capacidad y velocidad que demandan los usuarios y las aplicaciones. La combinación de almacenamiento y comunicación de datos entre ordenadores abre un inmenso abanico de posibilidades en función de qué se comparte y con quien. El intercambio de datos entre computadores es el objetivo principal delas comunicaciones en el campo de la informática. La creciente evolución delas tecnologías de comunicación ha logrado alcanzar un progreso notable permitiendo, entre otros, la comunicación de una fuente con múltiples destinos simultáneamente (comunicaciones uno-a-muchos). A esta forma de comunicación se le conoce como comunicación de grupo o alternativamente también conocida como multicast. El objetivo principal de esta tesis es mejorar la interfaz de comunicación de sistemas de ficheros en red. Para conseguir este objetivo se ha realizado una exploración de diferentes técnicas: channel bonding, el protocolo de socket directo de In finiband, compresión de datos y, finalmente, el uso de transferencias multicast. El resultado de esta exploración previa nos ha permitido dirigir el enfoque especialmente a las comunicaciones multicast. Inicialmente se ha realizado un estudio a fondo de los diversos protocolos multicast fiables que existen en la literatura. El objetivo de este estudio era conocer en mayor detalle las técnicas principales, de tal manera que se tuviera los conocimientos necesarios para poder desarrollar un protocolo que se pueda adaptar a las necesidades de la distribución de datos fiable. En la presente tesis se propone un protocolo multicast que ofrece fiabilidad y control de congestión en múltiples trasferencias multicast (comunicacion muchos-a-muchos) que puede dar soporte a la distribución de datos de los sistemas de ficheros en red. La propuesta del protocolo se basa en: (1) un nuevo mecanismo de control de congestión que evalúa la información de control de los receptores, reduciendo la velocidad de transferencia del emisor, (2) aprovechar la capacidad de difusión múltiple del conmutador, (3) usar IGMP Snooping, que permite reducir la carga de la red reenviando los paquetes solo a los puertos donde los receptores se han asociado a la dirección multicast, y (4) utilizar de forma efi ciente la tecnología de almacenamiento disponible en los nodos, controlando la velocidad de transmisión de los emisores. La implementación se ha desarrollado a nivel de usuario y utiliza la interfaz UDP. En la evaluación de la propuesta se ha utilizado un cluster con las capacidades de software y hardware necesarias. De forma general, los resultados muestran mejoras en el ancho de banda global, evitando la saturación de la red, disminuyendo o evitando la pérdida de paquetes, y reduciendo la sobre carga que incluyen las comunicaciones uno-a-uno (unicast) en la transmision de datos en redes de computadores