Infiniband… cuando lo que necesitas no es sólo ancho de banda

Si les decimos que Leftraru cuenta con una red Infiniband FDR de 56 GBPS, seguro pensarán de inmediato en que el ancho de banda que tenemos es fenomenal, pero en HPC no todo es ancho de banda.

Un punto muy importante para el HPC es la latencia, y en el caso del hardware de Leftraru esta es menor a  (microsegundo), por puerto.

A lo anterior hay que agregar que el switch es non-blocking y cada puerto puede transmitir hasta 56 Gb/s. Como pueden ver en la captura de pantalla de la consola de administración de uno de los módulos de nuestro switch Infiniband.

Mellanox Leftraru

 

Con esta tecnología, los científicos que utilicen Leftraru podrán hacer cálculos paralelos en mucho menor tiempo que con las instalaciones actuales en Chile, y también podrán tener acceso al sistema de archivos paralelos Lustre instalado dentro de nuestra solución de almacenamiento DDN Exascale, de la cual hablaremos pronto.

La tecnología Infiniband consta de varias partes, hardware y software que la hacen mejor que el conjunto Ethernet/TCP, por lo tanto se necesita implementar una red físicamente distinta e instalar y configurar el protocolo Infiniband en cada uno de los nodos de la red, para que aplicaciones como MPI, que hacen uso de Infiniband, puedan sacar el máximo provecho del protocolo.

La de abajo es una captura de pantalla de un test de latencia hecho en Leftraru:

Captura de pantalla de 2014-08-18 18:23:47

¡Sí!, lo que ven es una latencia de 1 microsegundo…

Configurar esto no es trivial y ha dado trabajo, pero ya funciona, ahora queda hacer las pruebas ancho de banda y con MPI y contrastarlas con Levque, nuestro clúster de producción.