CARACTERÍSTICAS

Resumen de la plataforma

El Sistema de Supercomputo Abacus-I, se conforma de dos subsistemas SGI ICE-XA (Nodos de CPU) y SGI ICE-X (Nodos de GPU), con un rendimiento Neto de 429 Tflops (284 Tflops Linpack CPUs + 145 Tflops Linpack GPUs), conectados por una Red Infiniband FDR de 56 Gbps con topología en Hipercubo, un Sistema de Almacenamiento Tipo Lustre Seagate ClusterStor 9000 de 1 PB de almacenamiento útil en GRIDRaid y un Sistema de Enfriamiento por Agua.

Descripción del sistema

El sistema de Computo ICE-XA

  • 4 Gabinetes para Servidores Tipo Blade Modelo IP133
    • 36 Ranuras para nodos (2 servidores por Ranura)
    • 4 Switches Infiniband FDR 56Gbps
    • 4 CMC (chassis management controller)
    • 6 Fuentes de poder con capacidad máxima de 3000W
  • 2 Rack para alojar los 4 Gabinetes y formar ½ M-Cell
  • 1 Cooling Rack
  • 1 CDU (cooling distribution unit)

Infiniband

Se tienen 18 conmutadores Infiniband para gabinete ICE-X, integración de fábrica para implementar una Antropología de Hipercubo con todos los nodos: cómputo, GPU, LOGIN y almacenamiento. Con las siguientes características:

  • 16 ASIC de conmutación para 36 puertos Infiniband FDR (56 Gbps)
  • 2 Switches Infiniband FDR de 36 Puertos para la Conexión de Lustre con los nodos de computo

Nodos de cómputo

Se tienen 268 nodos en una ranura, intercalados, con intercambiador de calor basado en agua tibia, en cada nodo se tienen:

  • 2 procesadores Intel Xeon E5-2697v3 de 14 núcleos a 2.6GHz con 30MB cache y 9.6GT/s (4 procesadores en total por ranura)
  • 8 módulos de 16GB RAM DDR4 de 2133MHZ (128GB RAM)
  • 1 HDD SATA de 1TB a 7.2krpm
  • 1 puerto Infiniband FDR al backplane

Nodos GPU

50 Nodos GPU tipo server de rack C1104-GP1 con las siguientes características:

  • 2 procesadores Intel Xeon E5-2697v3 de 14 núcleos a 2.6 GHz con 30MB cache, 9.6GT/s
  • 8 módulos de 16GB RAM DDR4 de 2133MHz (128GB RAM)
  • 1 HDD SATA de 1TB a 7.2krpm
  • 1 puerto Infiniband FDR
  • 2 GPU NVIDIA Tesla K40
  • Fuentes de poder redundantes

Nodos Login

2 Nodos de Login tipo server de rack C1104-GP1 con las siguientes características:

  • 2 procesadores Intel Xeon E5-2697v3 de 14 núcleos a 2.6 GHz con 30MB cache, 9.6GT/s
  • 8 tarjetas de 16GB RAM DDR4 de 2133MHz (256GB RAM)
  • 2 HDD SATA de 1TB a 7.2krpm
  • 1 controlador RAID 1
  • 1 puerto Infiniband FDR
  • 2 puertos GE para administración
  • Fuentes de poder redundantes

Administración

Cuenta para su administración con las siguientes características:

  • 2 Rack Leader Controller para participar en la administración del sistema
  • 1 Rack Leader Controllor de refacción
  • 1 System Administrative Controler
  • 1 System Administrative Controler de refacción
  • 1 Consola de 1U con monitor, teclado y mouse para tareas de mantenimiento del sistema
  • 1 Red de administración Gigabit Ethernet configurada con alta disponibilidad

Storage

Sistema almacenamiento en paralelo Lustre, ClusterStor900 de Seagate, con capacidad total de 1.2PB RAW y rendimiento de 25GB/s medido con el Benchmark IOR. Implementado en un Drack con puerta de pasillo caliente enfriada por agua. 2 Switches Gigabit Ethernet en redundancia para la administración interna del ClusterStor 1 Servidor ClusterStor Managment Unite (CMU) de 2U de Rack y 4 nodos, consistente de servidores en un arreglo de alto rendimiento para Managment Servers, Lustre Managment Server (MGS) y Lustre Metadata Servers (MDS):

  • 2 nodos configurados en HA para MGS/MDS, cada uno con:
    • 1 Procesador Intel Xeon E5-2680V2 25MB cache, 8 GT/s
    • 4 Módulos de 16GB RAM DDR3 de 1600MHz(64GB RAM)
    • 1 puerto Infiniband FDR
    • 2 Puertos GE para administración
  • 2 nodos configurados en HA para Managment System, cada uno con:
    • 1 Procesador Intel Xeon E5-2680V2 25MB cache, 8 GT/s
    • 4 Módulos de 8GB RAM DDR3 de 1600MHz
    • 1 puerto Infiniband FDR
    • 2 Puertos GE para administración
  • 1 Unidad de almacenamiento de 2U rack para CMU (Cluster Management Unit) con 24 HDD 600GB 10K RPM distribuidos de la siguiente manera:
    • 14 Discos para MDT configurados en RAID-10
    • 2 Discos para MGT configurados en RAID-1
    • 4 Discos para administración primaria configurados en RAID-10
    • 2 Discos para servidores de NFS, DHCP, y PXE configurados en RAID-1
    • 2 Discos como refacción
  • 4 Storage Service Unit (SSU), gabinete con dos ranuras para servidor tipo blade y 84 ranuras para discos de 3.5” SAS “Near Line”. Cada SSU equipado con:
    • 2 Servidores para las funciones de OSS, cada uno con:
      • 1 Procesador Intel Xeon E5-2680V2 25MB cache, 8 GT/s
      • 4 Módulos de 8GB RAM DDR3 de 1600MHz (32GB RAM)
      • 1 puerto Infiniband FDR
      • 2 Puertos GE para administración
      • 12 Cables 6Gbps SAS
      • 82 4TB HDD 7.2K RPM SAS configurados como 2 GridRaid de 41 discos para OST con Protección de Datos T10-PI
      • 2 SSD 200GB particionados para Bitácoras y Bitmaps de escritura para cada OST

Equipo de enfriamiento

Se cuenta con equipo de enfriamiento con las siguientes características:

  • Chiller
    • HFC Refrigerant R-410-A
    • Mantiene temperatura adecuada entre -18ºC a 21ºC
    • Condensador de aluminio para micro canales
    • Sensor electrónico de aceite
  • Torre de enfriamiento
    • Sistema de distribución de agua