Solicitamos su permiso para obtener datos estadísticos de su navegación en esta web. Si continúa navegando consideramos que acepta el uso de cookies. OK | Política de cookies | Política de Privacidad

Big Data

 

1. Introdución

O servizo Big Data permite o procesado de grandes volumes de información en paralelo, utilizando a potencia de modernas ferramentas que simplifican o notablemente proceso.

O servizo conta con dúas contornas diferenciadas para así poder satisfacer as necesidades de todos os usuarios:

  • Contorna CDH 6.1.1 ( Hadoop 3): Ofrece unha plataforma baseada en Hadoop 3 que soporta os compoñentes principais do ecosistema de Hadoop.
  • Contorna Platform as a Service ( PaaS): Para casos onde se necesita ir máis aló do que ofrece o ecosistema de Hadoop: Cassandra, MongoDB, Redis, ...

Toda a información sobre cada un das contornas está dispoñible no portal específico da plataforma:

https://bigdata.cesga.es

2. Descrición do hardware

A nova plataforma Big Data componse dun cluster adicado de 38 nodos (4 nodos maestro e 34 nodos esclavo). Ten unha capacidade bruta de 816 TB e unha capacidade de E/S agregada de máis de 30 GB/s e dispón dunha conexión 10 GbE entre todos os nodos do cluster.

  • 34 Nodos esclavo: Lenovo System x3650 M5

CPU: 2x Intel Xeon E5-2620 v3 @ 2.40GHz
Cores: 12 (2x6)
HyperThreading: Activo (24 threads)
Memoria total: 64GB
Rede: 1x10Gbps + 2x1Gbps
Discos: 12x 2TB NL SATA 6Gbps 3.5" G2HS
Controladora: N2215 SAS/SATA HBA

  • 4 Nodos maestro: Lenovo System x3550 M5

CPU: 2x Intel Xeon E5-2620 v3 @ 2.40GHz
Cores: 12 (2x6)
HyperThreading: Activo (24 threads)
Memoria total: 64GB
Rede: 1x10Gbps + 2x1Gbps
Discos: 8x 480GB SSD SATA 2.5" MLC G3HS
Controladora: ServeRAID M5210 1GB Cache FastPath

  • Switches:

2x Lenovo RackSwitch G8124E
2x Lenovo RackSwitch G8052
1x Lenovo RackSwitch G7052

3. WebUI: Interfaz Web

A plataforma dispón dun interface web ( WebUI) para simplificar o uso da plataforma aos novos usuarios que non tiveron contacto previo coas ferramentas Big Data. O WebUI permitie realizar as tarefas máis comúns dunha forma sinxela e é un complemento á liña de comandos.

 

4. Guia uso e tutoriais

Guía de uso (online):

 https://bigdata.cesga.es/user-guide

Guía de uso (PDF):

https://bigdata.cesga.es/user-guide/CESGA_Hadoop3_User_Guide.pdf

A plataforma Big Data ten un portal específico con toda a información, Portal BD|CESGA.