Solicitamos su permiso para obtener datos estadísticos de su navegación en esta web. Si continúa navegando consideramos que acepta el uso de cookies. OK | Política de cookies | Política de Privacidad

Síguenos ...

  • Twitter FacebbokFlickrYouTube CESGA

Servicios PYME's

  • Servicios para Empresas

díxitos Marzo 2019

Big Data

 

1. Introducción

El servicio Big Data permite el procesado de grandes volúmenes de información en paralelo, utilizando la potencia de modernas herramientas que simplifican el notablemente proceso.

El servicio cuenta con dos entornos diferenciados para así poder satisfacer las necesidades de todos los usuarios:

  • Entorno CDH 6.1.1 (Hadoop 3): Ofrece una plataforma basada en Hadoop 3 que soporta los componentes principales del ecosistema de Hadoop.
  • Entorno Platform as a Service (PaaS): Para casos donde se necesita ir más allá de lo que ofrece el ecosistema de Hadoop: Cassandra, MongoDB, Redis, ...

Toda la información sobre cada uno de los entornos está disponible en el portal específico de la plataforma:

https://bigdata.cesga.es

2. Descripción del hardware

El servicio Big Data se compone de un cluster dedicado de 38 nodos (4 nodos maestro y 34 nodos esclavo). Tiene una capacidad bruta de 816 TB y una capacidad de E/S agregada de más de 30 GB/s y dispone de una conexión 10 GbE entre todos los nodos del cluster.

  • 34 Nodos esclavo: Lenovo System x3650 M5

CPU: 2x Intel Xeon E5-2620 v3 @ 2.40GHz
Cores: 12 (2x6)
HyperThreading: Activo (24 threads)
Memoria total: 64GB
Red: 1x10Gbps + 2x1Gbps
Discos: 12x 2TB NL SATA 6Gbps 3.5" G2HS
Controladora: N2215 SAS/SATA HBA

  • 4 Nodos maestro: Lenovo System x3550 M5

CPU: 2x Intel Xeon E5-2620 v3 @ 2.40GHz
Cores: 12 (2x6)
HyperThreading: Activo (24 threads)
Memoria total: 64GB
Red: 1x10Gbps + 2x1Gbps
Discos: 8x 480GB SSD SATA 2.5" MLC G3HS
Controladora: ServeRAID M5210 1GB Cache FastPath

  • Switches:

2x Lenovo RackSwitch G8124E
2x Lenovo RackSwitch G8052
1x Lenovo RackSwitch G7052

3. WebUI: Web Interface

La plataforma dispone de un interfaz web (WebUI) para simplificar el uso de la plataforma a los nuevos usuarios que no han tenido contacto previo con las herramientas Big Data. El WebUI permitie realizar las tareas más comunes de una forma sencilla y es un complemento a la línea de comandos.

 

3. Guia uso y tutoriales

Guía de uso (online):

 https://bigdata.cesga.es/user-guide

Guía de uso (PDF):

https://bigdata.cesga.es/user-guide/CESGA_Hadoop3_User_Guide.pdf

 

 

La plataforma Big Data tiene un portal específico con toda la información, Portal BD|CESGA.