Taller Big Data: Introducción á plataforma Hadoop 3 do CESGA
Neste taller farase unha introdución á nova plataforma Big Data do CESGA. Esta plataforma foi actualizada a Hadoop 3 e inclúe tamén a nova versión de Spark 2.4.
Este taller servirá de introdución ás ferramentas dispoñibles dentro da plataforma Hadoop 3. O taller tamén servirá de base para posteriores talleres sobre ferramentas específicas incluídas na plataforma por exemplo Spark.
Data: 11 de xuño 10:00 a 13:00
Lugar: CESGA, Avda. de Vigo s/n, Campus Vida – Santiago de compostela
Destinatarios: O taller está destinado tanto a usuarios actuais da plataforma Big Data como a novos usuarios que necesiten acceso a ferramentas Big Data.
Que aprenderei durante o taller?
Ao final do taller saberás:
- Como conectarse á plataforma Hadoop 3
- Como transferir datos de xeito eficiente
- As ferramentas que están dispoñibles
- Como lanzar estas ferramentas
Que NON se ensinará durante o taller?
Dado o carácter introductorio do taller e a grande variedade de ferramentas dispoñibles, neste taller non se ensinará a utilizar cada unha das ferramentas, sino que simplemente se amosará como se pode acceder a elas, as principais funcionalidades e como se lanzan.
Posteriormente realizaranse talleres específicos que se centrarán en ferramentas concretas como Spark onde si se ensinará o seu uso en detalle.
Contido
1. Introdución ao servicio Big Data
1.1. Conceptos básicos
1.2. Descrición do hardware
1.3. Descrición do software
2. Conexión ao servicio Hadoop 3
2.1. VPN
2.2. Acceso por líña de comandos: SSH
2.3. Acceso a través do interfaz web: WebUI > HUE
2.4. Acceso por escritorio remoto
3. Transferencia de datos
3.1. Cuotas nos sistemas de ficheiros
3.2. Migración de datos da antiga plataforma
3.3. Como transferir datos de forma eficiente usando o servicio DTN
3.4. Como transferir datos usando SCP
4. Elementos básicos
4.1. HDFS: Almacenamento distribuido
4.2. YARN: Execución e monitorización de traballos
5. Ferramentas dispoñibles
5.1. Spark
5.2. Jupyter
5.3. Hive
5.4. Impala
5.5. Sqoop
5.6. Modules
6. Onde obter información adicional
6.1. Tutoriais
6.2. Guía de usuario
6.3. Documentación oficial