Xa está dispoñible Spark 2 na plataforma Big Data.
Esta nova versión aporta numerosas novidades entre as que destacan melloras no rendemento. Ademais esta nova versión inclúe algoritmos adicionais na librería de Machine Learning MLlib, así como unha nova API de streaming denominada Structured Streaming.
As versións que están dispoñibles actualmente son as versións correspondentes ás dúas ramas principais: 2.1.2 (Outubro 2017) e 2.2.1 (Decembro 2017). A medida que vaian saíndo versións novas iranse incorporando á lista de versións soportadas.
Para poder usalo basta con cargar o módulo correspondente á versión desexada, por exemplo:
module loade spark/2.2.1
E a partir de aí pódense usar os comandos habituais como spark-submit ou start_jupyter, utilizando a versión 2 de spark no canto da 1.6.