Spark: Infraestructura como Código (Terraform)

Autor: Eduardo Martínez Agrelo

Como Data Engineer Senior, la primera regla es innegociable: nunca creamos servidores haciendo clics manuales en la consola. Si un clúster se borra por error o necesitas replicar tu entorno en otro proyecto, ¿recuerdas qué opciones seleccionaste? Probablemente no. Para eso existe la Infraestructura como Código (IaC).

¿Qué es la Infraestructura como Código (IaC)?

Terraform nos permite definir nuestra infraestructura de Google Cloud en archivos de configuración planos. En lugar de navegar por menús, escribimos un archivo main.tf que describe exactamente lo que necesitamos:

• Data Lake: Un Bucket de Google Cloud Storage para almacenar nuestros datos brutos y procesados.
• Clúster de Dataproc: El motor de Spark, configurado con un nodo maestro y dos nodos trabajadores (workers) listos para computar.

Beneficios de automatizar con Terraform

Al adoptar este enfoque en tus proyectos, obtienes ventajas que cualquier reclutador valorará en tu portafolio:

• Control de versiones: Tu infraestructura vive en Git. Puedes saber quién cambió qué y cuándo, tal como haces con tu código Scala.
• Escalabilidad: Puedes levantar o destruir un entorno completo de Big Data en minutos con un simple comando: terraform apply o terraform destroy.
• Consistencia: Eliminas el error humano. El entorno de desarrollo, pre-producción y producción serán idénticos.

Implementación: De la terminal a la Nube

En este laboratorio, configuraremos los archivos base de Terraform para desplegar nuestro clúster de Dataproc. Veremos cómo mientras Google Cloud realiza el trabajo pesado de aprovisionar las máquinas virtuales, nosotros nos preparamos para ejecutar nuestras transformaciones de Spark.

Recuerda: esta es la base de nuestro proyecto "Streamify". Sin una infraestructura reproducible, el resto del código no tiene donde ejecutarse.

Conclusión: Ingeniería de Datos profesional

Al terminar este laboratorio, habrás dado el primer paso para automatizar tu flujo de trabajo. Has pasado de ser un usuario de la nube a un ingeniero que controla la nube mediante código. Estás listo para empezar a generar esos 10 millones de logs y dominar el procesamiento distribuido.