Autor: Eduardo Martínez Agrelo
En el capítulo anterior, construimos un potente pipeline de datos con Dataflow. Sin embargo, lo ejecutamos manualmente. En un entorno de producción real, los pipelines deben ejecutarse de forma automática y fiable, a menudo siguiendo un calendario preciso y gestionando dependencias complejas. Aquí es donde entra en juego Google Cloud Composer, el orquestador de flujos de trabajo de GCP.
A medida que las arquitecturas de datos crecen, también lo hace su complejidad. Un orquestador como Cloud Composer se vuelve indispensable para gestionar tareas como:
Cloud Composer es un servicio totalmente gestionado basado en el popular proyecto de código abierto Apache Airflow. Esto significa que puedes usar todo el poder y la flexibilidad de Airflow sin preocuparte por la instalación, el mantenimiento o la escalabilidad de la infraestructura subyacente. Google se encarga de ello.
El concepto central en Airflow (y por tanto en Composer) es el DAG (Directed Acyclic Graph). Un DAG es un script de Python que define un flujo de trabajo. Describe:
En este capítulo, daremos el siguiente paso lógico: tomaremos el pipeline de Dataflow que creamos y lo envolveremos en un DAG de Composer. En la práctica, esto significa que escribiremos un script de Python que le indicará a Composer cómo y cuándo debe ejecutar nuestro job de Dataflow. Aprenderás a definir un calendario, a usar los "Operadores" de Airflow para interactuar con otros servicios de Google Cloud y a desplegar tu DAG en el entorno de Composer para que se ejecute de forma totalmente desatendida.
Si Dataflow es la "fábrica" que procesa los datos, Composer es el "cerebro" que coordina todas las operaciones. Dominar la orquestación de pipelines es una habilidad fundamental para un Ingeniero de Datos, ya que te permite construir sistemas de datos robustos, fiables y escalables. Es la pieza que conecta todos los servicios y asegura que funcionen en armonía para entregar valor de negocio.