Resumen: Buscamos un Ingeniero de Datos Senior con experiencia en PySpark y AWS para construir canalizaciones ETL, arquitecturas de data lake e integrar diversas fuentes de datos. Aspectos destacados: 1. Contribuir a soluciones de datos a gran escala en un entorno dinámico 2. Colaborar con equipos multifuncionales 3. Diseñar y optimizar canalizaciones ETL mediante PySpark y AWS Glue Estamos buscando un **Ingeniero de Datos Senior** experimentado con competencias de nivel experto en PySpark y experiencia práctica en la construcción de canalizaciones ETL, arquitecturas de data lake e integraciones de flujos de datos en AWS para unirse a nuestro equipo. Trabajarás tanto con datos estructurados como no estructurados, ingiriéndolos desde múltiples fuentes de datos locales y empresariales, tales como SAP, Intelex, SQL y OSI PI, hacia entornos AWS. Este puesto ofrece la oportunidad de contribuir a soluciones de datos a gran escala y colaborar con equipos multifuncionales en un entorno dinámico. **Responsabilidades** * Diseñar, desarrollar y optimizar canalizaciones ETL mediante PySpark y trabajos de AWS Glue para procesar grandes volúmenes de datos estructurados y no estructurados * Orquestar flujos de trabajo de datos con Apache Airflow, garantizando una programación fiable, gestión de dependencias y manejo robusto de errores * Construir y mantener flujos de datos desde sistemas locales y empresariales hacia entornos de data lake en AWS * Integrar con fuentes de datos empresariales, incluyendo SAP para datos ERP y operativos, Intelex para datos ambientales, de salud, seguridad y calidad, bases de datos SQL para datos relacionales y OSI PI para datos industriales y de historial de procesos en tiempo real * Desarrollar y gestionar interacciones mediante API para extraer datos desde servicios locales hacia AWS * Gestionar la extracción, transformación y carga de datos en diversos formatos y protocolos * Apoyar el diseño y mantenimiento de arquitecturas de data lake en AWS mediante Amazon S3, AWS Glue y Lake Formation * Asegurar que los datos estén catalogados, particionados y optimizados para análisis e informes * Implementar controles de calidad de datos, validaciones y seguimiento de procedencia (lineage) en todas las canalizaciones **Requisitos** * Experiencia mínima de 3 años en puestos de ingeniería de datos * Competencia avanzada en Python y PySpark para procesamiento de datos y desarrollo de canalizaciones * Sólida experiencia en procesos de Extracción, Transformación y Carga (ETL) * Experiencia en orquestación de flujos de trabajo con Apache Airflow * Trayectoria comprobada en la construcción de canalizaciones de datos productivas en AWS * Experiencia práctica con trabajos de AWS Glue para procesamiento ETL * Conocimientos sobre patrones de data lake, Amazon S3 y técnicas de catalogación de datos * Experiencia en el uso de herramientas nativas de AWS para monitoreo y operaciones * Capacidad para integrar sistemas empresariales mediante API, JDBC o conectores nativos, incluidos SAP, Intelex, bases de datos SQL y OSI PI * Capacidad para trabajar con formatos de datos estructurados y no estructurados * Excelentes habilidades de documentación, comunicación y colaboración * Nivel de inglés B2+ o superior, tanto escrito como hablado **Deseable** * Conocimiento del sector energético, del petróleo y gas o de entornos industriales de datos * Comprensión de los flujos de datos y la terminología relacionados con perforación y terminación de pozos