Resumen: Buscamos un Ingeniero Senior de Big Data altamente cualificado para unirse a un equipo remoto, centrado en proyectos de ingeniería de datos y análisis, incluyendo el desarrollo de pipelines, modelado de datos e implementación en producción. Aspectos destacados: 1. Proyectos emocionantes en ingeniería de datos y análisis 2. Colaborar con equipos multifuncionales 3. Contribuir a las mejores prácticas y estándares Buscamos un **Ingeniero Senior de Big Data** altamente cualificado para unirse a nuestro equipo **remoto**, trabajando en proyectos emocionantes en el campo de la ingeniería de datos y el análisis. En este puesto, será responsable de escribir pipelines de procesamiento por lotes utilizando Spark Scala, colaborar con los equipos de ingesta para crear nuevos pipelines, solucionar y corregir incidencias en producción, probar el código creado, implementar pruebas unitarias e integrales, y desplegar soluciones en producción. También será responsable del modelado de datos, así como de leer datos desde Kafka y procesarlos en modo por lotes. **Responsabilidades** * Escribir pipelines de procesamiento por lotes, colaborando con los equipos de ingesta para crear nuevos pipelines * Solucionar y corregir incidencias en producción, probar el código creado e implementar pruebas unitarias e integrales * Realizar modelado de datos para nuevos productos de datos y leer datos desde Kafka para procesarlos en modo por lotes * Desplegar soluciones en producción y garantizar el funcionamiento fluido de los pipelines * Colaborar con equipos multifuncionales para comprender los requisitos comerciales y traducirlos en soluciones técnicas * Garantizar la calidad, integridad y seguridad de los datos durante todo el ciclo de vida del procesamiento de datos * Contribuir al desarrollo de mejores prácticas y estándares para la ingeniería y el análisis de Big Data **Requisitos** * Un mínimo de 3 años de experiencia en Ingeniería de Software de Datos, con enfoque en tecnologías y plataformas de Big Data * Conocimientos expertos en Snowflake, Amazon Web Services, Python y SQL * Amplia experiencia con Apache Hadoop, Apache Kafka, Apache Spark y Apache Impala * Experiencia en la escritura de pipelines de procesamiento por lotes utilizando Spark Scala y en el despliegue de soluciones en producción * Competencias sólidas en modelado de datos para nuevos productos de datos * Buen conocimiento de los conceptos de ingesta, procesamiento y almacenamiento de datos * Experiencia práctica en la prueba del código creado, la implementación de pruebas unitarias e integrales y la resolución de incidencias en producción * Excelentes habilidades comunicativas y una sólida capacidad de pensamiento crítico para transmitir eficazmente comentarios y perspectivas * Dominio oral y escrito del inglés a nivel intermedio alto o superior, que permita una comunicación efectiva **Deseable** * Experiencia con tecnologías de procesamiento de datos en tiempo real, como Apache Flink o Apache Storm * Conocimientos sobre tecnologías de contenerización, como Docker y Kubernetes * Experiencia trabajando con bases de datos NoSQL, como MongoDB o Cassandra * Familiaridad con conceptos y frameworks de aprendizaje automático, como TensorFlow o PyTorch * Experiencia con herramientas de visualización de datos, como Tableau o Power BI