Resumen: Buscamos un Ingeniero Senior de Big Data para unirse a un equipo remoto, centrado en ingeniería de datos y análisis, desarrollando canalizaciones de procesamiento por lotes, solucionando problemas y garantizando la calidad de los datos. Aspectos destacados: 1. Trabajar en emocionantes proyectos de ingeniería de datos y análisis 2. Colaborar con equipos multifuncionales en soluciones técnicas 3. Contribuir a las mejores prácticas en ingeniería de Big Data Buscamos un **Ingeniero Senior de Big Data** altamente calificado para unirse a nuestro equipo **remoto**, trabajando en proyectos emocionantes en el ámbito de la ingeniería de datos y el análisis. En este puesto, será responsable de escribir canalizaciones de procesamiento por lotes mediante Spark Scala, colaborar con los equipos de ingesta para crear nuevas canalizaciones, solucionar y corregir incidencias en producción, probar el código desarrollado, implementar pruebas unitarias e integrales y desplegar soluciones en producción. También será responsable de la modelización de datos y de leer datos desde Kafka para procesarlos en modo por lotes. **Responsabilidades** * Escribir canalizaciones de procesamiento por lotes, colaborando con los equipos de ingesta para crear nuevas canalizaciones * Solucionar y corregir incidencias en producción, probar el código desarrollado e implementar pruebas unitarias e integrales * Realizar modelización de datos para nuevos productos de datos y leer datos desde Kafka para procesarlos en modo por lotes * Desplegar soluciones en producción y garantizar el funcionamiento fluido de las canalizaciones * Colaborar con equipos multifuncionales para comprender los requisitos comerciales y traducirlos en soluciones técnicas * Garantizar la calidad, integridad y seguridad de los datos durante todo el ciclo de vida del procesamiento de datos * Contribuir al desarrollo de mejores prácticas y estándares para la ingeniería y el análisis de Big Data **Requisitos** * Un mínimo de 3 años de experiencia en Ingeniería de Software de Datos, con especialización en tecnologías y plataformas de Big Data * Conocimientos expertos en Snowflake, Amazon Web Services, Python y SQL * Amplia experiencia con Apache Hadoop, Apache Kafka, Apache Spark y Apache Impala * Experiencia en la escritura de canalizaciones de procesamiento por lotes mediante Spark Scala y en el despliegue de soluciones en producción * Competencias sólidas en modelización de datos para nuevos productos de datos * Buen conocimiento de los conceptos de ingesta, procesamiento y almacenamiento de datos * Experiencia práctica en la prueba del código desarrollado, la implementación de pruebas unitarias e integrales y la solución de incidencias en producción * Excelentes habilidades comunicativas y una sólida capacidad de pensamiento crítico para transmitir eficazmente comentarios y conocimientos * Dominio oral y escrito del inglés a nivel intermedio alto o superior, que permita una comunicación efectiva **Deseable** * Experiencia con tecnologías de procesamiento de datos en tiempo real, como Apache Flink o Apache Storm * Conocimientos de tecnologías de contenerización, como Docker y Kubernetes * Experiencia trabajando con bases de datos NoSQL, como MongoDB o Cassandra * Familiaridad con conceptos y frameworks de aprendizaje automático, como TensorFlow o PyTorch * Experiencia con herramientas de visualización de datos, como Tableau o Power BI