[Oferta laboral - 30813] Desarrollador Senior de Datos (Databricks), Colombia

Descripción

Resumen: Buscamos un Desarrollador Senior de Datos (Databricks) para asumir la propiedad y evolución de una plataforma de datos crítica para la misión, combinando ejecución práctica con liderazgo técnico. Aspectos destacados: 1. Propiedad de una plataforma de datos crítica para la misión que respalda los informes comerciales 2. Columna vertebral técnica para la experiencia en plataformas dentro del equipo 3. Oportunidad de trabajar profundamente en el ecosistema de Databricks En CI\&T ayudamos a grandes empresas a transformar el potencial de la inteligencia artificial en un impacto comercial real mediante la implementación de IA, la ejecución nativa de IA y soluciones tecnológicas integradas al negocio. Con 30 años de experiencia en transformación tecnológica, aceleramos la innovación con experiencia en SDLC Agente, modernización de aplicaciones, Datos e IA, Martech y estrategia empresarial. Somos 8.000 personas de CI\&T en más de 25 países, colaborando para construir soluciones con un impacto real. La IA ya forma parte de cómo trabajamos, evolucionamos e innovamos cada día. Buscamos un Desarrollador Senior de Datos (Databricks) para unirse a nuestro equipo y asumir la propiedad de una plataforma de datos crítica para la misión que respalda los informes y análisis comerciales de nuestro cliente. Esta es una oportunidad para trabajar profundamente en el ecosistema de Databricks —desde la ingesta bruta hasta una capa dimensional completamente modelada— mientras actúa como la columna vertebral técnica de la que el resto del equipo depende para obtener experiencia en plataformas. Este rol combina ejecución práctica con liderazgo técnico: usted será responsable de gestionar y evolucionar los cuadernos (notebooks) en toda la arquitectura de medallón, diseñará y ampliará los artefactos de modelado dimensional que impulsan la inteligencia empresarial de nivel inferior, y servirá como revisor principal y punto de referencia técnico para el equipo. Operará tanto estratégicamente —proponiendo mejoras arquitectónicas y de procesos— como operativamente —solucionando trabajos en producción, desplegando cambios entre entornos y manteniendo actualizada la documentación. El éxito en este rol requiere la capacidad de incorporarse rápidamente a una base de código grande, consolidada y cargada de reglas comerciales, y comenzar a contribuir significativamente en un corto plazo. ### **Responsabilidades** * **Entrega y mejora continua:** Trabajar en incidencias y errores asignados, buscando continuamente oportunidades de mejora más allá de la tarea inmediata —identificando proactivamente deuda técnica, oportunidades de refactorización y brechas de automatización, en lugar de limitar las contribuciones únicamente a lo asignado. * **Propiedad de canalizaciones de datos:** Asumir la propiedad y evolución de los cuadernos (notebooks) en las capas Stage, Bronze, Silver y Gold, desde la ingesta hasta el modelo dimensional consumido por las herramientas de informes de inteligencia empresarial. * **Modelado dimensional:** Diseñar e implementar artefactos de modelado dimensional —hechos, dimensiones y dimensiones con cambios lentos— con una comprensión clara de cómo habilitan los informes de nivel inferior. * **Gestión de flujos de trabajo:** Realizar los cambios necesarios en los trabajos y flujos de procesamiento de datos para apoyar los requisitos comerciales cambiantes. * **Revisión de código y calidad:** Revisar solicitudes de extracción (pull requests) de otros desarrolladores, garantizando la calidad del código, el rendimiento y la coherencia arquitectónica en toda la base de código. * **Gestión de entornos y despliegues:** Desplegar y promover cambios entre entornos (Desarrollo, QA, UAT, Producción), mantener actualizado el seguimiento de despliegues y apoyar las operaciones de entorno, como restaurar entornos o tablas desde otro entorno o desde un punto específico en el tiempo. * **Supervisión y solución de problemas en producción:** Supervisar y solucionar los trabajos diarios en producción, investigando fallos y problemas de rendimiento mediante herramientas nativas de diagnóstico de la plataforma, registros de trabajos (job logs) e historial de tablas. * **Pruebas y automatización:** Mantener y mejorar la canalización de pruebas automatizadas, incluidos los flujos de CI/CD y el marco de pruebas subyacente. * **Documentación:** Mantener actualizada la documentación técnica para que el conocimiento institucional no se pierda a medida que evolucionan las canalizaciones y conexiones de las que depende el equipo. * **Referencia técnica y tutoría:** Actuar como referencia técnica principal para el equipo sobre la plataforma de datos —la persona a la que otros acuden cuando se necesita una experiencia profunda en la plataforma— y apoyar a otros miembros del equipo en temas de modelado y desarrollo de datos. * **Colaboración con partes interesadas:** Proponer y recomendar mejoras arquitectónicas y de procesos, colaborando con las partes interesadas comerciales y técnicas del cliente —incluida la función de arquitectura de datos del cliente— para traducir los requisitos en canalizaciones de datos escalables y bien probadas, manteniendo al mismo tiempo una disposición igualmente sólida para seguir las indicaciones de los líderes técnicos del lado del cliente. ### **Requisitos** * Experiencia sólida en desarrollo de datos, con experiencia comprobada en producción práctica en la plataforma Databricks * Conocimiento avanzado de PySpark (API DataFrame, Spark SQL, UDF, funciones ventana) y Databricks SQL (ANSI SQL, MERGE INTO, COPY INTO, CTE), incluida la optimización de rendimiento como poda de particiones, compactación de archivos, manejo de sesgos y optimización de consultas * Experiencia práctica y sólida con Delta Lake: patrones MERGE/upsert, transacciones ACID, viaje en el tiempo (time travel) y mantenimiento de tablas (OPTIMIZE, VACUUM, ZORDER, agrupación líquida, Change Data Feed) * Experiencia demostrada en la implementación de dimensiones con cambios lentos (Tipo 1 y Tipo 2) y conceptos de modelado dimensional (esquema en estrella, diseño de hechos/dimensiones) —sin requerir haber diseñado un modelo desde cero, pero sí exigiendo la mentalidad necesaria para comprenderlo y ampliarlo * Experiencia con arquitecturas en capas (medallón u otras comparables) en una plataforma de datos en producción, así como con Unity Catalog, trabajos/flujos de trabajo, gestión de secretos y desarrollo basado en cuadernos (notebooks) * Experiencia con Git y Azure DevOps (o equivalente) para control de versiones, solicitudes de extracción (pull requests) y canalizaciones CI/CD, junto con servicios de Microsoft Azure (Key Vault, Service Principal/Managed Identity, Data Lake Storage) * Capacidad para leer y navegar una base de código grande y consolidada (400+ cuadernos), aprender y seguir convenciones existentes en lugar de reescribirlas, y adaptarse rápidamente a un entorno cargado de reglas comerciales * Dominio avanzado del inglés (nivel C1 o superior), con capacidad para trabajar directamente con partes interesadas del cliente con sede en Estados Unidos, proponer recomendaciones técnicas y alinearse con las decisiones tomadas por los líderes técnicos del lado del cliente ### **Deseable** * Experiencia con Databricks Asset Bundles u otros enfoques de Infraestructura como Código (Infrastructure-as-Code) para gestionar trabajos, clústeres y permisos como código * Familiaridad con Delta Live Tables y con Databricks Genie (IA/BI Genie) para consultas en lenguaje natural y análisis conversacionales * Familiaridad con marcos de calidad de datos (por ejemplo, Great Expectations, Soda Core o marcos de validación personalizados) * Experiencia con pytest y databricks-connect para pruebas automatizadas de canalizaciones Spark fuera de la ejecución manual de cuadernos (notebooks) * Familiaridad con Pydantic u otros enfoques de configuración tipada, y experiencia con enfoques de migración/versionado de esquemas (por ejemplo, Flyway, Liquibase o marcos personalizados) * Capacidad para utilizar herramientas de desarrollo asistidas por IA (por ejemplo, GitHub Copilot, Cursor u otras similares) para acelerar los flujos de codificación, depuración y revisión de código \#LI\-JP3 **Nuestros beneficios incluyen:** * Atención médica premium * Vale de comida * Licencias de maternidad y paternidad * Subsidio para servicios móviles * Pago por enfermedad\-Seguro de vida * Universidad CI\&T * Festivos colombianos * Vacaciones pagas Y muchos otros. La colaboración es nuestra superpotencia, la diversidad nos une y la excelencia es nuestro estándar. Valoramos identidades diversas y experiencias vitales distintas, fomentando un entorno laboral diverso, inclusivo y seguro. Animamos a personas de grupos diversos y subrepresentados a postularse a nuestras vacantes.