Ingeniero/a de Datos

Descripción

Resumen: Source Meridian busca un/a Ingeniero/a de Datos para construir y operar una plataforma de datos nativa de AWS que procese datos de reclamaciones sanitarias e identificadores tokenizados. Puntos destacados: 1. Oportunidad de trabajar con una plataforma de datos nativa de AWS y pipelines basados en Spark. 2. Contribuir a modelos dbt y colaborar en un entorno sanitario. 3. Unirse a una empresa tecnológica del sector salud de alto impacto que desarrolla productos con impacto real. **Buscamos un/a Ingeniero/a de Datos para unirse a Source Meridian.** -------------------------------------------------------------- **Acerca de Source Meridian** ------------------------- Source Meridian es una empresa de software de desarrollo que trabaja para resolver los problemas más complejos del sector en las prácticas sanitarias. Nos centramos rigurosamente en tecnologías específicas dentro de los sectores sanitario y de ciencias de la vida: tecnología sanitaria, inteligencia artificial e interoperabilidad sanitaria. **Acerca del puesto** ------------------ Buscamos un/a Ingeniero/a de Datos para ayudar a construir y operar una plataforma de datos nativa de AWS que procese datos de reclamaciones sanitarias e identificadores tokenizados. Diseñarás e implementarás pipelines basados en Spark que transformen, intersecten y enriquezcan conjuntos de datos tokenizados almacenados principalmente en formato Parquet en S3, consultados mediante Athena y otros servicios relacionados de AWS. Este entorno evita intencionalmente plataformas gestionadas de tipo lakehouse (por ejemplo, sin Databricks ni Snowflake): realizarás una ingeniería de datos "real" directamente sobre AWS. **Qué harás** ------------------ * Construir y mantener pipelines Spark para procesar grandes conjuntos de datos Parquet en S3. * Implementar flujos de trabajo de tokenización, incluidas las conversiones entre tokens de tránsito y tokens reales, así como la lógica de intersección/unión de conjuntos de datos. * Procesar y entregar conjuntos de datos de reclamaciones sanitarias para individuos coincidentes, garantizando una asignación precisa de identidades y la integridad de los datos. * Orquestar pipelines de datos mediante Airflow y/o herramientas de orquestación nativas de AWS cuando sea apropiado. * Desarrollar procesos ETL/ELT fiables, probables y observables (reintentos, idempotencia, monitorización, reprocesamiento). * Optimizar el rendimiento y los costos en trabajos Spark, particionamiento/diseño de datos en S3 y patrones de consulta en Athena. * Contribuir a modelos dbt cuando corresponda (transformaciones, documentación, comprobaciones de calidad de datos). * Colaborar con partes interesadas multifuncionales en un entorno sanitario, con especial énfasis en privacidad y manejo seguro de datos. **Cualificaciones requeridas** --------------------------- * 1\-2 años de experiencia profesional en Ingeniería de Datos. * Amplia experiencia con **Apache Spark** (PySpark o Scala), incluidas uniones, intersecciones, particionamiento y ajuste de rendimiento. * Amplia experiencia práctica con la **pila de datos de AWS**, incluyendo: + Amazon S3 (conjuntos de datos Parquet, estrategias de particionamiento, mejores prácticas de diseño de datos) + Amazon Athena (SQL, optimización de consultas, gestión de grandes conjuntos de datos) + Conocimientos sobre patrones nativos de data lake en AWS (conocimientos de Glue Catalog y conceptos de Lake Formation son un plus) * Experiencia en construcción y operación de pipelines mediante **Airflow** (DAGs, programación, dependencias, rellenado retrospectivo). * Excelentes habilidades en **SQL** y sólidos fundamentos de modelado de datos. * Nivel avanzado de inglés: capacidad para liderar discusiones técnicas, redactar documentación clara y trabajar directamente con partes interesadas con sede en Estados Unidos. **Deseable** ---------------- * Experiencia con **dbt** (funcionalidad principal, pruebas, documentación, exposiciones). * Conocimientos sobre datos sanitarios (datos de reclamaciones, elegibilidad, conjuntos de datos a nivel de afiliado). * Experiencia en tokenización, resolución de identidad o flujos de trabajo de datos que preserven la privacidad. * Conocimientos sobre conceptos de seguridad de AWS tales como **IAM, KMS, cifrado y manejo seguro de datos**. * Experiencia ejecutando Spark en AWS (por ejemplo, EMR) o arquitecturas Spark\-on\-containers. **Stack tecnológico** -------------- * Arquitectura nativa de AWS * Amazon S3 \+ Parquet (capa principal de almacenamiento) * Amazon Athena (motor de consultas) * Apache Spark (sin Databricks) * Airflow (orquestación) * dbt (opcional, según corresponda) **Habilidades blandas** --------------- * Liderazgo sólido y empático. * Experiencia demostrada en **interacción con clientes**. * Excelentes **habilidades comunicativas**. * Capacidad sobresaliente para la **gestión de expectativas**. * Mentalidad estratégica con enfoque orientado a soluciones y excelentes habilidades para la toma de decisiones. **Qué ofrecemos** ----------------- Contrato indefinido Entorno de aprendizaje y crecimiento continuo Paquete de beneficios centrado en la salud y el bienestar Salario competitivo según la experiencia **Aplica únicamente si resides en Colombia o Ecuador** En **Source Meridian**, formarás parte de una empresa de **tecnología\-salud** de alto impacto que desarrolla productos que realmente marcan la diferencia. Si cumples con el perfil —o conoces a alguien que podría estar interesado/a— ¡**aplica ahora!** ¡Nos encantaría conocerte