Ingeniero de Datos

Descripción

Resumen: Source Meridian busca un Ingeniero de Datos para construir y operar una plataforma de datos nativa de AWS que procese datos de reclamaciones sanitarias, centrándose en canalizaciones basadas en Spark y en la integridad de los datos. Aspectos destacados: 1. Construir y mantener canalizaciones Spark para el procesamiento de grandes volúmenes de datos en S3. 2. Orquestar canalizaciones de datos mediante Airflow y herramientas nativas de AWS. 3. Colaborar en la gestión segura de datos en un entorno sanitario. **Buscamos un Ingeniero de Datos que se una a Source Meridian.** -------------------------------------------------------------- **Acerca de Source Meridian** ------------------------- Source Meridian es una empresa de desarrollo de software que trabaja para resolver los problemas más desafiantes del sector en prácticas sanitarias. Nos enfocamos rigurosamente en tecnologías específicas dentro de los sectores de salud y ciencias de la vida: tecnología sanitaria, inteligencia artificial e interoperabilidad sanitaria. **Acerca del puesto** ------------------ Buscamos un Ingeniero de Datos para ayudar a construir y operar una plataforma de datos nativa de AWS que procese datos de reclamaciones sanitarias y identificadores tokenizados. Diseñarás e implementarás canalizaciones basadas en Spark que transformen, crucen y enriquezcan conjuntos de datos tokenizados almacenados principalmente en formato Parquet en S3, consultables mediante Athena y otros servicios relacionados de AWS. Este entorno evita intencionalmente plataformas gestionadas de tipo lakehouse (por ejemplo, sin Databricks ni Snowflake): realizarás "verdadera" ingeniería de datos directamente sobre AWS. **Sus responsabilidades** ------------------ * Construir y mantener canalizaciones Spark para procesar grandes conjuntos de datos Parquet en S3. * Implementar flujos de trabajo de tokenización, incluidas las conversiones entre tokens de tránsito y tokens reales, así como la lógica de cruce/unión de conjuntos de datos. * Procesar y entregar conjuntos de datos de reclamaciones sanitarias para individuos emparejados, garantizando una asignación precisa de identidades y la integridad de los datos. * Orquestar canalizaciones de datos mediante Airflow y/o herramientas nativas de orquestación de AWS cuando sea apropiado. * Desarrollar procesos ETL/ELT fiables, probables y observables (reintentos, idempotencia, monitoreo, reprocesamiento). * Optimizar el rendimiento y los costos en trabajos Spark, particionamiento/diseño de S3 y patrones de consulta de Athena. * Contribuir a modelos dbt cuando corresponda (transformaciones, documentación, verificaciones de calidad de datos). * Colaborar con partes interesadas multifuncionales en un entorno sanitario, con especial énfasis en privacidad y manejo seguro de datos. **Cualificaciones requeridas** --------------------------- * 1\-2 años de experiencia profesional en Ingeniería de Datos. * Experiencia sólida con **Apache Spark** (PySpark o Scala), incluyendo uniones, cruces, particionamiento y ajuste de rendimiento. * Experiencia práctica avanzada con la **pila de datos de AWS**, incluyendo: + Amazon S3 (conjuntos de datos Parquet, estrategias de partición, mejores prácticas de diseño de datos) + Amazon Athena (SQL, optimización de consultas, gestión de grandes conjuntos de datos) + Conocimientos de patrones nativos de data lake en AWS (conceptos de Glue Catalog y Lake Formation son un plus) * Experiencia en construcción y operación de canalizaciones mediante **Airflow** (DAGs, programación, dependencias, rellenos retrospectivos). * Excelentes habilidades en **SQL** y fundamentos sólidos de modelado de datos. * Nivel avanzado de inglés: capacidad para liderar discusiones técnicas, redactar documentación clara y trabajar directamente con partes interesadas con sede en Estados Unidos. **Deseable** ---------------- * Experiencia con **dbt** (núcleo, pruebas, documentación, exposiciones). * Conocimiento de datos sanitarios (datos de reclamaciones, elegibilidad, conjuntos de datos a nivel de afiliado). * Experiencia en tokenización, resolución de identidad o flujos de trabajo de datos que preserven la privacidad. * Conocimientos de conceptos de seguridad de AWS tales como **IAM, KMS, cifrado y manejo seguro de datos**. * Experiencia ejecutando Spark en AWS (por ejemplo, EMR) o arquitecturas Spark\-on\-containers. **Pila tecnológica** -------------- * Arquitectura nativa de AWS * Amazon S3 \+ Parquet (capa principal de almacenamiento) * Amazon Athena (motor de consultas) * Apache Spark (sin Databricks) * Airflow (orquestación) * dbt (opcional, según corresponda) **Habilidades interpersonales** --------------- * Liderazgo sólido y empático. * Experiencia comprobada en **interacción directa con clientes**. * Excelentes **habilidades comunicativas**. * Fuertes capacidades de **gestión de expectativas**. * Mentalidad estratégica con enfoque orientado a soluciones y sólidas habilidades de toma de decisiones. **Lo que ofrecemos** ----------------- Contrato indefinido Entorno de aprendizaje y crecimiento continuo Paquete de beneficios centrado en la salud y el bienestar Salario competitivo según la experiencia **Postule únicamente si reside en Colombia o Ecuador** En **Source Meridian**, formará parte de una empresa de alta incidencia en el ámbito **tecnología\-salud**, desarrollando productos que realmente marcan la diferencia. Si cumple con el perfil —o conoce a alguien que pueda estar interesado— **¡postule ahora!** Nos encantaría conocerlo