Arquitecto de Pruebas de IA

Descripción

Resumen: Caseware busca un visionario Arquitecto de Pruebas de IA para construir una plataforma de "Inteligencia de Calidad" de próxima generación. Aspectos destacados: 1. Liderar el diseño de marcos de pruebas autorreparables 2. Definir una estrategia corporativa de pruebas con enfoque en IA 3. Colaborar con los equipos de producto, ciencia de datos e ingeniería de ML Caseware es una de las primeras empresas fintech de Canadá y ha liderado la industria global de software de auditoría y contabilidad durante más de 30 años, con más de 500 000 usuarios en 130 países y disponible en 16 idiomas distintos. Aunque quizás aún no hayas oído hablar de nosotros (aún), ¡más de 36 000 profesionales de la contabilidad y la auditoría incluyen a Caseware como habilidad en sus perfiles de LinkedIn! ¿Por qué este puesto es fundamental? Como líder en SaaS nativo en la nube, estamos acelerando nuestra transición hacia un futuro con enfoque en IA: incorporamos inteligencia artificial generativa y agentes autónomos en toda nuestra plataforma para ofrecer experiencias de usuario más inteligentes y rápidas. Buscamos un visionario Arquitecto de Pruebas de IA para construir la próxima generación de la plataforma de "Inteligencia de Calidad": una plataforma que aproveche la IA generativa para la creación automatizada de pruebas, la ejecución autorreparable, el análisis predictivo de defectos y la validación rigurosa de nuestras funciones de IA desarrolladas internamente para nuestro público global. Como Arquitecto de Pruebas de IA fundacional, diseñarás marcos escalables y éticos que garanticen confiabilidad, seguridad y cumplimiento normativo, al tiempo que aceleran la velocidad de lanzamiento (con un objetivo del 30\-50 % más rápido mediante pruebas potenciadas por IA). Tu trabajo reducirá los riesgos asociados a los agentes de IA en producción, minimizará las alucinaciones, los sesgos y las exposiciones de seguridad, y empoderará a toda la organización de ingeniería para adoptar prácticas de calidad potenciadas por IA que complementen nuestros consolidados marcos tradicionales. Este puesto de alto impacto se encuentra en la intersección de la Ingeniería de Plataforma, la IA y la Calidad, definiendo cómo construimos inteligencia confiable a escala. *Ubicación: Se trata de un puesto completamente remoto ubicado en Colombia.* **¿Qué harás?** **1\. Estrategia \& Arquitectura de Calidad impulsada por IA** * Diseñar una plataforma integral de "Inteligencia de Calidad" mediante IA generativa para predecir puntos críticos de defectos, optimizar inteligentemente las suites de regresión, generar pruebas automáticamente y habilitar la automatización autorreparable. * Definir una estrategia corporativa de pruebas con enfoque en IA, incluyendo paradigmas de evaluación no deterministas, monitoreo continuo de desviaciones/alucinaciones e integración en todo el ciclo de vida del desarrollo de software (SDLC). * Establecer gobernanza para pruebas éticas de IA, alineada con estándares emergentes. **2\. Marcos de evaluación de modelos de lenguaje grande (LLM) y agentes** * Diseñar e implementar benchmarks avanzados, protocolos de red teaming y pruebas adversarias para agentes de IA internos y funciones generativas, centrándose en tasas de alucinación, sesgo/justicia, inyección de prompts, escapadas (jailbreaks) y desalineación de objetivos. * Construir pipelines de evaluación con rigor estadístico (p. ej., ejecuciones múltiples, LLM como juez, participación humana en el bucle) utilizando herramientas como LangFuse, LangSmith, DeepEval, RAGAS o Arize Phoenix para métricas tales como fidelidad, precisión contextual y cumplimiento de normas de seguridad. * Diseñar entornos de prueba (harnesses) para flujos de trabajo basados en agentes, invocación de herramientas, planificación, simulaciones multiagente y observabilidad posterior a la implementación. **3\. Arquitectura de infraestructura y automatización** * Colaborar con DevOps para integrar pruebas basadas en IA en los pipelines de CI/CD basados en GitHub (p. ej., pruebas generadas por IA, detección predictiva de inestabilidad, control automático con señales de calidad). * Liderar el diseño de marcos de pruebas autorreparables (integrando plugins de IA con Playwright/Cypress o similares) que se adapten a los cambios en la interfaz de usuario o en los modelos con mantenimiento mínimo. * Diseñar la generación de datos sintéticos, mantener conjuntos de datos de referencia (golden datasets) y soluciones de enmascaramiento de datos potenciadas por IA para permitir pruebas de alta fidelidad y cumplimiento de privacidad a escala. **4\. Liderazgo y divulgación interfuncionales** * Colaborar con los equipos de producto, ciencia de datos, ingeniería de ML y seguridad para influir en el diseño de funciones de IA desde el primer día con salvaguardas de calidad. * Divulgar y capacitar: Capacitar a ingenieros de QA tradicionales como probadores potenciados por IA mediante talleres, manuales prácticos y comunidades de práctica. * Impulsar la adopción de mejores prácticas de calidad con IA en toda la organización, incluidos paneles de métricas DORA más indicadores específicos de IA (p. ej., tasa de alucinación, tasa de éxito del red teaming, cobertura de autorreparación). **5\. Observabilidad, métricas y evolución continua** * Definir e implementar telemetría específica de IA para la calidad (p. ej., detección de desviaciones, puntuación de fidelidad, incidencias de cumplimiento) integrada con herramientas como Langfuse. * Establecer bucles de retroalimentación para la iteración de modelos, salvaguardas para pruebas A/B y mitigación proactiva de riesgos en producción. **Desafíos para los que diseñarás soluciones** 1\) Construir evaluaciones confiables para IA no determinista y basada en agentes en un entorno SaaS de rápida evolución. 2\) Escalar la automatización de pruebas autorreparables y generativas sin introducir nueva inestabilidad ni deuda de seguridad. 3\) Equilibrar la velocidad de innovación con rigurosas prácticas de red teaming y salvaguardas éticas para IA orientada al cliente. **Éxito en los primeros 6\-12 meses** 1\) Lanzar la base de la plataforma de "Inteligencia de Calidad" con pipelines potenciados por IA que cubran más del 70 % de las rutas críticas. 2\) Establecer procesos de red teaming/red teaming como código que reduzcan los riesgos de IA de alta gravedad en más del 40 %. 3\) Capacitar a más del 50 % de los equipos de QA/ingeniería en fundamentos de pruebas de IA y lograr mejoras medibles en velocidad y seguridad. 4\) Línea base de precisión: Establecer una línea base del 90 % o superior en la puntuación de fidelidad para todas las funciones potenciadas por RAG. **Lo que aportarás** * 8 o más años de experiencia en Ingeniería de Calidad/Arquitectura de Pruebas en entornos SaaS nativos en la nube, con 2 o más años centrados en pruebas y validación de IA/ML/LLM. * Conocimientos profundos de AWS (serverless, microservicios, IaC con Terraform/CloudFormation) y los ecosistemas de CI/CD de GitHub. * Competencia comprobada en el diseño de aplicaciones y marcos de pruebas basados en LLM (LangChain/LangGraph/LangSmith muy preferidos; alternativas aceptables). * Dominio de la automatización moderna (Playwright, Cypress) con experiencia práctica en la integración de plugins de IA autorreparables o herramientas generativas de pruebas. * Habilidades sólidas de programación en JavaScript/TypeScript y/o Python; comprensión sólida de conceptos fundamentales de IA (transformadores, embeddings, RAG, compensaciones en evaluación). * Experiencia con herramientas de evaluación de LLM como Bedrock Evaluations, Prompt Management, Guardrails, DeepEval, RAGAS, Arize Phoenix, Langfuse. * Experiencia con frameworks/herramientas de red teaming (Cobalt Strike, Sliver, Nmap) y conocimiento de metodologías de pruebas adversarias es un valor añadido. * Liderazgo comprobado: Mentoría de equipos, definición de estándares e impulso del cambio interfuncional en entornos ambiguos y de alto crecimiento. * Licenciatura/Maestría en Ciencias de la Computación, IA/ML o equivalente; certificaciones relevantes son un gran plus. * Excelentes habilidades de comunicación y colaboración en inglés. **Beneficios y ventajas** * Contrato a término indefinido con todos los beneficios legales. * Medicina prepagada. * Seguro de vida y asistencia funeraria. * Ayuda para internet. * Subsidio para oficina en casa. * Remuneración competitiva — por encima del promedio del mercado. * Entorno de trabajo 100 % remoto y excelente equilibrio entre vida laboral y personal. * Oportunidad de trabajar para una empresa líder global en SaaS en pleno crecimiento. * Una cultura que promueve la independencia, la innovación, la confianza y la responsabilidad. * Espacio abierto para ser creativo, innovador y elaborar estrategias para el futuro. * Mentoría por parte de un profesional altamente experimentado. * Presupuesto para capacitación: queremos que crezcas. * 5 días de permiso personal al año. * Complemento por licencia médica hasta un total del 100 % del salario pagado por el empleador desde el día 3 hasta el día 90. * Premio de reconocimiento, con días adicionales de permiso remunerado como reconocimiento por cada año de servicio correspondiente. * Mejora de las vacaciones a partir de los 5 años de servicio. **¿Qué obtienes tú?:** 1\) La innovación está en nuestro núcleo. Trabajamos con tecnología de vanguardia en contabilidad e informes financieros, impulsando constantemente los límites para crear soluciones de software de impacto. 2\) Estamos comprometidos con una cultura colaborativa, donde tus ideas son valoradas y se fomenta el intercambio de conocimientos dentro de un equipo solidario e inclusivo. 3\) El equilibrio entre vida laboral y personal es importante para nosotros. Ofrecemos opciones flexibles de trabajo, oportunidades remotas y generosas políticas de tiempo libre para garantizar un equilibrio saludable. 4\) Ofrecemos una remuneración competitiva, incluido un salario competitivo y beneficios integrales, como seguros médicos y planes de jubilación. 5\) Estamos impulsados por un trabajo de impacto. Tus contribuciones afectan directamente la forma en que nuestros clientes gestionan sus procesos financieros y logran su éxito. 6\) El reconocimiento y las recompensas son importantes para nosotros. Celebramos el esfuerzo mediante programas de reconocimiento, bonos por desempeño y oportunidades de crecimiento profesional. 7\) Aceptamos oportunidades globales. Trabaja en proyectos internacionales y colabora con un equipo diverso y global.