Categorías
···
Entrar / Registro
Resumen: Caseware busca un arquitecto visionario de pruebas de IA para construir una plataforma de "Inteligencia de Calidad" de próxima generación. Aspectos destacados: 1. Liderar el diseño de marcos de pruebas autorreparables con complementos de IA 2. Definir una estrategia empresarial de pruebas centrada en IA con gobernanza ética 3. Colaborar con los equipos de producto, ciencia de datos, ingeniería de ML y seguridad Caseware es una de las primeras empresas fintech de Canadá, líder mundial en software de auditoría y contabilidad durante más de 30 años, con más de 500 000 usuarios en 130 países y disponible en 16 idiomas distintos. Aunque quizás aún no hayas oído hablar de nosotros (¡aún!), ¡más de 36 000 profesionales de la contabilidad y la auditoría incluyen a Caseware como habilidad en sus perfiles de LinkedIn! ¿Por qué este puesto es fundamental? Como líder en SaaS nativo en la nube, estamos acelerando nuestra transición hacia un futuro centrado en IA: incorporamos IA generativa y agentes autónomos en toda nuestra plataforma para ofrecer experiencias de usuario más inteligentes y rápidas. Buscamos un arquitecto visionario de pruebas de IA para construir la próxima generación de la plataforma de "Inteligencia de Calidad": una plataforma que aproveche la IA generativa para la creación automática de pruebas, la ejecución autorreparable, el análisis predictivo de defectos y la validación rigurosa de nuestras funciones de IA desarrolladas internamente para nuestro público global. Como arquitecto fundacional de pruebas de IA, diseñarás marcos escalables y éticos que garanticen fiabilidad, seguridad y cumplimiento normativo, al tiempo que aceleran la velocidad de lanzamiento (con un objetivo del 30\-50 % más rápido mediante pruebas potenciadas por IA). Tu trabajo reducirá los riesgos asociados a los agentes de IA en producción, minimizará las alucinaciones, los sesgos y las exposiciones de seguridad, y empoderará a toda la organización de ingeniería para adoptar prácticas de calidad potenciadas por IA que complementen nuestros consolidados marcos tradicionales. Este puesto de alto impacto se sitúa en la intersección entre Ingeniería de Plataforma, IA y Calidad, definiendo cómo construimos inteligencia fiable a escala. *Ubicación: Se trata de un puesto completamente remoto ubicado en Colombia.* **¿Qué harás?** **1\. Estrategia \& Arquitectura de Calidad impulsadas por IA** * Diseñar una plataforma integral de "Inteligencia de Calidad" mediante IA generativa para predecir zonas críticas de defectos, optimizar inteligentemente las suites de pruebas de regresión, generar pruebas automáticamente y habilitar la automatización autorreparable. * Definir una estrategia empresarial de pruebas centrada en IA, incluidos paradigmas de evaluación no deterministas, monitoreo continuo de desviaciones/alucinaciones e integración en todo el ciclo de vida del desarrollo de software (SDLC). * Establecer una gobernanza para las pruebas éticas de IA, alineada con estándares emergentes. **2\. Marcos de evaluación de modelos de lenguaje grande (LLM) y agentes** * Diseñar e implementar benchmarks avanzados, protocolos de red teaming y pruebas adversarias para agentes de IA internos y funciones generativas, centrándose en tasas de alucinación, sesgo/justicia, inyección de indicaciones, escapadas (jailbreaks) y desalineación de objetivos. * Construir pipelines de evaluación con rigor estadístico (p. ej., ejecuciones múltiples, LLM como juez, participación humana en el bucle) utilizando herramientas como LangFuse, LangSmith, DeepEval, RAGAS o Arize Phoenix para métricas tales como fidelidad, precisión contextual y cumplimiento de normas de seguridad. * Diseñar entornos de prueba para flujos de trabajo basados en agentes, invocación de herramientas, planificación, simulaciones multiagente y observabilidad tras la implementación. **3\. Arquitectura de infraestructura y automatización** * Colaborar con DevOps para integrar pruebas basadas en IA en los pipelines de CI/CD basados en GitHub (p. ej., pruebas generadas por IA, detección predictiva de inestabilidad, control automático mediante señales de calidad). * Liderar el diseño de marcos de pruebas autorreparables (integrando complementos de IA con Playwright/Cypress o similares) que se adapten a los cambios en la interfaz de usuario o en los modelos con mantenimiento mínimo. * Diseñar soluciones de generación de datos sintéticos, mantener conjuntos de datos de referencia y soluciones de enmascaramiento de datos potenciadas por IA para permitir pruebas de alta fidelidad y compatibles con la privacidad a escala. **4\. Liderazgo transversal y divulgación** * Colaborar con los equipos de producto, ciencia de datos, ingeniería de ML y seguridad para influir desde el primer día en el diseño de funciones de IA con salvaguardias de calidad. * Divulgar y mentorizar: capacitar a ingenieros de QA tradicionales como probadores potenciados por IA mediante talleres, manuales y comunidades de práctica. * Impulsar la adopción generalizada de las mejores prácticas de calidad impulsadas por IA, incluyendo paneles de métricas DORA y métricas específicas de IA (p. ej., tasa de alucinación, tasa de éxito del red teaming, cobertura de autorreparación). **5\. Observabilidad, métricas y evolución continua** * Definir e implementar telemetría específica de calidad de IA (p. ej., detección de desviaciones, puntuación de fidelidad, incidencias de cumplimiento) integrada con herramientas como Langfuse. * Establecer bucles de retroalimentación para la iteración de modelos, salvaguardias para pruebas A/B y mitigación proactiva de riesgos en producción. **Desafíos para los que diseñarás soluciones** 1\) Construir evaluaciones fiables para IA no determinista y basada en agentes en un entorno SaaS dinámico. 2\) Escalar la automatización de pruebas autorreparables y generativas sin introducir nueva inestabilidad ni deudas de seguridad. 3\) Equilibrar la velocidad de innovación con rigurosos procesos de red teaming y salvaguardias éticas para la IA orientada al cliente. **Éxito durante los primeros 6\-12 meses** 1\) Lanzar la base de la plataforma de "Inteligencia de Calidad" con pipelines potenciados por IA que cubran más del 70 % de las rutas críticas. 2\) Establecer procesos de red teaming/red teaming como código que reduzcan los riesgos de IA de alta gravedad en más del 40 %. 3\) Capacitar a más del 50 % de los equipos de QA/ingeniería en fundamentos de pruebas de IA y lograr mejoras medibles en velocidad y seguridad. 4\) Línea base de precisión: establecer una línea base de puntuación de fidelidad del 90 % o superior para todas las funciones impulsadas por RAG. **Lo que aportarás** * 8 o más años de experiencia en Ingeniería de Calidad/Arquitectura de Pruebas en entornos SaaS nativos en la nube, con al menos 2 años centrados en pruebas y validación de IA/ML/LLM. * Conocimientos profundos de AWS (serverless, microservicios, IaC con Terraform/CloudFormation) y ecosistemas de CI/CD de GitHub. * Capacidad comprobada para diseñar aplicaciones basadas en LLM y marcos de pruebas (LangChain/LangGraph/LangSmith altamente valorados; aceptables equivalentes). * Dominio de la automatización moderna (Playwright, Cypress), con experiencia práctica en la integración de complementos de IA autorreparables u otras herramientas generativas de pruebas. * Excelentes habilidades de programación en JavaScript/TypeScript y/o Python; sólida comprensión de conceptos fundamentales de IA (transformadores, incrustaciones, RAG, compromisos en evaluación). * Experiencia con herramientas de evaluación de LLM como Bedrock Evaluations, Prompt Management, Guardrails, DeepEval, RAGAS, Arize Phoenix y Langfuse. * Experiencia con frameworks/herramientas de red teaming (Cobalt Strike, Sliver, Nmap) y conocimiento de metodologías de pruebas adversarias es un plus. * Liderazgo comprobado: mentorización de equipos, definición de estándares e impulso del cambio transversal en entornos ambiguos y de alto crecimiento. * Licenciatura o maestría en Ciencias de la Computación, IA/ML o equivalente; certificaciones relevantes son un gran plus. * Excelentes habilidades de comunicación y colaboración en inglés. **Beneficios y ventajas** * Contrato a término indefinido con todos los beneficios legales. * Medicina prepagada. * Seguro de vida y asistencia funeraria. * Subsidio para internet. * Ayuda para oficina en casa. * Remuneración competitiva — por encima del promedio del mercado. * Entorno de trabajo 100 % remoto y excelente equilibrio entre vida laboral y personal. * Oportunidad de trabajar para una empresa líder global de SaaS en crecimiento. * Una cultura que promueve la independencia, la innovación, la confianza y la responsabilidad. * Espacio abierto para ser creativo, innovador y elaborar estrategias para el futuro. * Mentoría por un profesional altamente experimentado. * Presupuesto para capacitación: queremos que crezcas. * 5 días de permiso personal al año. * Licencia por enfermedad con complemento hasta el 100 % del salario pagado por el empleador desde el día 3 hasta el 90. * Premio de reconocimiento: días adicionales de descanso remunerado como reconocimiento por cada año de servicio correspondiente. * Mejora de vacaciones a partir de los 5 años de servicio. **¿Qué obtienes tú?** 1\) La innovación es nuestro núcleo. Trabajamos con tecnología de vanguardia en contabilidad e informes financieros, empujando constantemente los límites para crear soluciones de software de gran impacto. 2\) Estamos comprometidos con una cultura colaborativa, donde tus ideas son valoradas y se fomenta el intercambio de conocimientos dentro de un equipo solidario e inclusivo. 3\) El equilibrio entre vida laboral y personal es importante para nosotros. Ofrecemos opciones flexibles de trabajo, oportunidades remotas y generosas políticas de tiempo libre para garantizar un sano equilibrio entre vida laboral y personal. 4\) Ofrecemos una remuneración competitiva, incluido un salario competitivo y beneficios integrales como seguro médico y planes de jubilación. 5\) Estamos impulsados por un trabajo de impacto. Tus contribuciones afectan directamente la forma en que nuestros clientes gestionan sus procesos financieros y alcanzan su éxito. 6\) El reconocimiento y las recompensas son importantes para nosotros. Celebramos el esfuerzo mediante programas de reconocimiento, bonos por desempeño y oportunidades de crecimiento profesional. 7\) Aceptamos oportunidades globales. Trabaja en proyectos internacionales y colabora con un equipo diverso y global.
