Categorías
···
Entrar / Registro
Resumen: Este rol fundamental de SDET (Ingeniero de Software en Pruebas) con IA dentro de la función de Calidad de Ingeniería de Plataforma se centra en pionerar y escalar prácticas de pruebas impulsadas por inteligencia artificial para garantizar capacidades de IA fiables, seguras y de alto rendimiento, influyendo directamente en la confianza del producto, el cumplimiento normativo y la innovación. Aspectos destacados: 1. Pionerar y escalar prácticas de pruebas impulsadas por inteligencia artificial desde cero 2. Rol de alto impacto que influye en la confianza del producto, el cumplimiento normativo y la innovación 3. Promover una mentalidad organizacional centrada en la calidad y ética de la IA Caseware es una de las primeras empresas fintech de Canadá, líder mundial en software de auditoría y contabilidad durante más de 30 años, con más de 500 000 usuarios en 130 países y disponible en 16 idiomas distintos. Aunque quizás aún no hayas oído hablar de nosotros (¡pronto lo harás!), ¡más de 36 000 profesionales de la contabilidad y la auditoría incluyen a Caseware como habilidad en sus perfiles de LinkedIn! Estamos a la vanguardia de la adopción de IA en nuestra plataforma SaaS nativa en la nube, desarrollando funciones inteligentes y autónomas que transforman la forma en que los usuarios interactúan con nuestro producto. Como **SDET con IA**, pionerarás y escalarás prácticas de pruebas impulsadas por IA desde cero, acelerando así la implementación de capacidades de IA fiables, seguras y de alto rendimiento en toda la organización. Contribuirás en áreas destinadas a reducir los riesgos de despliegue, minimizar las alucinaciones y la deriva, garantizar una IA ética y acelerar los lanzamientos (con un objetivo de ganancias de velocidad del 20\-40 % mediante validaciones automatizadas). Este es un rol fundamental y de alto impacto dentro de la función de Calidad de Ingeniería de Plataforma, donde tu trabajo influirá directamente en la confianza del producto, el cumplimiento normativo y la innovación para nuestros usuarios finales. ***Ubicación: Se trata de un puesto completamente remoto ubicado en Colombia.*** **¿Qué harás?** * Mentalidad centrada en la Calidad y la IA + Evolucionar una estrategia moderna de calidad centrada primero en la IA para nuestra arquitectura SaaS de rápido crecimiento, incluida la infraestructura fundamental y los sistemas emergentes autónomos/inteligentes. + Integrar mejoras basadas en IA en las canalizaciones CI/CD (por ejemplo, detección predictiva de inestabilidad, generación automática de pruebas, scripts autorreparables) para mejorar el aislamiento, la configuración de datos y la fiabilidad de la ejecución mediante herramientas existentes o propuestas. + Establecer prácticas de pruebas escalables que apoyen un crecimiento exponencial y canalizaciones de datos de IA a escala de petabytes. * Estrategia de pruebas centrada en la IA, automatización y evaluación + Diseñar enfoques de pruebas deterministas y estadísticos para sistemas basados en modelos de lenguaje grande (LLM) y sistemas autónomos no deterministas, abordando alucinaciones, inyección de indicaciones, sesgos, deriva y riesgos de seguridad. + Construir canalizaciones y entornos automatizados de evaluación para evaluar corrección, fidelidad, calidad de recuperación, precisión de generación, llamadas a herramientas, secuencias de planificación y flujos multiagente. + Ejecutar/desarrollar marcos de pruebas para todo el ciclo de vida de la IA: indicaciones, conjuntos de datos, incrustaciones, versiones de modelos, canalizaciones RAG (validación de extremo a extremo) y salvaguardias. + Implementar ejercicios de «red teaming», verificaciones de sesgo/equidad y mecanismos de cumplimiento normativo; aprovechar marcos de tendencias para métricas y observabilidad. + Integrar señales de calidad específicas de IA en las canalizaciones CI/CD para control automatizado y monitoreo continuo. * Pruebas transversales y de extremo a extremo + Colaborar estrechamente con los equipos de producto, ciencia de datos, ingeniería de IA y desarrollo para probar funciones de IA, realizar simulaciones multiagente y garantizar una entrega de alta calidad del plan estratégico. + Facilitar el intercambio de conocimientos y la capacitación sobre las mejores prácticas de pruebas de IA en toda la función de Calidad. * Métricas, observabilidad y mejora continua + Impulsar métricas fundamentales (DORA, cobertura/efectividad de pruebas) además de indicadores específicos de IA (por ejemplo, tasa de alucinaciones, precisión contextual, detección de deriva). + Construir paneles de control en tiempo real y apoyar pruebas A/B de modelos con monitoreo posterior al despliegue. * Cultura, tutoría e innovación + Promover una mentalidad organizacional centrada en la calidad y ética de la IA. + Tutorizar a SDET, liderar talleres sobre riesgos/validación de IA e influir en los procesos de diseño, despliegue e incidentes. + Como contratación fundamental, definir hojas de ruta y mejores prácticas para una garantía sostenible de calidad de la IA. **Desafíos que enfrentarás** * Garantizar la fiabilidad de los sistemas autónomos ante la deriva de datos y el comportamiento no determinista. * Escalar las pruebas para una plataforma SaaS global manteniendo bajas tasas de alucinaciones y sólidas salvaguardias de seguridad. * Construir evaluaciones desde cero en un panorama de evolución acelerada (por ejemplo, multimodalidad, flujos autónomos). **Éxito en los primeros 6 meses** * Lanzar marcos y canalizaciones fundamentales de pruebas de IA, logrando una cobertura del 80\-90 % para componentes clave de IA. * Reducir escapes de defectos relacionados con IA en un 30\-40 % e integrar comprobaciones automatizadas de seguridad/cumplimiento normativo en todos los lanzamientos. * Establecer paneles de métricas y bucles de evaluación que permitan la iteración basada en datos de funciones inteligentes. **Lo que aportarás** * 7\+ años en roles de Ingeniería de Calidad/SDET en entornos SaaS nativos en la nube, incluidos 2\+ años de experiencia práctica con sistemas de IA/ML/LLM. * Experiencia especializada en infraestructura de pruebas automatizadas, CI/CD (Jenkins/GitHub Actions) y estrategias de la pirámide de pruebas (unitarias, E2E). * Amplia experiencia en pruebas full-stack (frontend/backend/API) y colaboración con equipos de desarrollo. * Experiencia comprobada en pruebas de modelos de lenguaje grande (LLM), agentes de IA, canalizaciones RAG y riesgos asociados (alucinaciones, inyección de indicaciones, sesgos, deriva). * Competencia en JS/TS, conocimientos prácticos de Python o Java; experiencia con marcos de evaluación de IA (por ejemplo, Ragas, DeepEval, LangChain/LangSmith/LangFuse) y otras herramientas en las que tengas competencia. * Conocimientos de herramientas de pruebas de rendimiento, estrés y carga como K6, JMeter y Blazemeter serían deseables. * Conocimientos de observabilidad (NewRelic), métodos estadísticos de pruebas, «red teaming» y prácticas éticas de IA. * Excelentes habilidades de comunicación y tutoría; capacidad para prosperar en entornos ambiguos e impulsar la innovación. * Licenciatura/Maestría en Ciencias de la Computación, IA o áreas afines; certificaciones (por ejemplo, ISTQB AI Testing) son un plus. * Excelentes habilidades de comunicación y colaboración en inglés Valoramos la adaptabilidad en este campo de rápido avance: se valora altamente la experiencia equivalente y un portafolio sólido (por ejemplo, contribuciones de código abierto, estudios de caso). **Beneficios y ventajas** * Contrato a término indefinido con todos los beneficios legales * Medicina prepagada * Seguro de vida y asistencia funeraria * Ayuda para internet * Subsidio para oficina en casa * Remuneración competitiva — por encima del promedio del mercado * Entorno de trabajo 100 % remoto y excelente equilibrio entre vida laboral y personal * Oportunidad de trabajar para una empresa líder global SaaS en crecimiento * Una cultura que promueve la independencia, la innovación, la confianza y la responsabilidad * Espacio abierto para ser creativo, innovador y planificar el futuro * Tutoría por un profesional altamente experimentado * Presupuesto para capacitación, queremos que crezcas * 5 días de licencia personal al año * Complemento por licencia médica hasta cubrir el 100 % del salario pagado por el empleador desde el día 3 hasta el 90\. * Premio de reconocimiento, licencia adicional remunerada como reconocimiento por cada año de servicio correspondiente * Mejora de las vacaciones a partir de los 5 años de servicio **¿Qué obtienes tú?:** * La innovación está en nuestro núcleo. Trabajamos con tecnología de vanguardia en contabilidad e informes financieros, empujando constantemente los límites para crear soluciones de software de gran impacto. * Estamos comprometidos con una cultura colaborativa, donde tus ideas son valoradas y se fomenta el intercambio de conocimientos dentro de un equipo solidario e inclusivo. * El equilibrio entre vida laboral y personal es importante para nosotros. Ofrecemos opciones flexibles de trabajo, oportunidades remotas y generosas políticas de licencias para garantizar un equilibrio saludable. * Ofrecemos una remuneración competitiva, incluido un salario competitivo y beneficios integrales como seguro médico y planes de jubilación. * Nos guía un trabajo de impacto. Tus contribuciones afectan directamente la forma en que nuestros clientes gestionan sus procesos financieros y logran su éxito. * El reconocimiento y las recompensas son importantes para nosotros. Celebramos el esfuerzo mediante programas de reconocimiento, bonos por desempeño y oportunidades de crecimiento profesional. * Aceptamos oportunidades globales. Trabaja en proyectos internacionales y colabora con un equipo diverso y global.
