Categorías
···
Entrar / Registro
Resumen: Este rol fundamental de SDET con IA pionera y escala prácticas de pruebas impulsadas por IA desde cero, garantizando capacidades de IA confiables, seguras y de alto rendimiento en toda la organización. Aspectos destacados: 1. Pionero y escalador de prácticas de pruebas impulsadas por IA desde cero 2. Rol fundamental de alto impacto en la función de Calidad de Ingeniería de Plataforma 3. Promotor de una mentalidad organizacional centrada en la calidad y ética de la IA Caseware es una de las empresas fintech originales de Canadá, líder mundial en la industria del software de auditoría y contabilidad durante más de 30 años, con más de 500 000 usuarios en 130 países y disponible en 16 idiomas distintos. Aunque quizás aún no hayas oído hablar de nosotros (¡pronto lo harás!), ¡más de 36 000 profesionales de la contabilidad y la auditoría incluyen a Caseware como habilidad en sus perfiles de LinkedIn! Estamos a la vanguardia de la adopción de IA en nuestra plataforma SaaS nativa en la nube, desarrollando funciones inteligentes y agentivas que transforman la forma en que los usuarios interactúan con nuestro producto. Como **SDET con IA**, pionerarás y escalarás prácticas de pruebas impulsadas por IA desde cero, acelerando así la implementación de capacidades de IA confiables, seguras y de alto rendimiento en toda la organización. Contribuirás en áreas destinadas a reducir los riesgos de despliegue, minimizar las alucinaciones y la deriva, garantizar una IA ética y acelerar los lanzamientos (con un objetivo de ganancias de velocidad del 20\-40 % mediante validaciones automatizadas). Este es un rol de alto impacto y fundamental en la función de Calidad de Ingeniería de Plataforma, donde tu trabajo influirá directamente en la confianza del producto, el cumplimiento normativo y la innovación para nuestros usuarios finales. ***Ubicación: Se trata de un puesto completamente remoto ubicado en Colombia.*** **¿Qué harás?** * Mentalidad centrada en la Calidad y la IA + Desarrollar una estrategia moderna de calidad centrada en la IA para nuestra arquitectura SaaS de rápido crecimiento, incluida la infraestructura fundamental y los sistemas emergentes agentivos/inteligentes. + Integrar mejoras de IA en las canalizaciones CI/CD (por ejemplo, detección predictiva de inestabilidad, generación automatizada de pruebas, scripts de autorreparación) para mejorar el aislamiento, la configuración de datos y la fiabilidad de la ejecución mediante herramientas existentes o mediante propuestas. + Establecer prácticas de pruebas escalables que respalden un crecimiento exponencial y canalizaciones de datos de IA a escala de petabytes. * Estrategia de pruebas centrada en la IA, automatización y evaluación + Diseñar enfoques de pruebas deterministas y estadísticos para sistemas basados en modelos de lenguaje grande (LLM) y agentivos no deterministas, abordando alucinaciones, inyecciones de indicaciones, sesgos, deriva y riesgos de seguridad. + Construir canalizaciones y entornos de evaluación automatizados para verificar la corrección, fidelidad, calidad de recuperación, precisión de generación, llamadas a herramientas, secuencias de planificación y flujos multiagente. + Ejecutar/desarrollar marcos de pruebas para todo el ciclo de vida de la IA: indicaciones, conjuntos de datos, incrustaciones, versiones de modelos, canalizaciones RAG (validación de extremo a extremo) y salvaguardias. + Implementar pruebas de contramedidas (red-teaming), verificaciones de sesgo/equidad y mecanismos de cumplimiento; aprovechar marcos de tendencia para métricas y observabilidad. + Integrar señales de calidad específicas de IA en CI/CD para control automático y monitoreo continuo. * Pruebas transversales y de extremo a extremo + Colaborar estrechamente con los equipos de producto, ciencia de datos, ingeniería de IA y desarrollo para probar funciones de IA, realizar simulaciones multiagente y garantizar la entrega de alta calidad del plan estratégico. + Facilitar el intercambio de conocimientos y la capacitación sobre las mejores prácticas de pruebas de IA en toda la función de Calidad. * Métricas, observabilidad y mejora continua + Impulsar métricas fundamentales (DORA, cobertura/efectividad de pruebas) además de indicadores específicos de IA (por ejemplo, tasa de alucinaciones, precisión contextual, detección de deriva). + Construir paneles de control en tiempo real y apoyar pruebas A/B de modelos con monitoreo posterior al despliegue. * Cultura, mentoría e innovación + Promover una mentalidad organizacional centrada en la calidad y ética de la IA. + Mentorizar a SDET, liderar talleres sobre riesgos/validación de IA e influir en los procesos de diseño, despliegue e incidentes. + Como contratación fundamental, definir hojas de ruta y mejores prácticas para una garantía de calidad sostenible de la IA. **Desafíos que enfrentarás** * Garantizar la fiabilidad de los sistemas agentivos ante la deriva de datos y el comportamiento no determinista. * Escalar las pruebas para una plataforma SaaS global manteniendo tasas bajas de alucinaciones y sólidas salvaguardias de seguridad. * Construir evaluaciones desde cero en un panorama en rápida evolución (por ejemplo, flujos multimodales y agentivos). **Éxito en los primeros 6 meses** * Lanzar marcos y canalizaciones fundamentales de pruebas de IA, logrando una cobertura del 80\-90 % para componentes clave de IA. * Reducir los escapes de defectos relacionados con IA en un 30\-40 % e integrar comprobaciones automatizadas de seguridad y cumplimiento en todos los lanzamientos. * Establecer paneles de métricas y bucles de evaluación que permitan la iteración basada en datos de funciones inteligentes. **Qué aportarás** * 7\+ años en roles de Ingeniería de Calidad/SDET en entornos SaaS nativos en la nube, incluidos 2\+ años de experiencia práctica con sistemas de IA/ML/LLM. * Experiencia especializada en infraestructura de pruebas automatizadas, CI/CD (Jenkins/GitHub Actions) y estrategias de la pirámide de pruebas (unitarias, E2E). * Amplia experiencia en pruebas full-stack (frontend/backend/API) y colaboración con equipos de desarrollo. * Experiencia comprobada en pruebas de LLM, agentes de IA, canalizaciones RAG y riesgos asociados (alucinaciones, inyección de indicaciones, sesgos, deriva). * Competencia en JS/TS, conocimientos prácticos de Python o Java; experiencia con marcos de evaluación de IA (por ejemplo, Ragas, DeepEval, LangChain/LangSmith/LangFuse) y otras herramientas en las que tengas competencia. * Conocimientos de herramientas de pruebas de rendimiento, estrés y carga como K6, JMeter y Blazemeter serían deseables. * Conocimientos de observabilidad (NewRelic), métodos estadísticos de pruebas, pruebas de contramedidas (red-teaming) y prácticas éticas de IA. * Excelentes habilidades comunicativas y de coaching; capacidad para prosperar en entornos ambiguos e impulsar la innovación. * Licenciatura/Maestría en Ciencias de la Computación, IA o campos afines; certificaciones (por ejemplo, ISTQB AI Testing) son un plus. * Excelentes habilidades de comunicación y colaboración en inglés Valoramos la adaptabilidad en este campo de rápido avance: la experiencia equivalente y un portafolio sólido (por ejemplo, contribuciones de código abierto, estudios de caso) son muy valorados. **Beneficios y ventajas** * Contrato a término indefinido con todos los beneficios legales * Medicina prepagada * Seguro de vida y asistencia funeraria * Subsidio para internet * Ayuda para oficina en casa * Remuneración competitiva — por encima del promedio del mercado * Entorno de trabajo 100 % remoto y excelente equilibrio entre vida laboral y personal * Oportunidad de trabajar para una empresa líder global en SaaS en expansión * Una cultura que promueve la independencia, la innovación, la confianza y la responsabilidad * Espacio abierto para ser creativo, innovador y planificar el futuro * Mentoría por parte de un profesional altamente experimentado * Presupuesto para capacitación, queremos que crezcas * 5 días de permiso personal al año * Complemento por licencia médica hasta cubrir el 100 % del salario pagado por el empleador desde el día 3 hasta el 90\. * Premio de reconocimiento, días adicionales de permiso remunerado en reconocimiento al año correspondiente de servicio * Mejora de vacaciones a partir de los 5 años de servicio **¿Qué obtienes tú?:** * La innovación está en nuestro núcleo. Trabajamos con tecnología de vanguardia en contabilidad e informes financieros, empujando constantemente los límites para crear soluciones de software de gran impacto. * Estamos comprometidos con una cultura colaborativa, donde se valoran tus ideas y se fomenta el intercambio de conocimientos dentro de un equipo solidario e inclusivo. * El equilibrio entre vida laboral y personal es importante para nosotros. Ofrecemos opciones laborales flexibles, oportunidades remotas y generosas políticas de tiempo libre para garantizar un equilibrio saludable. * Ofrecemos una remuneración competitiva, incluido un salario competitivo y beneficios integrales como seguro médico y planes de jubilación. * Estamos impulsados por un trabajo de impacto. Tus contribuciones afectan directamente la forma en que nuestros clientes gestionan sus procesos financieros y alcanzan su éxito. * El reconocimiento y las recompensas son importantes para nosotros. Celebramos el trabajo duro mediante programas de reconocimiento, bonos por desempeño y oportunidades de crecimiento profesional. * Aceptamos oportunidades globales. Trabaja en proyectos internacionales y colabora con un equipo diverso y global.
