Categorías
···
Entrar / Registro
Resumen: Buscamos un Ingeniero Senior de Calidad para garantizar la fiabilidad, seguridad y corrección de los flujos de trabajo de facturación y cobranzas impulsados por IA mediante evaluaciones automatizadas y prácticas robustas de pruebas. Aspectos destacados: 1. Centrarse en las evaluaciones de agentes de IA, sus integraciones y los servicios de backend. 2. Definir qué significa "bueno" para los flujos de trabajo habilitados por IA y desarrollar evaluaciones automatizadas. 3. Trabajar con requisitos imperfectos y comportamientos no deterministas de la IA. **Descripción:** ---------------- Buscamos un Ingeniero Senior de Calidad para ayudar a garantizar la fiabilidad, seguridad y corrección empresarial de los flujos de trabajo de facturación y cobranzas impulsados por IA. Este puesto se centra en agentes de IA, evaluaciones, integraciones, servicios de backend, API, flujos de trabajo basados en eventos y observabilidad en producción. La persona ayudará a definir qué aspecto tiene lo "bueno" para los flujos de trabajo habilitados por IA, construirá evaluaciones automatizadas que detecten regresiones significativas, investigará fallos en el comportamiento de la aplicación y en las evidencias en la nube, y generará confianza mientras los cambios avanzan rápidamente desde la etapa de refinamiento hasta la producción. Este puesto no consiste principalmente en automatización de navegadores ni en pruebas manuales al final del ciclo. La cobertura de extremo a extremo basada en navegador es importante, pero el núcleo de este puesto radica en validar el comportamiento de los agentes de IA y los flujos de trabajo financieros, operativos e integrados asociados. El candidato ideal debe sentirse cómodo trabajando con requisitos imperfectos, comportamientos no deterministas de la IA, sistemas externos, procesamiento asíncrono y flujos de trabajo de alta consecuencia, donde salidas incorrectas pueden afectar facturas, actividades de cobranza, experiencia del cliente o decisiones operativas. **Requisitos:** ----------------- **Lo que hará usted** * Definir y mantener una estrategia de evaluación para flujos de trabajo impulsados por IA, incluido el comportamiento del agente, la calidad de la salida, la exactitud, la integridad, la seguridad y el cumplimiento de las reglas comerciales. * Desarrollar evaluaciones automatizadas de IA mediante herramientas como DeepEval, Ragas, Promptfoo, LangSmith, Langfuse u otros marcos similares. * Crear y mantener conjuntos de datos representativos para evaluación, ejemplos de referencia (golden examples), suites de regresión, datos sintéticos de prueba y escenarios de casos límite. * Combinar verificaciones deterministas, reglas comerciales, aserciones estructuradas, técnicas de LLM como juez, flujos de revisión humana y evidencias de producción según corresponda. * Integrar las evaluaciones en las canalizaciones CI/CD para detectar regresiones significativas de IA antes del lanzamiento. * Establecer umbrales prácticos de calidad, señales de lanzamiento y flujos de investigación para cambios en indicaciones (prompts), modelos, recuperación de información, herramientas, lógica del agente, datos e integraciones. * Probar API, servicios de backend, flujos de datos, integraciones con terceros, flujos de trabajo asíncronos, reintentos, manejo de errores y resultados en sistemas de destino. * Validar los flujos de trabajo de facturación y cobranzas de extremo a extremo, incluidos el estado del flujo, las transformaciones de datos, los permisos, el comportamiento de los sistemas externos y los resultados que afectan al cliente. * Utilizar Langfuse, CloudWatch, registros (logs), trazas (traces), paneles de control (dashboards) y evidencias de datos para investigar fallos y distinguir defectos del producto del comportamiento del modelo, problemas del entorno, defectos de las pruebas o riesgos aceptados. * Colaborar con los equipos de Producto, Ingeniería, Operaciones y plataforma de IA para aclarar el comportamiento esperado, identificar riesgos temprano y definir una cobertura de validación significativa. * Desarrollar y mantener pruebas automatizadas específicas para API, integraciones y de extremo a extremo. Usar Playwright cuando la cobertura a nivel de navegador sea la forma adecuada de proteger un flujo de trabajo importante. * Convertir defectos escapados, problemas operativos y lecciones aprendidas en producción en evaluaciones más sólidas, mayor cobertura de regresión, mejor observabilidad o salvaguardas adicionales en el proceso de entrega. * Proporcionar una evaluación clara sobre la idoneidad para el lanzamiento basada en los resultados de las evaluaciones, las evidencias de integración, los riesgos conocidos, las señales de producción y las incertidumbres restantes. Experiencia requerida * 5 o más años de experiencia práctica como Ingeniero de Calidad, SDET, Ingeniero de Software, Calidad en IA o experiencia equivalente. * Experiencia demostrable en pruebas de sistemas con componentes de LLM, IA, ML, RAG o agentes. * Experiencia práctica en el diseño, implementación o mantenimiento de evaluaciones automatizadas de IA. Se prefiere fuertemente la experiencia con DeepEval; se acepta experiencia comparable con Ragas, Promptfoo, LangSmith, TruLens, Arize u otras herramientas similares. * Comprensión sólida de cómo evaluar sistemas no deterministas, incluidas las alucinaciones, la corrección parcial, las salidas inconsistentes, los fallos en el uso de herramientas, la calidad de la recuperación de información, las regresiones en indicaciones (prompts) y los cambios en los modelos. * Experiencia en el uso de herramientas de observabilidad o trazado de IA, como Langfuse, LangSmith, Arize Phoenix, Helicone u equivalentes. * Experiencia sólida en pruebas de API, servicios de backend, integraciones y flujos de trabajo basados en datos. * Experiencia en pruebas de sistemas asíncronos o basados en eventos, incluidas colas, reintentos, webhooks, trabajos programados, procesamiento en segundo plano y efectos en sistemas de destino. * Experiencia práctica sólida con AWS y CloudWatch, incluida la investigación del comportamiento de la aplicación mediante registros (logs), métricas, trazas (traces), alarmas y evidencias de servicios en la nube. * Capacidad sólida de programación en Python y/o TypeScript o JavaScript. El candidato debe ser capaz de escribir evaluaciones automatizadas mantenibles, pruebas de API, utilidades de prueba y scripts de validación de datos. * Experiencia en pruebas y automatización de API con herramientas como pytest, Requests, HTTPX, Postman, Bruno, Supertest, pruebas de API con Playwright u otras equivalentes. * Experiencia en el uso de SQL para validar la persistencia de datos, el estado del flujo de trabajo, las transformaciones y los resultados en sistemas de destino. * Experiencia en la integración de pruebas automatizadas y evaluaciones en canalizaciones CI/CD. * Capacidad para investigar de forma independiente fallos complejos que abarquen el comportamiento de la aplicación, las cargas útiles de API, los registros en la nube, los registros de datos, las integraciones y las trazas de IA. Actitud requerida * Tratar la evaluación de IA como una disciplina de ingeniería, no como una verificación puntual de indicaciones (prompts). * Centrarse en el impacto para el cliente y para el negocio, en lugar de en recuentos genéricos de pruebas. * Saber cuándo son necesarias aserciones deterministas y cuándo es apropiada una evaluación probabilística o basada en juicio. * Sentirse cómodo cuestionando requisitos poco claros y transformándolos en expectativas prácticas y comprobables. * Comunicar claramente la incertidumbre y hacer visible el riesgo del lanzamiento sin convertirse en un cuello de botella para la entrega. * Utilizar de forma productiva herramientas de ingeniería asistidas por IA, revisando y validando su salida antes de que afecte al código, a las pruebas o a las decisiones de lanzamiento. Experiencia secundaria pero importante * Experiencia práctica sólida con Playwright y TypeScript para pruebas de extremo a extremo basadas en navegador. * Experiencia en la validación de flujos de trabajo orientados al cliente que impliquen autenticación, permisos, configuración de cuentas, banderas de funciones (feature flags) y límites entre inquilinos (tenant boundaries). * Experiencia en pruebas de contratos (contract testing) con Pact u otras herramientas similares. * Experiencia en validación enfocada en rendimiento, fiabilidad, resiliencia, seguridad de API u OWASP. * Experiencia con BrowserStack u otras plataformas de pruebas multi-navegador. * Experiencia en pruebas de flujos de trabajo financieros, de facturación, emisión de facturas, cobranzas, operativos u otros críticos para el cliente. * Experiencia en despliegues de funciones, planificación de reversión (rollback), verificaciones iniciales en producción (smoke checks), lanzamientos escalonados y monitoreo posterior al lanzamiento. Áreas principales de herramientas Los candidatos más destacados tendrán profundidad práctica en la mayoría de estas áreas: * Evaluaciones de IA: DeepEval, Ragas, Promptfoo, LangSmith, TruLens, marcos personalizados de evaluación * Observabilidad de IA: Langfuse, LangSmith, trazas, análisis de indicaciones (prompts) y versiones, supervisión de costos y latencia * Evidencia en la nube y en producción: AWS, CloudWatch, X-Ray, registros (logs), paneles de control (dashboards), alarmas, métricas * Backend e integraciones: API REST, webhooks, colas, sistemas basados en eventos, transformaciones de datos, integraciones con terceros * Automatización: Python, pytest, TypeScript, automatización de API, CI/CD, GitHub Actions u otras equivalentes * Validación de datos: SQL, validación de datos estructurados, datos sintéticos de prueba, conjuntos de datos para evaluación * Cobertura de extremo a extremo: Playwright y validación de flujos de trabajo basados en navegador cuando protejan riesgos significativos para el cliente Qué significa el éxito Durante los primeros meses, esta persona habrá: * Establecido un enfoque práctico de evaluación para los flujos de trabajo de agentes de IA con mayor riesgo. * Creado suites de regresión repetibles y conjuntos de datos representativos para evaluación. * Incorporado señales de evaluación de IA e integración en la canalización de entrega. * Mejorado la visibilidad de los fallos de los agentes mediante Langfuse, CloudWatch, registros (logs), trazas (traces) y paneles de control (dashboards). * Reforzado la confianza de extremo a extremo en los flujos de trabajo de facturación y cobranzas a través de API, integraciones, flujos de datos y comportamiento orientado al usuario. * Ayudado al equipo a avanzar más rápido al identificar riesgos antes, reducir retrabajo evitable y tomar decisiones de lanzamiento más basadas en evidencias
