**Descripción de la empresa** Vichara es una firma especializada en productos y servicios para el sector de servicios financieros, con sede central en Nueva York y que desarrolla sistemas para algunos de los bancos de inversión y fondos de cobertura más grandes del mundo. **Descripción del puesto** **Responsabilidades clave** **Arquitectura y diseño de sistemas** * Diseñar, arquitecturar y liderar **sistemas de LLM multiagente** utilizando **LangGraph, LangChain y Promptfoo** para la gestión del ciclo de vida de los prompts y su evaluación comparativa. * Construir canalizaciones de **generación aumentada por recuperación (RAG)** aprovechando **búsquedas vectoriales híbridas** (densas + basadas en palabras clave) mediante **LanceDB, Pinecone o Elasticsearch**. * Definir flujos de trabajo del sistema para resúmenes, enrutamiento de consultas, recuperación y generación de respuestas, garantizando latencia mínima y alta precisión. * Desarrollar **marcos de evaluación RAG** que combinen precisión/recuperación en la recuperación, detección de alucinaciones y métricas de latencia —alineados con los casos de uso de analistas y del negocio. **Integración y ajuste fino de modelos de IA** * Integrar **GPT\-4o, PaLM 2 y modelos de peso abierto (LLaMA, Mistral)** para preguntas y respuestas contextuales específicas de tareas. * Ajustar finamente modelos transformadores (BERT, SentenceTransformers) para clasificación de documentos, resúmenes y análisis de sentimientos. * Gestionar el enrutamiento de prompts y las pruebas de variantes mediante **Promptfoo** u otras herramientas equivalentes. **IA agente y orquestación** * Implementar **arquitecturas multiagente** con flujos modulares —que permitan agentes específicos por tarea para resúmenes, recuperación, clasificación y razonamiento. * Diseñar **comportamientos alternativos y de recuperación** para garantizar robustez en producción. * Emplear **LangGraph** para la orquestación paralela y con estado de agentes, recuperación ante errores y control determinista de flujos. **Ingeniería de datos e infraestructura RAG** * Arquitecturar canalizaciones de ingesta para datos estructurados y no estructurados —incluidos estados financieros, documentos presentados ante reguladores y archivos PDF. * Aprovechar **MongoDB** para el almacenamiento de metadatos y **Redis Streams** para la ejecución asíncrona de tareas y el almacenamiento en caché. * Implementar capas de búsqueda y recuperación basadas en vectores para sistemas de IA de alto rendimiento y baja latencia. **Observabilidad e implementación en producción** * Implementar sistemas de IA de extremo a extremo en **AWS EKS / Azure Kubernetes Service**, integrados con **tuberías CI/CD (Azure DevOps)**. * Crear paneles de **monitorización exhaustivos** mediante **OpenTelemetry** y **Signoz**, que sigan la latencia, la precisión en la recuperación y la salud de la aplicación. * Aplicar rigurosamente pruebas y validación de regresiones mediante conjuntos de datos de referencia y comprobaciones estructuradas de afirmaciones para todas las respuestas de los LLM. **Colaboración multifuncional** * Colaborar con equipos de DevOps, MLOps y desarrollo de aplicaciones para integrar APIs de IA con interfaces de usuario basadas en **React / FastAPI**. * Trabajar con analistas comerciales para traducir requisitos de crédito, cumplimiento y soporte al cliente en flujos de trabajo operativos de agentes de IA. * Capacitar a un pequeño equipo de ingenieros de GenAI y de ingenieros de datos en técnicas RAG, incrustaciones (embeddings) y orquestación. **Cualificaciones** * Experiencia: + 5 años o más como ingeniero de IA o de aprendizaje automático * **Habilidades y experiencia requeridas** * **LLM y GenAI:** GPT\-4o, PaLM 2, LangGraph, LangChain, Promptfoo, SentenceTransformers * **Frameworks RAG:** LanceDB, Pinecone, ElasticSearch, FAISS, MongoDB * **IA agente:** Orquestación multiagente con LangGraph, lógica de enrutamiento, descomposición de tareas * **Ajuste fino:** Ajuste fino de BERT / transformadores específicos del dominio, diseño de marcos de evaluación * **Infraestructura y MLOps:** FastAPI, Docker, Kubernetes (EKS/AKS), Redis Streams, CI/CD en Azure DevOps * **Monitorización:** OpenTelemetry, Signoz, Prometheus * **Lenguajes y herramientas:** Python, SQL, APIs REST, Git, Pandas, NumPy * **Habilidades deseables** * Conocimiento de **recuperación basada en reranker** (MiniLM / CrossEncoder) * Familiaridad con **evaluación y puntuación de prompts** (BLEU, ROUGE, Fidelidad) * Experiencia en el dominio de **riesgo crediticio, banca y análisis de inversiones** * Experiencia en **automatización de benchmarks RAG** y **paneles de evaluación de modelos** **Información adicional**