GenAI Quality Engineer ⚡

En KSR-Global nos encontramos apoyando a un importante cliente del sector bancario en la conformación de su squad de Inteligencia Artificial. Buscamos un(a) GenAI Quality Engineer que combine el rigor del Quality Engineering con el conocimiento técnico de soluciones de IA Generativa, para asegurar la calidad, confiabilidad y seguridad de las soluciones agénticas que el equipo construye.

¿Qué harás en esta posición?

• Definir los criterios de calidad (evals) para las soluciones agénticas construidas.
• Monitorear las métricas para recomendar ajustes a las soluciones y workflows agénticos.
• Evaluar y anticipar el uso de nuevos modelos LLM, manteniendo o mejorando las métricas de calidad.
• Evaluar los llamados a tools de los agentes y proponer ajustes basados en los resultados de las pruebas.
• Colaborar con el AI Product Manager en la construcción de las evals de las soluciones.
• Proponer guardrails para mitigar riesgos y evitar usos indebidos de las soluciones.
• Construir bases de pruebas (pares de prompts y respuestas) que representen distintas casuísticas de la solución.

¿Qué buscamos?

• Formación: Bachiller en Ingeniería de Software, Sistemas o carreras afines.
• +3 años de experiencia como Quality Engineer en proyectos de software, con foco en calidad desde etapas tempranas del desarrollo.
• Al menos 1 año trabajando con soluciones de IA Generativa, agentes o LLMs en entornos productivos.
• Experiencia en diseño y construcción de pruebas para sistemas complejos: funcionales, no funcionales y automatizadas.
• Experiencia comprobada construyendo pruebas para LLMs y agentes: unit test de prompts, golden sets, pruebas de seguridad, edge cases y uso de datos sintéticos.
• Experiencia diseñando y manteniendo evals para agentes (calidad de respuestas, comportamiento esperado, trazabilidad y cumplimiento de objetivos).