Ingeniero de prompts para Ciencia de Datos y Análisis de Calidad

Como ingeniero de prompts especializado en Ciencia de Datos y Análisis de Calidad, diseñarás, probarás y evaluarás prompts para sistemas de inteligencia artificial que interactúan con datos reales de restaurantes. Trabajarás de forma transversal para desarrollar soluciones de IA que mejoren la eficiencia operativa, potencien la interpretación de datos y apoyen decisiones más inteligentes para los operadores de restaurantes. Tu trabajo moldeará directamente el rendimiento de los modelos de IA en entornos dinámicos y críticos, como el procesamiento de pedidos, informes, automatización del soporte y análisis de rendimiento. Funciones esenciales del puesto: Diseño y evaluación de prompts: Desarrolla, prueba y perfecciona prompts para tareas como generación de texto, respuesta a preguntas, clasificación de datos y extracción estructurada de datos, con el fin de optimizar el rendimiento de la IA por voz. Análisis basado en datos y medición de calidad: Diseña marcos de evaluación y analiza las salidas de los prompts utilizando métricas cuantitativas, evaluaciones con participación humana y retroalimentación de usuarios para identificar oportunidades de mejora. Experimentación e iteración: Realiza experimentos para probar variaciones de prompts, mide su impacto empresarial y operativo, e itera para mejorar la precisión, consistencia y seguridad. Pruebas de regresión y cumplimiento: Crea conjuntos de pruebas de regresión fundamentados en herramientas como LangFuse y Galileo para garantizar que los prompts sigan siendo conformes y de alto rendimiento a medida que evolucionan los modelos y casos de uso. Colaboración entre equipos: Trabaja estrechamente con equipos de ciencia de datos, producto, legal, ingeniería y operaciones para alinear el diseño de prompts con los objetivos empresariales, flujos de trabajo operativos y requisitos de cumplimiento. Adaptación de modelos y desarrollo de estrategias: Gestiona prompts en múltiples modelos de lenguaje grande (GPT, LLaMA, Gemini y modelos ajustados internamente por Checkmate), comprendiendo las diferencias entre modelos para optimizar eficazmente sus salidas. Liderazgo y mentoría de equipo: Lidera un equipo de analistas enfocado en la evaluación de prompts y el análisis de calidad de datos, guiando la priorización, experimentación e informes. Colabora con equipos de operaciones para garantizar implementaciones fluidas y bucles de retroalimentación eficaces. Investigación y aprendizaje continuo: Mantente actualizado sobre nuevas técnicas de prompting, comportamientos de modelos de lenguaje grande, marcos de evaluación y prácticas de seguridad en IA para mantener las soluciones de IA de Checkmate como las mejores en su clase. Requisitos Habilidades sólidas en análisis y ciencia de datos, con experiencia práctica en Python (pandas, NumPy, scikit-learn) Experiencia en el diseño y realización de experimentos y evaluaciones en contextos de IA aplicada o PLN Dominio de SQL y experiencia trabajando con bases de datos relacionales (por ejemplo, MySQL, PostgreSQL, Oracle, MS SQL) Buen entendimiento de procesamiento de datos, medición de calidad y fundamentos de pruebas Experiencia liderando equipos de analistas u operaciones, con sólidas habilidades de priorización, mentoría y colaboración Mentalidad orientada a la resolución de problemas, con motivación para explorar, optimizar y automatizar flujos de trabajo Excelentes habilidades de comunicación para presentar hallazgos a partes interesadas técnicas y no técnicas Título universitario en Ciencia de Datos, Informática, Estadística, Ingeniería o campo relacionado Disponibilidad para trabajar en horarios de EE. UU. hasta al menos las 6 p. m. hora del este, con una infraestructura remota sólida Cualificaciones preferidas Experiencia con evaluación de modelos de lenguaje grande y flujos de trabajo de ingeniería de prompts Conocimiento de herramientas como LangFuse y Galileo para evaluación y análisis de prompts Conocimientos de plataformas en la nube (AWS, GCP, Azure) y herramientas de canalización de datos Familiaridad con conceptos de aprendizaje automático y flujos de trabajo de PLN Maestría o doctorado en Ciencia de Datos, Estadística, Informática o campo relacionado Beneficios Plan de salud (médico, dental y visual) Plan de jubilación (401k) Seguro de vida (básico, voluntario y por desastres) Tiempo libre pagado flexible Licencia familiar (maternidad, paternidad) Discapacidad a corto y largo plazo Capacitación y desarrollo Trabajo desde casa Plan de opciones de acciones