Workable
Ingeniero de Indicaciones - Ciencia de Datos y Análisis de Calidad
Como ingeniero de indicaciones especializado en ciencia de datos y análisis de calidad, diseñarás, probarás y evaluarás indicaciones para sistemas de inteligencia artificial que interactúan con datos reales de restaurantes. Trabajarás de forma transversal para desarrollar soluciones de IA que impulsen la eficiencia operativa, mejoren la interpretación de datos y apoyen decisiones más inteligentes para los operadores de restaurantes.
Tu trabajo moldeará directamente el rendimiento de los modelos de IA en entornos dinámicos y de alto riesgo, como el procesamiento de pedidos, informes, automatización del soporte y análisis de rendimiento.
Funciones esenciales del puesto:
Diseño y evaluación de indicaciones: desarrolla, prueba y perfecciona indicaciones para tareas como generación de texto, respuesta a preguntas, clasificación de datos y extracción de datos estructurados para optimizar el rendimiento de la IA de voz.
Análisis basado en datos y medición de calidad: diseña marcos de evaluación y analiza las salidas de las indicaciones utilizando métricas cuantitativas, evaluaciones con intervención humana y comentarios de usuarios para identificar oportunidades de mejora.
Experimentación e iteración: realiza experimentos para probar variaciones de indicaciones, mide su impacto empresarial y operativo e itera para mejorar la precisión, consistencia y seguridad.
Pruebas de regresión y cumplimiento: desarrolla conjuntos de pruebas de regresión fundamentados en principios utilizando herramientas como LangFuse y Galileo para garantizar que las indicaciones sigan siendo conformes y de alto rendimiento a medida que evolucionan los modelos y los casos de uso.
Colaboración entre equipos: trabaja estrechamente con equipos de ciencia de datos, producto, legal, ingeniería y operaciones para alinear el diseño de indicaciones con los objetivos comerciales, flujos de trabajo operativos y requisitos de cumplimiento.
Adaptación del modelo y desarrollo de estrategias: gestiona indicaciones en múltiples modelos de lenguaje grande (GPT, LLaMA, Gemini y modelos ajustados por Checkmate), comprendiendo las diferencias entre modelos para optimizar eficazmente sus salidas.
Liderazgo y mentoría de equipo: lidera un equipo de analistas centrado en la evaluación de indicaciones y el análisis de calidad de datos, guiando la priorización, experimentación e informes. Colabora con equipos de operaciones para despliegues fluidos y bucles de retroalimentación.
Investigación y aprendizaje continuo: mantente actualizado sobre nuevas técnicas de indicaciones, comportamientos de modelos de lenguaje grande, marcos de evaluación y prácticas de seguridad en IA para mantener las soluciones de IA de Checkmate como líderes en su categoría.
Requisitos
Habilidades sólidas de análisis y ciencia de datos, con experiencia práctica en Python (pandas, NumPy, scikit-learn)
Experiencia en el diseño y realización de experimentos y evaluaciones en contextos de IA aplicada o PLN
Dominio de SQL y manejo de bases de datos relacionales (por ejemplo, MySQL, PostgreSQL, Oracle, MS SQL)
Buen entendimiento de los fundamentos del procesamiento de datos, medición de calidad y pruebas
Experiencia liderando equipos de analistas u operaciones, con sólidas habilidades de priorización, mentoría y colaboración
Mentalidad orientada a la resolución de problemas, con motivación para explorar, optimizar y automatizar flujos de trabajo
Excelentes habilidades de comunicación para presentar conclusiones a partes interesadas técnicas y no técnicas
Título universitario en Ciencia de Datos, Informática, Estadística, Ingeniería o campo relacionado
Disponibilidad para trabajar en horarios de EE. UU. hasta al menos las 6 p.m. hora del este, con una configuración remota sólida
Cualificaciones preferidas
Experiencia en flujos de trabajo de evaluación de modelos de lenguaje grande y diseño de indicaciones
Conocimiento de herramientas como LangFuse y Galileo para evaluación y análisis de indicaciones
Conocimientos de plataformas en la nube (AWS, GCP, Azure) y herramientas de canalización de datos
Familiaridad con conceptos de aprendizaje automático y flujos de trabajo de PLN
Maestría o doctorado en Ciencia de Datos, Estadística, Informática o campo relacionado
Beneficios
Plan de atención médica (médico, dental y visual)
Plan de jubilación (401k)
Seguro de vida (básico, voluntario y por desastre)
Tiempo libre remunerado flexible
Licencia familiar (maternidad, paternidad)
Discapacidad a corto y largo plazo
Capacitación y desarrollo
Trabajo desde casa
Plan de opciones de acciones
New York, NY, USA
Salario negociable
Favoritos
Compartir
Mostrar mapa
