Categorías
···
Entrar / Registro
Salario negociable
Checkmate
New York, NY, USA
Favoritos
CompartirComo ingeniero de indicaciones especializado en ciencia de datos y análisis de calidad, diseñarás, probarás y evaluarás indicaciones para sistemas de inteligencia artificial que interactúan con datos reales de restaurantes. Trabajarás de forma transversal para desarrollar soluciones de IA que impulsen la eficiencia operativa, mejoren la interpretación de datos y apoyen decisiones más inteligentes para los operadores de restaurantes. Tu trabajo moldeará directamente el rendimiento de los modelos de IA en entornos dinámicos y de alto riesgo, como el procesamiento de pedidos, informes, automatización del soporte y análisis de rendimiento. Funciones esenciales del puesto: Diseño y evaluación de indicaciones: desarrolla, prueba y perfecciona indicaciones para tareas como generación de texto, respuesta a preguntas, clasificación de datos y extracción de datos estructurados para optimizar el rendimiento de la IA de voz. Análisis basado en datos y medición de calidad: diseña marcos de evaluación y analiza las salidas de las indicaciones utilizando métricas cuantitativas, evaluaciones con intervención humana y comentarios de usuarios para identificar oportunidades de mejora. Experimentación e iteración: realiza experimentos para probar variaciones de indicaciones, mide su impacto empresarial y operativo e itera para mejorar la precisión, consistencia y seguridad. Pruebas de regresión y cumplimiento: desarrolla conjuntos de pruebas de regresión fundamentados en principios utilizando herramientas como LangFuse y Galileo para garantizar que las indicaciones sigan siendo conformes y de alto rendimiento a medida que evolucionan los modelos y los casos de uso. Colaboración entre equipos: trabaja estrechamente con equipos de ciencia de datos, producto, legal, ingeniería y operaciones para alinear el diseño de indicaciones con los objetivos comerciales, flujos de trabajo operativos y requisitos de cumplimiento. Adaptación del modelo y desarrollo de estrategias: gestiona indicaciones en múltiples modelos de lenguaje grande (GPT, LLaMA, Gemini y modelos ajustados por Checkmate), comprendiendo las diferencias entre modelos para optimizar eficazmente sus salidas. Liderazgo y mentoría de equipo: lidera un equipo de analistas centrado en la evaluación de indicaciones y el análisis de calidad de datos, guiando la priorización, experimentación e informes. Colabora con equipos de operaciones para despliegues fluidos y bucles de retroalimentación. Investigación y aprendizaje continuo: mantente actualizado sobre nuevas técnicas de indicaciones, comportamientos de modelos de lenguaje grande, marcos de evaluación y prácticas de seguridad en IA para mantener las soluciones de IA de Checkmate como líderes en su categoría. Requisitos Habilidades sólidas de análisis y ciencia de datos, con experiencia práctica en Python (pandas, NumPy, scikit-learn) Experiencia en el diseño y realización de experimentos y evaluaciones en contextos de IA aplicada o PLN Dominio de SQL y manejo de bases de datos relacionales (por ejemplo, MySQL, PostgreSQL, Oracle, MS SQL) Buen entendimiento de los fundamentos del procesamiento de datos, medición de calidad y pruebas Experiencia liderando equipos de analistas u operaciones, con sólidas habilidades de priorización, mentoría y colaboración Mentalidad orientada a la resolución de problemas, con motivación para explorar, optimizar y automatizar flujos de trabajo Excelentes habilidades de comunicación para presentar conclusiones a partes interesadas técnicas y no técnicas Título universitario en Ciencia de Datos, Informática, Estadística, Ingeniería o campo relacionado Disponibilidad para trabajar en horarios de EE. UU. hasta al menos las 6 p.m. hora del este, con una configuración remota sólida Cualificaciones preferidas Experiencia en flujos de trabajo de evaluación de modelos de lenguaje grande y diseño de indicaciones Conocimiento de herramientas como LangFuse y Galileo para evaluación y análisis de indicaciones Conocimientos de plataformas en la nube (AWS, GCP, Azure) y herramientas de canalización de datos Familiaridad con conceptos de aprendizaje automático y flujos de trabajo de PLN Maestría o doctorado en Ciencia de Datos, Estadística, Informática o campo relacionado Beneficios Plan de atención médica (médico, dental y visual) Plan de jubilación (401k) Seguro de vida (básico, voluntario y por desastre) Tiempo libre remunerado flexible Licencia familiar (maternidad, paternidad) Discapacidad a corto y largo plazo Capacitación y desarrollo Trabajo desde casa Plan de opciones de acciones
Mostrar mapa
Pleasanton, CA, USA