Ingeniero Principal de Datos - AWS

Descripción

Resumen: Tiger Analytics busca un Ingeniero Principal de Datos para diseñar, construir y mantener canalizaciones de datos escalables en la infraestructura en la nube de AWS, apoyando diversas iniciativas de datos. Aspectos destacados: 1. Diseñar e implementar canalizaciones de datos de extremo a extremo en la infraestructura en la nube de AWS. 2. Implementar flujos de trabajo de procesamiento de datos mediante Databricks, Apache Spark y SQL. 3. Liderar la migración de sistemas de datos heredados a arquitecturas modernas basadas en la nube. Tiger Analytics es una firma consultora de análisis avanzado de rápido crecimiento. Nuestros consultores poseen una profunda experiencia en ciencia de datos, aprendizaje automático e inteligencia artificial. Somos el socio de análisis de confianza de múltiples empresas de la lista Fortune 500, ayudándolas a generar valor empresarial a partir de los datos. Nuestro valor comercial y liderazgo han sido reconocidos por diversas firmas de investigación de mercado, incluidas Forrester y Gartner. Estamos buscando talento de primer nivel mientras continuamos construyendo el mejor equipo global de consultoría analítica del mundo. Como Ingeniero Principal de Datos, será responsable de diseñar, construir y mantener canalizaciones de datos escalables en la infraestructura en la nube de AWS. Trabajará estrechamente con equipos multifuncionales para apoyar iniciativas de análisis de datos, aprendizaje automático e inteligencia empresarial. El candidato ideal contará con amplia experiencia práctica en servicios de AWS, Databricks y Apache Airflow. Responsabilidades clave: Diseñar, desarrollar e implementar canalizaciones de datos de extremo a extremo en la infraestructura en la nube de AWS mediante servicios como Amazon S3, AWS Glue, AWS Lambda, Amazon Redshift, etc. Implementar flujos de trabajo de procesamiento y transformación de datos mediante Databricks, Apache Spark y SQL para satisfacer los requisitos de análisis e informes. Construir y mantener flujos de trabajo de orquestación mediante Apache Airflow para automatizar la ejecución, programación y supervisión de canalizaciones de datos. Liderar la migración de sistemas de datos heredados a arquitecturas modernas basadas en la nube. Desarrollar y mantener canalizaciones CI/CD para flujos de trabajo de datos. Colaborar con científicos de datos, analistas y partes interesadas comerciales para comprender los requisitos de datos y entregar soluciones de datos escalables. Optimizar las canalizaciones de datos en cuanto a rendimiento, fiabilidad y eficiencia de costos, aprovechando las mejores prácticas de AWS y tecnologías nativas de la nube. Requisitos Más de 10 años de experiencia construyendo e implementando canalizaciones de procesamiento de datos a gran escala en entornos productivos. Experiencia práctica en el diseño y construcción de canalizaciones de datos en la infraestructura en la nube de AWS. Conocimientos sólidos de servicios de AWS como Amazon S3, AWS Glue, AWS Lambda, Amazon Redshift, etc. Liderar el diseño, desarrollo y optimización de canalizaciones de datos a gran escala y arquitecturas de data lakehouse mediante Databricks Diseñar e implementar soluciones por lotes y de transmisión en tiempo real aprovechando Apache Spark en Databricks Experiencia práctica con Apache Airflow para orquestar y programar canalizaciones de datos. Comprensión sólida de modelado de datos, principios de diseño de bases de datos y SQL y Spark SQL. Experiencia con sistemas de control de versiones (por ejemplo, Git) y canalizaciones CI/CD. Excelentes habilidades comunicativas y capacidad para colaborar eficazmente con equipos multifuncionales. Fuertes habilidades para la resolución de problemas y atención al detalle. Beneficios Este puesto ofrece una excelente oportunidad para un desarrollo profesional significativo en un entorno emprendedor de rápido crecimiento y gran desafío, con un alto grado de responsabilidad individual.