Ingeniero de datos - Snowflake

Tiger Analytics es una empresa consultora de análisis avanzados en rápido crecimiento. Nuestros consultores aportan una profunda experiencia en Ciencia de Datos, Aprendizaje Automático e Inteligencia Artificial. Somos el socio de análisis de confianza para múltiples empresas de la lista Fortune 500, permitiéndoles generar valor empresarial a partir de los datos. Nuestro valor comercial y liderazgo han sido reconocidos por diversas firmas de investigación de mercado, incluyendo Forrester y Gartner. Estamos buscando talento de primer nivel mientras continuamos construyendo el mejor equipo global de consultoría en análisis de datos del mundo. El Ingeniero de Datos será responsable de diseñar, crear e implementar capacidades avanzadas de análisis. El candidato ideal tendrá amplias habilidades en diseño de bases de datos, se sentirá cómodo trabajando con conjuntos de datos grandes y complejos, tendrá experiencia en la creación de paneles de auto-servicio, manejará herramientas de visualización y podrá aplicar sus habilidades para generar conocimientos que ayuden a resolver desafíos empresariales. Buscamos a alguien que pueda aportar su visión y aplicar cambios positivos para llevar el análisis de datos de la empresa al siguiente nivel. Requisitos Principales responsabilidades: Integración de datos: Implementar y mantener la sincronización de datos entre bases de datos Oracle locales y Snowflake utilizando Kafka y herramientas CDC. Soporte en modelado de datos: Apoyar en el desarrollo y optimización del modelo de datos para Snowflake, asegurando que cumpla con nuestros requisitos de análisis e informes. Desarrollo de canalizaciones de datos: Diseñar, construir y gestionar canalizaciones de datos para el proceso ETL, utilizando Airflow para la orquestación y Python para la creación de scripts, transformando datos crudos en un formato adecuado para nuestro nuevo modelo de datos en Snowflake. Soporte en informes: Colaborar con el arquitecto de datos para garantizar que los datos dentro de Snowflake estén estructurados de forma que permitan informes eficientes y con profundidad analítica. Documentación técnica: Crear y mantener documentación completa de las canalizaciones de datos, procesos ETL y modelos de datos, asegurando que se sigan las mejores prácticas y que el conocimiento se comparta dentro del equipo. Herramientas y competencias: Ingeniería de datos: trayectoria demostrada en el desarrollo y mantenimiento de canalizaciones de datos y proyectos de integración de datos. Bases de datos: amplia experiencia con Oracle, Snowflake y Databricks. Herramientas de integración de datos: dominio del uso de Kafka y herramientas CDC para la ingesta y sincronización de datos. Herramientas de orquestación: experiencia en Airflow para la gestión de flujos de trabajo de canalizaciones de datos. Programación: dominio avanzado de Python y SQL para tareas de procesamiento de datos. Modelado de datos: conocimiento de los principios de modelado de datos y experiencia con soluciones de almacenamiento de datos. Plataformas en la nube: conocimiento de infraestructuras y servicios en la nube, preferiblemente Azure, en relación con la integración de Snowflake y Databricks. Herramientas de colaboración: experiencia con sistemas de control de versiones (como Git) y plataformas de colaboración. Implementación CI/CD: utilizar herramientas CI/CD para automatizar la implementación de canalizaciones de datos y cambios en la infraestructura, asegurando un procesamiento de datos de alta calidad con mínima intervención manual. Comunicación: excelentes habilidades de comunicación y trabajo en equipo, con mentalidad orientada al detalle. Fuertes habilidades analíticas, con capacidad para trabajar de forma independiente y resolver problemas complejos. Requisitos Más de 8 años de experiencia general en la industria, específicamente en ingeniería de datos. Más de 5 años de experiencia construyendo e implementando canalizaciones de procesamiento de datos a gran escala en entornos productivos. Amplia experiencia en Python, SQL y PySpark. Creación y optimización de canalizaciones complejas de procesamiento y transformación de datos usando Python. Experiencia con el "almacén de datos en la nube Snowflake" y la herramienta DBT. Conocimientos avanzados y experiencia práctica en SQL, así como en bases de datos relacionales y creación de consultas (SQL), además de familiaridad con diversos tipos de bases de datos. Comprensión de los sistemas de almacén de datos (DWH) y de la migración de DWH a lagos de datos/Snowflake. Comprensión de los patrones ELT y ETL y cuándo utilizar cada uno. Conocimiento de modelos de datos y transformación de datos hacia dichos modelos. Fuertes habilidades analíticas relacionadas con el trabajo con conjuntos de datos no estructurados. Desarrollo de procesos que apoyen la transformación de datos, estructuras de datos, metadatos, gestión de dependencias y cargas de trabajo. Beneficios Este puesto ofrece una excelente oportunidad de desarrollo profesional significativo en un entorno empresarial dinámico y desafiante, con un alto grado de responsabilidad individual.