Categorías
···
Entrar / Registro
Salario negociable
Qode
Florida, USA
Favoritos
CompartirDescripción del trabajo – Ingeniero GCP (BigQuery y GCP) Puesto: Ingeniero GCP Ubicación: Tampa FL, Dallas TX, Basking Ridge NJ Tipo de empleo: 12+ meses Resumen del puesto: Estamos buscando un ingeniero GCP altamente calificado con experiencia en BigQuery y otros servicios de GCP para diseñar, implementar y optimizar soluciones de datos en Google Cloud Platform. El candidato ideal tendrá una sólida experiencia en ingeniería de datos, computación en la nube y procesamiento de datos a gran escala. Responsabilidades principales: Diseñar, desarrollar y optimizar almacenes de datos en BigQuery, asegurando alto rendimiento y eficiencia de costos. Crear y mantener canalizaciones ETL escalables utilizando servicios de GCP como Cloud Dataflow, Cloud Dataproc y Cloud Composer (Airflow). Implementar flujos de trabajo de ingesta, transformación y procesamiento de datos usando Python, SQL y Spark. Trabajar con Cloud Storage, Pub/Sub y Cloud Functions para facilitar el procesamiento de datos en tiempo real y por lotes. Garantizar la seguridad, gobernanza y cumplimiento de los datos mediante IAM, cifrado y registros de auditoría. Colaborar con científicos de datos y analistas para optimizar el rendimiento de las consultas y permitir análisis avanzados. Resolver problemas de rendimiento, optimizar consultas y gestionar costos y uso de recursos en BigQuery. Implementar canalizaciones CI/CD para flujos de trabajo de datos usando Terraform y Cloud Build. Monitorear y mantener la infraestructura de GCP, asegurando confiabilidad y escalabilidad. Habilidades y experiencias requeridas: Más de 10 años de experiencia como ingeniero de datos en GCP o un cargo similar. Amplia experiencia en Google BigQuery: ajuste de rendimiento, particionado, agrupamiento y optimización de costos. Experiencia práctica con herramientas y frameworks ETL, incluyendo Cloud Dataflow (Apache Beam), Cloud Dataproc (Spark) y Cloud Composer (Airflow). Dominio de SQL, Python y scripting en Shell para transformación y automatización de datos. Experiencia con Google Cloud Storage, Pub/Sub y Cloud Functions. Sólido conocimiento de IAM en GCP, mejores prácticas de seguridad y gobernanza de datos. Conocimientos en Terraform, Cloud Build y CI/CD para automatización de infraestructura. Capacidad para trabajar con conjuntos de datos a gran escala y procesamiento de datos en streaming en tiempo real. Experiencia en modelado de datos, diseño de esquemas y técnicas de optimización. Sólidas habilidades analíticas y de resolución de problemas. Cualificaciones preferidas: Certificación GCP Professional Data Engineer es un plus. Experiencia con flujos de trabajo de Machine Learning en GCP (Vertex AI, AutoML, TensorFlow en AI Platform) es un plus. Experiencia con Kubernetes (GKE) e implementaciones en contenedores es un plus.
Mostrar mapa
Chicago, IL, USA