Salario negociable
Qode
Florida, USA
Descripción del trabajo – Ingeniero GCP (BigQuery y GCP) Puesto: Ingeniero GCP Ubicación: Tampa FL, Dallas TX, Basking Ridge NJ Tipo de empleo: 12+ meses Resumen del puesto: Buscamos un ingeniero GCP altamente calificado con experiencia en BigQuery y otros servicios de GCP para diseñar, implementar y optimizar soluciones de datos en Google Cloud Platform. El candidato ideal tendrá una sólida experiencia en ingeniería de datos, computación en la nube y procesamiento de datos a gran escala. Principales responsabilidades: Diseñar, desarrollar y optimizar almacenes de datos en BigQuery, garantizando alto rendimiento y eficiencia de costos. Crear y mantener canalizaciones ETL escalables utilizando servicios de GCP como Cloud Dataflow, Cloud Dataproc y Cloud Composer (Airflow). Implementar flujos de trabajo de ingesta, transformación y procesamiento de datos usando Python, SQL y Spark. Trabajar con Cloud Storage, Pub/Sub y Cloud Functions para facilitar el procesamiento de datos en tiempo real y por lotes. Garantizar la seguridad, gobernanza y cumplimiento de los datos mediante IAM, cifrado y registros de auditoría. Colaborar con científicos de datos y analistas para optimizar el rendimiento de consultas y permitir análisis avanzados. Diagnosticar problemas de rendimiento, optimizar consultas y gestionar costos y uso de recursos en BigQuery. Implementar canalizaciones CI/CD para flujos de trabajo de datos usando Terraform y Cloud Build. Monitorear y mantener la infraestructura GCP, asegurando confiabilidad y escalabilidad. Habilidades y experiencia requeridas: Más de 10 años de experiencia como ingeniero de datos en GCP o puesto similar. Amplia experiencia en Google BigQuery: ajuste de rendimiento, particionado, agrupamiento y optimización de costos. Experiencia práctica con herramientas y frameworks ETL, incluyendo Cloud Dataflow (Apache Beam), Cloud Dataproc (Spark) y Cloud Composer (Airflow). Dominio de SQL, Python y scripts de Shell para transformación y automatización de datos. Experiencia con Google Cloud Storage, Pub/Sub y Cloud Functions. Sólido conocimiento de IAM en GCP, mejores prácticas de seguridad y gobernanza de datos. Conocimientos en Terraform, Cloud Build y CI/CD para automatización de infraestructura. Capacidad para trabajar con conjuntos de datos a gran escala y procesamiento de datos en streaming en tiempo real. Experiencia en modelado de datos, diseño de esquemas y técnicas de optimización. Excelentes habilidades analíticas y de resolución de problemas. Cualificaciones deseables: Certificación GCP de Ingeniero de Datos Profesional es un plus. Experiencia con flujos de trabajo de Machine Learning en GCP (Vertex AI, AutoML, TensorFlow en AI Platform) es un plus. Experiencia con Kubernetes (GKE) e implementaciones basadas en contenedores es un plus.