Ingeniero Senior de Big Data

Descripción del puesto: Ingeniero Senior de Big Data – Scala/Spark Ubicación: [CLT/NY/NJ/o Remoto/Híbrido] Tipo: [Tiempo completo/Contrato] Nivel de experiencia: Solo nivel senior   Resumen del puesto Buscamos un Ingeniero Senior de Big Data altamente calificado con sólida experiencia en Scala y Apache Spark para apoyar a nuestro equipo de ingeniería de datos. El candidato ideal debe ser capaz de leer y refactorizar código Scala Spark existente, desarrollar mejoras, crear pruebas unitarias robustas y ayudar a migrar el código a un entorno moderno basado en la nube.   Principales responsabilidades: Analizar y refactorizar código Scala Spark existente para apoyar la migración a nuevos entornos. Escribir y mejorar código Scala Spark con enfoque en rendimiento y mantenibilidad. Desarrollar pruebas unitarias exhaustivas para garantizar la calidad y estabilidad del código. Trabajar con datos almacenados en Amazon S3 (formatos CSV y Parquet). Integrar y manipular datos desde MongoDB. Configurar de forma independiente entornos para validar y probar cambios de código. Ejecutar procedimientos de pruebas manuales y automatizadas. Colaborar dentro de un equipo ágil y contribuir a la planificación de sprints, refinamiento de historias y revisiones. Mantener una comunicación clara y proactiva con los miembros del equipo, gerentes de proyecto y partes interesadas. Habilidades técnicas y calificaciones: Dominio de Scala y Apache Spark para el procesamiento de datos a gran escala. Conocimientos prácticos de Python para scripting y transformación de datos. Experiencia práctica con Amazon Web Services (AWS), incluyendo: S3 AWS Glue Step Functions Experiencia trabajando con MongoDB y datos estructurados/no estructurados. Conocimiento de SQL y frameworks BDD. Experiencia con Terraform para infraestructura como código es un plus. Sólida comprensión del ciclo de vida del desarrollo de software (SDLC), desde el desarrollo hasta el despliegue en producción. Experiencia usando herramientas como Git, Azure DevOps/TFS y JIRA. Capacidad para trabajar en entornos Agile/Scrum. Tecnologías principales: Scala Spark AWS Glue AWS Step Functions Maven Terraform Habilidades blandas: Fuertes habilidades para resolver problemas y atención al detalle. Capacidad para trabajar de forma independiente y como parte de un equipo ágil colaborativo. Excelentes habilidades de comunicación escrita y verbal.