Ingeniero Senior de Big Data

Descripción del puesto: Ingeniero Senior de Big Data – Scala/Spark Ubicación: [Charlotte NC/NY/NJ o Presencial/Híbrido] Tipo: [Tiempo completo] Nivel de experiencia: Solo nivel senior Descripción general del puesto Estamos buscando un Ingeniero Senior de Big Data altamente calificado con amplia experiencia en Scala y Apache Spark para apoyar a nuestro equipo de ingeniería de datos. El candidato ideal debe ser capaz de leer y refactorizar código existente en Scala Spark, desarrollar mejoras, crear pruebas unitarias robustas y ayudar a migrar el código a un entorno moderno nativo en la nube. Principales responsabilidades: Analizar y refactorizar código existente en Scala Spark para apoyar la migración a nuevos entornos. Escribir y mejorar código en Scala Spark con enfoque en rendimiento y mantenibilidad. Desarrollar pruebas unitarias exhaustivas para garantizar la calidad y estabilidad del código. Trabajar con datos almacenados en Amazon S3 (formatos CSV y Parquet). Integrar y manipular datos desde MongoDB. Configurar de forma independiente entornos para validar y probar cambios en el código. Ejecutar procedimientos de pruebas manuales y automatizadas. Colaborar dentro de un equipo ágil y contribuir a la planificación de sprints, revisión de historias y evaluaciones. Mantener una comunicación clara y proactiva con los miembros del equipo, gerentes de proyecto y partes interesadas. Habilidades técnicas y calificaciones: Dominio de Scala y Apache Spark para el procesamiento de datos a gran escala. Conocimientos prácticos de Python para scripting y transformación de datos. Experiencia práctica con Amazon Web Services (AWS), incluyendo: S3 AWS Glue Step Functions Experiencia trabajando con MongoDB y datos estructurados/no estructurados. Familiaridad con SQL y frameworks BDD. Experiencia con Terraform para infraestructura como código es un plus. Sólida comprensión del ciclo de vida del desarrollo de software (SDLC), desde el desarrollo hasta el despliegue en producción. Experiencia usando herramientas como Git, Azure DevOps/TFS y JIRA. Capacidad para trabajar en entornos ágiles/Scrum. Tecnologías principales: Scala Spark AWS Glue AWS Step Functions Maven Terraform Habilidades blandas: Fuertes capacidades de resolución de problemas y atención al detalle. Capacidad para trabajar de forma independiente y como parte de un equipo ágil colaborativo. Excelentes habilidades de comunicación escrita y verbal.