Desarrollador Líder Java PySpark

Título del puesto: Desarrollador Líder Java + PySpark Ubicación: Dallas TX, Pittsburgh PA, Cleveland OH Tipo de empleo: Tiempo completo Resumen del puesto: Incedo busca un desarrollador Java + PySpark experimentado y competente para unirse a su equipo de ingeniería de datos. El candidato ideal trabajará en el desarrollo de tuberías de datos escalables, integración de datos y microservicios de backend, contribuyendo a plataformas de análisis y conocimientos empresariales. Principales responsabilidades: Diseñar, desarrollar y mantener tuberías de procesamiento de datos escalables utilizando PySpark. Crear y mejorar microservicios/APIs basados en Java para soportar la ingesta y transformación de datos. Colaborar con científicos de datos, analistas de datos y arquitectos para ofrecer soluciones de alta calidad, seguras y eficientes. Optimizar flujos de trabajo de datos y solucionar cuellos de botella de rendimiento. Participar en revisiones de código, discusiones de diseño y proporcionar liderazgo técnico cuando sea necesario. Implementar validación de datos, controles de calidad y mecanismos de manejo de errores. Asegurar el cumplimiento de los estándares de seguridad y conformidad de datos en entornos financieros. Habilidades requeridas: Más de 6 años de experiencia práctica en Java (se prefiere Spring Boot). Más de 3 años de experiencia con PySpark en procesamiento distribuido de datos. Experiencia con el ecosistema de Hadoop, Hive, HDFS y Spark SQL. Comprensión sólida de APIs RESTful, JSON/XML y patrones de integración. Conocimientos avanzados de SQL y modelado de datos. Conocimiento de herramientas CI/CD, Git y metodología Agile. Habilidades preferidas: Experiencia previa en el sector bancario/financiero (especialmente en análisis de riesgos o fraude). Conocimientos de contenerización usando Docker/Kubernetes. Requisitos académicos: Título universitario o de maestría en Ciencias de la Computación, Tecnologías de la Información o campo relacionado. Hágamelo saber si desea adaptar esto a un puesto temporal o remoto, o si desea una versión que incluya solo Python con menos énfasis en Java.