Ingeniero/a de datos y científico/a de datos de Databricks Databricks Data Engineer and Scientist
- Remoto (EE. UU.)
- El empleador no indicó el salario
- Tiempo completo
- Publicado hace 17 horas
Traducción automática del anuncio original en inglés.
Se postulará en el sitio web original.
Sobre este empleo
Parra Consulting Group (PCG) busca un/a ingeniero/a de datos y científico/a de datos de Databricks para apoyar el Lakehouse empresarial de importancia crítica de un cliente federal. Este puesto diseña, desarrolla y mantiene canalizaciones de datos sólidas, y aplica conocimientos de ciencia de datos, IA y análisis para convertir datos sin procesar en información útil para la toma de decisiones en toda la empresa.
La persona seleccionada será responsable de lo siguiente:
- Diseñar, desarrollar y mantener canalizaciones de datos integrales y sólidas para un Lakehouse empresarial en Databricks y AWS.
- Desarrollar y gestionar procesos ETL con registro integral y manejo de errores para diagnosticar y resolver problemas.
- Diseñar modelos de datos dentro de una arquitectura medallón Bronze, Silver y Gold, y elegir enfoques dimensionales o relacionales según corresponda.
- Analizar y desglosar SQL heredado complejo, reconstruir canalizaciones y modelos, y comparar los resultados para validar la precisión y el rendimiento.
- Optimizar el rendimiento y la escalabilidad de las canalizaciones mediante técnicas como particionamiento, bucketing y almacenamiento en caché.
- Usar herramientas de programación asistida por IA para acelerar las tareas de análisis de canalizaciones, ingeniería de datos y modelado de datos.
- Contribuir a garantizar la seguridad y el cumplimiento normativo de los datos, y colaborar con equipos multifuncionales para proporcionar datos listos para el análisis.
Calificaciones requeridas
- Licenciatura en Ciencias de la Computación, Ingeniería Informática, Ingeniería, Matemáticas, Física o Sistemas y Tecnología de la Información.
- Más de 8 años de experiencia en el diseño, desarrollo, implementación y gestión de procesos ETL y canalizaciones de datos.
- Capacidad para obtener y mantener una determinación de Public Trust o de idoneidad/aptitud, según los requisitos del cliente.
- Se requiere ciudadanía estadounidense para trabajar en este contrato federal.
Experiencia requerida
- Experiencia en el diseño, desarrollo, implementación y gestión de procesos ETL y canalizaciones de datos con registro integral y manejo de errores.
- Más de 3 años de experiencia en la creación, depuración y optimización de canalizaciones de datos mediante notebooks, clústeres y herramientas de orquestación de trabajos de Databricks, incluidos Delta Lake y Unity Catalog.
- Más de 3 años de experiencia escribiendo código en Python y PySpark para scripts ETL y transformaciones personalizadas.
- Experiencia con herramientas de programación asistida por IA, como Claude Code o Cursor, para apoyar tareas de ingeniería de datos y modelado de datos.
- Experiencia en modelado de datos, incluida la selección de modelos dimensionales o relacionales, dentro de una arquitectura medallón Bronze, Silver y Gold.
- Experiencia con servicios de AWS, incluidos AWS Glue, Amazon S3 y Amazon RDS.
- Conocimientos de técnicas de optimización del rendimiento de ETL, como particionamiento, bucketing y almacenamiento en caché, y experiencia en el diagnóstico de problemas de rendimiento de consultas.
- Capacidad para analizar y desglosar SQL heredado complejo, reconstruir canalizaciones o modelos de datos, y comparar los resultados para validar la precisión y el rendimiento.
Publicado originalmente en Himalayas
Anuncio original en inglés
Parra Consulting Group (PCG) is seeking a Databricks Data Engineer and Scientist to support a federal client’s critical enterprise Lakehouse. This position designs, builds, and maintains robust data pipelines and applies data science, AI, and analytics skills to turn raw data into actionable insights across the business.
This successful candidate will be responsible for the following:
- Design, build, and maintain robust, end-to-end data pipelines for an enterprise Lakehouse on Databricks and AWS.
- Develop and manage ETL processes with comprehensive logging and error handling to troubleshoot and resolve issues.
- Design data models within a Bronze, Silver, and Gold medallion architecture, selecting dimensional or relational approaches as appropriate.
- Analyze and decompose complex legacy SQL, rebuild pipelines and models, and compare results to validate accuracy and performance.
- Optimize pipeline performance and scalability using techniques such as partitioning, bucketing, and caching.
- Use AI-assisted coding tools to accelerate pipeline analysis, data engineering, and data modeling tasks.
- Help ensure data security and compliance, and collaborate with cross-functional teams to deliver analytics-ready data.
Required Qualifications
- Bachelor’s degree in Computer Science, Computer Engineering, Engineering, Math, Physics, or Information Systems and Technology.
- 8+ years of experience designing, developing, deploying, and managing ETL processes and data pipelines.
- Ability to obtain and maintain a Public Trust or Suitability/Fitness determination based on client requirements.
- S. citizenship required to support this federal contract.
Required Experience
- Experience designing, developing, deploying, and managing ETL processes and data pipelines with comprehensive logging and error handling.
- 3+ years of experience building, debugging, and optimizing data pipelines using Databricks notebooks, clusters, and job orchestration tools, including Delta Lake and Unity Catalog.
- 3+ years of experience writing Python and PySpark code for ETL scripts and custom transformations.
- Experience using AI-assisted coding tools, such as Claude Code or Cursor, to support data engineering and data modeling tasks.
- Experience with data modeling, including selecting dimensional or relational models, within a Bronze, Silver, and Gold medallion architecture.
- Experience using AWS services, including AWS Glue, Amazon S3, and Amazon RDS.
- Knowledge of ETL performance optimization techniques, such as partitioning, bucketing, and caching, and experience troubleshooting query performance.
- Ability to analyze and decompose complex legacy SQL, rebuild data pipelines or models, and compare results to validate accuracy and performance.
Originally posted on Himalayas
Los empleadores en JOBUS nunca le pedirán pagar, comprar equipo ni compartir datos bancarios o de Seguro Social antes de una oferta formal. Confianza y seguridad