Ingeniero de datos Data Engineer
- New York, NY
- $120,000 – $180,000 por año
- Tiempo completo
- Publicado hace 2 semanas
Se postulará en el sitio web original.
Sobre este empleo
Agencia
DEPARTAMENTO DE SANEAMIENTO
Descripción del puesto
El Departamento de Saneamiento de la Ciudad de Nueva York (DSNY) mantiene la salud, la seguridad y la limpieza de la ciudad mediante la recolección, el reciclaje y la eliminación de residuos, la limpieza de calles y lotes baldíos, y la remoción de nieve y hielo. DSNY es la agencia municipal de saneamiento más grande del país, con casi 10,000 empleados, 59 garajes de distrito y una flota de más de 5,000 camiones, automóviles y otros tipos de equipos. El Departamento retira basura, nieve y hielo de aproximadamente 6,500 millas de calles de la ciudad, y retira escombros de lotes baldíos y vehículos abandonados de las calles de la ciudad. Bajo supervisión general, con considerable margen para ejercer criterio e iniciativa independientes, la persona que ocupe el puesto será responsable del diseño, desarrollo, implementación, mejora, documentación y mantenimiento de sistemas de gestión de bases de datos, soluciones de integración de datos, aplicaciones personalizadas y funciones de software relacionadas que apoyan a la División de Gestión de Operaciones (OMD) del Departamento de Saneamiento. La persona seleccionada se desempeñará como Ingeniero de datos y realizará funciones complejas de ingeniería de datos, integración de datos y análisis en un entorno empresarial multiplataforma. El puesto apoyará iniciativas fundamentales de informes, análisis y operaciones en toda la cartera de proyectos de Gestión de Operaciones de DSNY. Responsabilidades principales: • Realizar análisis de datos, perfilado de datos, modelado de datos, mapeo de origen a destino y actividades de generación de informes para proyectos empresariales de datos y análisis. • Desarrollar y mantener modelos de datos conceptuales, lógicos y físicos para respaldar los requisitos operativos, analíticos y de generación de informes actuales y futuros. • Analizar sistemas de origen heredados y estratégicos para evaluar la calidad de los datos, identificar incongruencias y recomendar medidas correctivas para mejorar la integridad y la gobernanza de los datos. • Colaborar con las partes interesadas del negocio, los equipos técnicos y socios externos para diseñar, desarrollar y respaldar procesos complejos de integración de datos mediante herramientas ETL como Databricks, Informatica PowerCenter, Pentaho Data Integration (Kettle) y tecnologías similares. • Desarrollar, mantener y mejorar la documentación técnica, incluidos modelos de datos, diccionarios de datos, documentos de mapeo de origen a destino, especificaciones ETL, flujos de procesos y artefactos de generación de informes. • Desarrollar y mantener soluciones de datos basadas en SQL, incluidas consultas complejas, procedimientos almacenados, objetos de bases de datos y procesos de transformación de datos. • Apoyar iniciativas de inteligencia empresarial y generación de informes mediante el desarrollo de informes, paneles y soluciones analíticas con plataformas como Oracle Business Intelligence Enterprise Edition (OBIEE), Power BI y otras herramientas empresariales de generación de informes. • Participar en el diseño y la implementación de estrategias innovadoras de arquitectura e integración de datos para mejorar el intercambio de datos y la interoperabilidad entre diversos dominios de negocio dentro de DSNY y entre agencias de la Ciudad. • Apoyar y mantener los sistemas internos de TI, las aplicaciones y las bases de datos, garantizando su confiabilidad, rendimiento y cumplimiento de las normas de la agencia. Calificaciones requeridas: • Sólido dominio de SQL y programación en Python. Se prefiere experiencia adicional con pySpark. • Experiencia en modelado de datos, análisis de datos, desarrollo ETL y diseño de bases de datos. • Experiencia con plataformas empresariales de generación de informes y análisis, como Power BI, OBIEE, Tableau o herramientas similares. • Conocimiento de plataformas de datos modernas y entornos de análisis basados en la nube; se valora mucho la experiencia con Databricks. Calificaciones preferidas: • Experiencia con tecnologías Microsoft .NET, incluidas ASP.NET, C#, TypeScript, React u otros marcos modernos para aplicaciones web. • Experiencia en desarrollo con Java y tecnologías relacionadas. • Familiaridad con almacenamiento de datos, gobernanza de datos, plataformas en la nube y prácticas recomendadas de integración de datos empresariales. •La persona ideal tendrá sólidas habilidades analíticas y de resolución de problemas, excelentes habilidades de comunicación y capacidad para trabajar eficazmente con
Calificaciones mínimas
1. Título de licenciatura de una universidad acreditada en ciencias de la computación, ingeniería o un campo relacionado, y cuatro años de experiencia satisfactoria a tiempo completo relacionada con ingeniería y operaciones de centros de datos, ingeniería y operaciones en la nube o ingeniería de infraestructura de TI compleja; o, 2. Título de licenciatura de una universidad acreditada y ocho años de experiencia satisfactoria a tiempo completo relacionada con ingeniería y operaciones de centros de datos, ingeniería y operaciones en la nube o ingeniería de infraestructura de TI compleja; o, 3. Educación y/o experiencia equivalente a la indicada en «1» o «2».
Habilidades preferidas
La persona seleccionada debe tener amplia experiencia práctica en las siguientes áreas: Habilidades obligatorias • Diseño, desarrollo y administración de bases de datos • Programación avanzada en SQL y optimización de consultas • Integración de datos, desarrollo ETL/ELT y procesos de transformación de datos • Soluciones empresariales de generación de informes, análisis e inteligencia empresarial • Modelado de datos, perfilado de datos y análisis de calidad de datos Habilidades preferidas • Programación en Python y pySpark • Entornos Unix/Linux y creación de scripts de shell • Databricks y plataformas de datos modernas basadas en la nube • Oracle Business Intelligence Enterprise Edition (OBIEE) • Power BI, Tableau o plataformas analíticas similares • Desarrollo en C++, Java, C# y ASP.NET • Conceptos de almacenamiento de datos, gobernanza de datos y arquitectura empresarial • Diseño e implementación de soluciones empresariales de integración de datos a gran escala • Desarrollo y soporte de plataformas de datos en la nube e híbridas • Creación de soluciones automatizadas de generación de informes y análisis • Liderazgo de proyectos técnicos multifuncionales e iniciativas de modernización de datos La experiencia que reúna los requisitos debe demostrar una participación sustancial en el análisis, diseño, desarrollo, implementación, administración o gestión de soluciones tecnológicas empresariales. Los siguientes tipos de experiencia no reúnen los requisitos: • Uso rutinario de software comercial o preempaquetado sin responsabilidad por el diseño, la programación, la implementación, la mejora o la administración de sistemas. • Uso básico de procesadores de texto, hojas de cálculo o software de productividad de oficina. • Ingreso de datos, mantenimiento de registros o actividades de procesamiento de transacciones. • Operación de hardware informático, consolas o dispositivos periféricos sin responsabilidades de desarrollo de sistemas. • Uso de calculadoras u otras herramientas no programáticas como función laboral principal. Las personas candidatas deben demostrar experiencia en resolución de problemas técnicos complejos, desarrollo de sistemas, ingeniería de datos, gestión de bases de datos, desarrollo de aplicaciones o soluciones de análisis empresarial.
Residencia
No se requiere residir en la Ciudad de Nueva York para este puesto
Anuncio original en inglés
Agency
DEPARTMENT OF SANITATION
Job description
The New York City Department of Sanitation (DSNY) keeps New York City healthy, safe, and clean by collecting, recycling, and disposing of waste, cleaning City streets and vacant lots, and clearing snow and ice. DSNY is the nation's largest municipal sanitation agency, with nearly 10,000 employees, 59 district garages, and a fleet of more than 5,000 trucks, cars, and other types of equipment. The Department clears litter, snow, and ice from approximately 6,500 miles of City streets and removes debris from vacant lots as well as abandoned vehicles from City streets. Under general supervision, with considerable latitude for the exercise of independent judgment and initiative, the incumbent will be responsible for the design, development, implementation, enhancement, documentation, and maintenance of database management systems, data integration solutions, custom applications, and related software functions supporting the Department of Sanitation's Operations Management Division (OMD). The selected candidate will serve as a Data Engineer, performing complex data engineering, data integration, and analytical functions within a multi-platform enterprise environment. The role will support critical reporting, analytics, and operational initiatives across the DSNY Operations Management project portfolio. Key Responsibilities: • Perform data analysis, data profiling, data modeling, source-to-target mapping, and reporting activities for enterprise data and analytics projects. • Develop and maintain conceptual, logical, and physical data models to support current and future operational, analytical, and reporting requirements. • Analyze legacy and strategic source systems to assess data quality, identify inconsistencies, and recommend corrective actions to improve data integrity and governance. • Collaborate with business stakeholders, technical teams, and external partners to design, develop, and support complex data integration pipelines using ETL tools such as Databricks, Informatica PowerCenter, Pentaho Data Integration (Kettle), and similar technologies. • Develop, maintain, and enhance technical documentation, including data models, data dictionaries, source-to-target mapping documents, ETL specifications, process flows, and reporting artifacts. • Develop and maintain SQL-based data solutions, including complex queries, stored procedures, database objects, and data transformation processes. • Support business intelligence and reporting initiatives through the development of reports, dashboards, and analytical solutions utilizing platforms such as Oracle Business Intelligence Enterprise Edition (OBIEE), Power BI, and other enterprise reporting tools. • Participate in the design and implementation of innovative data architecture and integration strategies to improve data sharing and interoperability across multiple business domains within DSNY and across City agencies. • Support and maintain internal IT systems, applications, and databases, ensuring reliability, performance, and adherence to agency standards. Required Qualifications: • Strong proficiency in SQL and Python programming. Additional experience with pySpark preferred. • Experience with data modeling, data analysis, ETL development, and database design. • Experience with enterprise reporting and analytics platforms such as Power BI, OBIEE, Tableau, or similar tools. • Knowledge of modern data platforms and cloud-based analytics environments; experience with Databricks is highly desirable. Preferred Qualifications: • Experience with Microsoft .NET technologies, including ASP.NET, C#, TypeScript, React or other modern web application framework. • Experience with Java development and related technologies. • Familiarity with data warehousing, data governance, cloud platforms, and enterprise data integration best practices. •The ideal candidate will possess strong analytical and problem-solving skills, excellent communication abilities, and the capacity to work effectively with
Minimum qualifications
1. A baccalaureate degree from an accredited college in computer science, engineering or a related field and four years of satisfactory full-time experience related to datacenter engineering and operations, cloud engineering and operations, complex IT infrastructure engineering; or, 2. A baccalaureate degree from an accredited college and eight years of satisfactory full-time experience related to datacenter engineering and operations, cloud engineering and operations, complex IT infrastructure engineering; or, 3. Education and/or experience which is equivalent to "1" or "2" above.
Preferred skills
The successful candidate should possess extensive hands-on experience in the following areas: Mandatory Skills • Database design, development, and administration • Advanced SQL programming and query optimization • Data integration, ETL/ELT development, and data transformation processes • Enterprise reporting, analytics, and business intelligence solutions • Data modeling, data profiling, and data quality analysis Preferred Skills • Python and pySpark programming • Unix/Linux environments and shell scripting • Databricks and modern cloud-based data platforms • Oracle Business Intelligence Enterprise Edition (OBIEE) • Power BI, Tableau, or similar analytics platforms • C++, Java, C#, and ASP.NET development • Data warehousing, data governance, and enterprise architecture concepts • Designing and implementing enterprise-scale data integration solutions • Developing and supporting cloud and hybrid data platforms • Building automated reporting and analytics solutions • Leading cross-functional technical projects and data modernization initiatives Qualifying experience should demonstrate substantial involvement in the analysis, design, development, implementation, administration, or management of enterprise technology solutions. The following types of experience do not qualify: • Routine use of commercial or pre-packaged software without responsibility for system design, programming, implementation, enhancement, or administration. • Basic word processing, spreadsheet, or office productivity software usage. • Data entry, record maintenance, or transactional processing activities. • Operation of computer hardware, consoles, or peripheral devices without systems development responsibilities. • Use of calculators or other non-programmatic tools as a primary job function. Candidates should demonstrate experience involving complex technical problem-solving, systems development, data engineering, database management, application development, or enterprise analytics solutions.
Residency
New York City Residency is not required for this position
Los empleadores en JOBUS nunca le pedirán pagar, comprar equipo ni compartir datos bancarios o de Seguro Social antes de una oferta formal. Confianza y seguridad