Data Engineer NUMÉRO DE POSTE: 478000
This is a full-time, direct-hire Data Engineer role focused on Microsoft Fabric and Azure data engineering, based about 20 minutes north of Downtown Pittsburgh with a hybrid schedule and local residency required.
Position overview
We are seeking a Data Engineer to design, build, and maintain modern enterprise data platforms using Microsoft Fabric and Azure services in support of advanced analytics, real-time reporting, and AI/ML use cases. This is a direct-hire opportunity located approximately 20 minutes north of Downtown Pittsburgh, offering a hybrid work schedule (on-site several days per week). Candidates must currently reside in the greater Pittsburgh area or be willing to relocate prior to starting; this role is not open to C2C, third parties, or visa sponsorship.
Key responsibilities
-
Design, develop, and maintain scalable, production-grade data pipelines and integrations using Microsoft Fabric, Azure Data Factory, Fabric Data Factory, Azure Databricks, Azure Event Hubs, OneLake, Fabric Lakehouse, and Fabric Data Warehouse.
-
Build analytics-ready datasets to support pricing, supply chain, POS sales, customer behavior analytics, executive dashboards, and AI/ML workloads.
-
Implement dual-engine data pipelines leveraging Azure Data Factory for structured batch workloads and Azure Event Hubs / Kafka for real-time event ingestion.
-
Support multiple ingestion patterns including batch ETL/ELT, CDC/database mirroring, streaming ingestion, API-based integrations, and SaaS connectors.
-
Develop near real-time analytics solutions using Eventstream and Real-Time Intelligence capabilities in Microsoft Fabric.
-
Design and optimize PySpark workloads in Azure Databricks and Fabric Spark to process high-volume historical datasets, XML/JSON log files, streaming transactional events, and operational telemetry data.
-
Build scalable transformation logic that supports both streaming and batch architectures.
-
Model and transform enterprise data using ANSI SQL, T-SQL, dbt, and Lakehouse design principles.
-
Design star and snowflake schemas, semantic models, and curated analytical datasets to enable governed self-service analytics across the organization.
-
Maintain and optimize Azure Data Lake Storage Gen2 environments, including Delta Lake formats, ACID-compliant patterns, schema evolution, partitioning, and performance tuning.
-
Support enterprise Lakehouse architecture leveraging Microsoft Fabric OneLake.
-
Partner closely with Analytics and Business stakeholders to deliver Power BI dashboards, executive scorecards, KPI reporting, and self-service analytics solutions, including semantic models, Direct Lake datasets, row-level security, and data governance standards.
-
Enable Copilot-driven analytics and AI-assisted reporting capabilities on top of governed datasets.
-
Deploy and manage cloud infrastructure using Terraform, Azure Resource Manager (ARM), and Infrastructure-as-Code practices.
-
Automate CI/CD workflows for data pipelines and analytics assets using Azure DevOps, Git, and Docker.
-
Orchestrate and schedule enterprise workflows with Azure Data Factory, Fabric Pipelines, Managed Apache Airflow, and Control-M (where applicable).
-
Implement robust data observability, including automated monitoring and alerting for batch failures, streaming interruptions, data quality issues, schema drift, and pipeline latency.
-
Build checksum and reconciliation frameworks between source systems and analytics platforms to support enterprise data governance and operational resiliency initiatives.
Required qualifications
-
Local to the Pittsburgh region and able to work in a hybrid on-site schedule approximately 20 minutes north of Downtown Pittsburgh; no relocation assistance, C2C, third parties, or visa sponsorship is available for this role.
-
3–5 years of hands-on experience in data engineering, cloud analytics, or enterprise data platforms with a strong focus on Azure services.
-
Proven experience with:
-
Microsoft Azure and Microsoft Fabric
-
Azure Data Lake Storage Gen2 (ADLS Gen2)
-
Azure Databricks and Fabric Spark (including Spark Structured Streaming)
-
Azure Data Factory and Fabric Data Factory
-
Azure Event Hubs and Kafka for real-time ingestion
-
Azure Synapse Analytics and/or Fabric Data Warehouse
-
-
Strong proficiency in:
-
Python and PySpark
-
ANSI SQL and T-SQL
-
Batch and streaming data processing (Spark Structured Streaming, Azure Stream Analytics, event-driven architectures)
-
-
Hands-on experience with:
-
dbt (Data Build Tool)
-
Delta Lake and Lakehouse architectures
-
Data warehousing concepts and dimensional modeling (star and snowflake schemas)
-
Semantic layer design and enterprise data modeling
-
-
Demonstrated ability to build and support production data pipelines, troubleshoot performance issues, and optimize large-scale data processing workloads.
Preferred qualifications
-
Bachelor’s or Master’s degree in Data Science, Computer Science, Information Systems, Engineering, Statistics, Mathematics, or a related technical field.
-
Experience delivering and supporting Power BI analytics, including semantic models, Direct Lake datasets, and row-level security.
-
Hands-on work with Fabric Real-Time Intelligence, OneLake, REST APIs, XML/JSON processing, and event-driven architectures.
-
Exposure to AI/ML workloads and tools such as Azure OpenAI, Copilot integrations, and predictive analytics solutions.
-
Experience supporting large-scale enterprise analytics environments with complex operational datasets and strict SLAs.
Work authorization and engagement terms
-
Full-time, salaried, direct-hire position with the client organization (not contract or contract-to-hire).
-
Candidates must be currently authorized to work in the United States on a permanent basis; we are unable to provide visa sponsorship or work with C2C arrangements or third-party agencies for this role
Vaco by Highspring promeut un milieu de travail diversifié et encourage fortement les femmes, les personnes de couleur, les membres des communautés LGBTQ+, les personnes handicapées, les membres de minorités ethniques, les résidents nés à l’étranger et les anciens combattants à postuler.
Avis : Égalité des chances en matière d’emploi
Vaco by Highspring garantie l’égalité des chances et ne discrimine pas les employé.e.s ou candidat.e.s en fonction de la race (y compris les traits historiquement associés à une race tels qu’une coiffure ou la texture des cheveux), couleur de la peau, sexe (y compris la grossesse ou des conditions connexes), religion ou croyances, origine nationale, citoyenneté, âge, situation de handicap, statut d’ancien.ne combattant.e, appartenance à un syndicat, origine ethnique, genre, identité de genre, expression de genre, orientation sexuelle, état matrimonial, affiliation politique, ou toute autre caractéristique protégée comme requis par la loi.
Vaco by Highspring et ses sociétés mères, sociétés affiliées et filiales (Vaco by Highspring) s’engagent à inclure pleinement toutes les personnes qualifiées. Dans le cadre de cet engagement, Vaco by Highspring veillera à ce que les personnes handicapées bénéficient d’aménagements raisonnables. Si un aménagement raisonnable est nécessaire pour participer au processus de candidature ou d’entrevue, pour vaquer à des fonctions professionnelles essentielles et/ou pour bénéficier d’autres avantages et privilèges liés à l’emploi, veuillez contacter HR@vaco.com.
Vaco by Highspring souhaite également que tous les candidats connaissent leurs droits, à savoir que la discrimination sur le lieu de travail est illégale.
En vous soumettant à ce poste, vous acceptez de donner à Vaco by Highspring le droit exclusif de présenter votre candidat pour l’opportunité d’emploi précédente. Vous convenez en outre que vous avez représenté des informations vous concernant avec exactitude et que vous n’avez pas déformé vos qualifications de manière affirmative. Vous acceptez également de garder confidentielle, dans toute la mesure permise par la loi, toute information que vous apprenez de Vaco by Highspring sur le poste et vous limiterez la divulgation des informations sur le poste uniquement dans la mesure nécessaire pour exécuter toute obligation dans la poursuite de votre candidature. En échange, Vaco by Highspring accepte de faire des efforts raisonnables pour vous représenter par le biais de toute sollicitation, sélection d’emploi et dispersion de CV.
Avis de confidentialité
Vaco by Highspring, ses sociétés mères, ses filiales et les sociétés du même groupe (« nous », « nos » ou « Vaco by Highspring») respectent votre vie privée et s’engagent à présenter un avis transparent concernant leurs politiques.
- Les résidents de la Californie peuvent consulter l’avis relatif à la collecte de renseignements publié par le service des RH de Vaco by Highspring à l’intention des candidats et des employés de la Californie ici.
- Les résidents de la Virginie peuvent accéder à nos politiques propres à leur État ici.
- Les résidents de tous les autres États peuvent accéder à nos politiques ici.
- Les résidents canadiens peuvent consulter nos politiques en anglais ici et en français ici.
- Les résidents des pays où le RGPD s’applique peuvent accéder à nos politiques ici.
Avis sur la transparence salariale
La détermination de la rémunération pour ce poste (et d’autres) chez Vaco by Highspring dépend d’un large éventail de facteurs, notamment :
- les compétences, l’expérience et la formation de la personne;
- les exigences relatives au permis d’exercice et à l’agrément;
- l’emplacement du bureau et d’autres considérations géographiques;
- d’autres besoins professionnels et de l’entreprise.
Ainsi, comme l’exige la loi locale, Vaco by Highspring estime que l’échelle salariale ci-dessus représente une estimation raisonnable de la rémunération de base d’une personne embauchée à ce poste dans des régions qui requièrent la divulgation de l’échelle salariale. La personne peut également être admissible à des primes discrétionnaires.