Lead Data Engineer NUMÉRO DE POSTE: 468702
DIRECT HIRE ROLE IN HOUSTON, TX
We have a client seeking a Lead Data Engineer on a Direct Hire basis. As a Lead Data Engineer, you will play a critical role in designing, implementing, and managing scalable, high-performance data infrastructure. This role blends systems engineering, data integration, and analytics expertise to support advanced analytics, machine learning initiatives, and real-time data processing.
The ideal candidate brings deep experience with Lakehouse design principles, including layered Medallion Architecture (Bronze, Silver, Gold), to deliver governed, scalable, and high-quality data solutions. This is a highly visible leadership role, responsible for representing the data engineering function and leading the Data Management Community of Practice across the organization.
Key Responsibilities
-
Design and implement scalable, reliable data pipelines to ingest, process, and store diverse data sets using technologies such as Apache Spark, Hadoop, and Kafka.
-
Leverage cloud platforms such as AWS or Azure, utilizing services including EC2, RDS, S3, Lambda, and Azure Data Lake for efficient data processing and storage.
-
Architect and operationalize Lakehouse solutions using Medallion Architecture best practices, ensuring data quality, lineage, governance, and usability across all layers.
-
Develop and optimize data models and storage solutions (e.g., Databricks, Data Lakehouses) to support both operational and analytical use cases.
-
Implement and manage ETL/ELT workflows using tools such as Apache Airflow and Fivetran to ensure reliable, automated data integration.
-
Lead the Data Management Community of Practice by facilitating collaboration, defining best practices, and representing data engineering across technical and business teams.
-
Partner with data scientists to enable advanced analytics and machine learning initiatives, supporting data processing using Python or R.
-
Enforce data governance, security, and compliance standards, including encryption, masking, and access controls within cloud environments.
-
Monitor, troubleshoot, and optimize data pipelines and databases to ensure performance, reliability, and scalability.
-
Stay current with emerging data engineering technologies and advocate for continuous improvement across the data ecosystem.
What They’re Looking For
Education & Experience
-
Bachelor’s degree in Computer Science, MIS, or a related discipline with 10 years of data engineering experience OR
-
Master’s degree in a related discipline with 5 years of data engineering experience
-
Proven experience designing and operating large-scale data pipelines and architectures
Required Skills & Expertise
-
Hands-on experience implementing Medallion Architecture within a Databricks Lakehouse environment
-
Strong expertise in ETL/ELT development and orchestration
-
In-depth knowledge of Databricks, Dataiku, and cloud-native data platforms
-
Experience with big data technologies (Apache Spark, Hadoop, Kafka)
-
Strong AWS experience, including integration of cloud compute and storage with Databricks
-
Proficiency in SQL and programming languages such as Python, Java, or Scala
-
Hands-on RDBMS experience, including data modeling, analysis, and stored procedures
-
Familiarity with machine learning model deployment and lifecycle management
-
Strong executive presence with the ability to lead communities of practice and communicate effectively with senior leadership
Preferred Certifications
-
AWS Certified Solutions Architect
-
Databricks Certified Associate Developer for Apache Spark
-
DAMA CDMP or other relevant certifications
Physical & Environmental Requirements
The role requires the ability to analyze data, communicate effectively, and remain in a stationary position for extended periods while working at a computer. Occasional movement around the office or campus is required, with the ability to lift up to 10 pounds frequently and up to 25 pounds occasionally.
Travel Requirements
Up to 20% travel, including occasional out-of-state travel, may be required.
Vaco by Highspring promeut un milieu de travail diversifié et encourage fortement les femmes, les personnes de couleur, les membres des communautés LGBTQ+, les personnes handicapées, les membres de minorités ethniques, les résidents nés à l’étranger et les anciens combattants à postuler.
Avis : Égalité des chances en matière d’emploi
Vaco by Highspring garantie l’égalité des chances et ne discrimine pas les employé.e.s ou candidat.e.s en fonction de la race (y compris les traits historiquement associés à une race tels qu’une coiffure ou la texture des cheveux), couleur de la peau, sexe (y compris la grossesse ou des conditions connexes), religion ou croyances, origine nationale, citoyenneté, âge, situation de handicap, statut d’ancien.ne combattant.e, appartenance à un syndicat, origine ethnique, genre, identité de genre, expression de genre, orientation sexuelle, état matrimonial, affiliation politique, ou toute autre caractéristique protégée comme requis par la loi.
Vaco by Highspring et ses sociétés mères, sociétés affiliées et filiales (Vaco by Highspring) s’engagent à inclure pleinement toutes les personnes qualifiées. Dans le cadre de cet engagement, Vaco by Highspring veillera à ce que les personnes handicapées bénéficient d’aménagements raisonnables. Si un aménagement raisonnable est nécessaire pour participer au processus de candidature ou d’entrevue, pour vaquer à des fonctions professionnelles essentielles et/ou pour bénéficier d’autres avantages et privilèges liés à l’emploi, veuillez contacter HR@vaco.com.
Vaco by Highspring souhaite également que tous les candidats connaissent leurs droits, à savoir que la discrimination sur le lieu de travail est illégale.
En vous soumettant à ce poste, vous acceptez de donner à Vaco by Highspring le droit exclusif de présenter votre candidat pour l’opportunité d’emploi précédente. Vous convenez en outre que vous avez représenté des informations vous concernant avec exactitude et que vous n’avez pas déformé vos qualifications de manière affirmative. Vous acceptez également de garder confidentielle, dans toute la mesure permise par la loi, toute information que vous apprenez de Vaco by Highspring sur le poste et vous limiterez la divulgation des informations sur le poste uniquement dans la mesure nécessaire pour exécuter toute obligation dans la poursuite de votre candidature. En échange, Vaco by Highspring accepte de faire des efforts raisonnables pour vous représenter par le biais de toute sollicitation, sélection d’emploi et dispersion de CV.
Avis de confidentialité
Vaco by Highspring, ses sociétés mères, ses filiales et les sociétés du même groupe (« nous », « nos » ou « Vaco by Highspring») respectent votre vie privée et s’engagent à présenter un avis transparent concernant leurs politiques.
- Les résidents de la Californie peuvent consulter l’avis relatif à la collecte de renseignements publié par le service des RH de Vaco by Highspring à l’intention des candidats et des employés de la Californie ici.
- Les résidents de la Virginie peuvent accéder à nos politiques propres à leur État ici.
- Les résidents de tous les autres États peuvent accéder à nos politiques ici.
- Les résidents canadiens peuvent consulter nos politiques en anglais ici et en français ici.
- Les résidents des pays où le RGPD s’applique peuvent accéder à nos politiques ici.
Avis sur la transparence salariale
La détermination de la rémunération pour ce poste (et d’autres) chez Vaco by Highspring dépend d’un large éventail de facteurs, notamment :
- les compétences, l’expérience et la formation de la personne;
- les exigences relatives au permis d’exercice et à l’agrément;
- l’emplacement du bureau et d’autres considérations géographiques;
- d’autres besoins professionnels et de l’entreprise.
Ainsi, comme l’exige la loi locale, Vaco by Highspring estime que l’échelle salariale ci-dessus représente une estimation raisonnable de la rémunération de base d’une personne embauchée à ce poste dans des régions qui requièrent la divulgation de l’échelle salariale. La personne peut également être admissible à des primes discrétionnaires.