Sr Data Platform Software Engineer NUMÉRO DE POSTE: 459091
Job Description:
We are seeking a skilled Senior Data Platform Software Engineer to join our Data Platform team in Kansas City, MO. In this role, you will be instrumental in designing, coding, implementing, and optimizing a cloud-native data stack that leverages best-in-class open-source tools. The ideal candidate will design, build, and maintain an opinionated, resilient, and scalable data platform in a private cloud environment—enabling data-driven decision-making, analytics, and machine learning, while providing deep insights out of the box. This role blends data engineering, software development, and infrastructure management, leveraging tools such as Apache Iceberg, Java, Airflow, Spark, Kafka, and Superset.
Core Responsibilities
Data Pipelines
- Develop and maintain robust, fault-tolerant data ingestion and transformation pipelines using Java, Python and Spark.
- Define flexible and scalable data schemas using Apache Iceberg.
- Support both batch and real-time data processing, including integration with Apache Kafka.
- Ensure reliability, observability, and integrity of data pipelines.
- Design and implement scalable, secure RESTful and data APIs for data access and integration.
- Build APIs for data ingestion, transformation, and consumption across internal services.
- Ensure API performance, consistency, and proper access controls.
- Apply best practices for API design, versioning, and Swagger documentation.
- Integrate APIs with orchestration tools like Apache Airflow and metadata platforms.
- Enable seamless interoperability between data consumers, pipelines, and governance systems.
- Evaluate and implement metadata management platforms such as DataHub, Apache Atlas, or OpenMetadata to support data cataloging, lineage, and governance use cases.
- Collaborate with data stakeholders to align metadata solutions with organizational needs.
- Define and enforce governance policies related to data quality, privacy, and compliance (e.g., GDPR, CCPA).
- Implement fine-grained access controls, encryption, and auditing with a focus on regulatory compliance and data traceability.
- Automate data workflows, infrastructure provisioning, and deployments using tools like Airflow, Ansible, Salt and Kubernetes.
- Implement CI/CD pipelines for data platform updates and enhancements.
- Optimize data storage and queries using Apache Iceberg and Spark to ensure high performance and low-latency access.
- Identify and address performance bottlenecks; implement partitioning, caching, and indexing strategies.
- Monitor data platform health using tools such as Prometheus and Grafana dashboards.
- Configure real-time alerts to proactively detect and resolve pipeline failures or data issues.
- Troubleshoot and resolve platform outages and data incidents promptly.
- Work closely with data scientists, analysts, and engineers to understand data needs and deliver performant, scalable solutions.
- Collaborate with cross-functional teams (Cloud Engineering, Network, and DevOps/Solutions Engineering) to troubleshoot and resolve infrastructure issues.
Education
- Bachelor’s or Master’s degree in Computer Science, Data Engineering, or a related field.
- 5–8 years of experience in data engineering, with a strong focus on cloud-based data platforms.
- Strong programming skills in Java.
- Deep knowledge of Apache Iceberg, Spark, Superset, and Kafka.
- Familiarity with metadata management platforms like DataHub, Apache Atlas, or OpenMetadata and experience with their evaluation or implementation.
- Experience with cloud-native infrastructure tools such as Kubernetes, Ansible, Salt, etc.
- Strong analytical and problem-solving skills.
- Effective communication and collaboration with cross-functional teams.
Determining compensation for this role (and others) at Vaco/Highspring depends upon a wide array of factors including but not limited to the individual’s skill sets, experience and training, licensure and certifications, office location and other geographic considerations, as well as other business and organizational needs. With that said, as required by local law in geographies that require salary range disclosure, Vaco/Highspring notes the salary range for the role is noted in this job posting. The individual may also be eligible for discretionary bonuses, and can participate in medical, dental, and vision benefits as well as the company’s 401(k) retirement plan.
Vaco by Highspring promeut un milieu de travail diversifié et encourage fortement les femmes, les personnes de couleur, les membres des communautés LGBTQ+, les personnes handicapées, les membres de minorités ethniques, les résidents nés à l’étranger et les anciens combattants à postuler.
Avis : Égalité des chances en matière d’emploi
Vaco by Highspring garantie l’égalité des chances et ne discrimine pas les employé.e.s ou candidat.e.s en fonction de la race (y compris les traits historiquement associés à une race tels qu’une coiffure ou la texture des cheveux), couleur de la peau, sexe (y compris la grossesse ou des conditions connexes), religion ou croyances, origine nationale, citoyenneté, âge, situation de handicap, statut d’ancien.ne combattant.e, appartenance à un syndicat, origine ethnique, genre, identité de genre, expression de genre, orientation sexuelle, état matrimonial, affiliation politique, ou toute autre caractéristique protégée comme requis par la loi.
Vaco by Highspring et ses sociétés mères, sociétés affiliées et filiales (Vaco by Highspring) s’engagent à inclure pleinement toutes les personnes qualifiées. Dans le cadre de cet engagement, Vaco by Highspring veillera à ce que les personnes handicapées bénéficient d’aménagements raisonnables. Si un aménagement raisonnable est nécessaire pour participer au processus de candidature ou d’entrevue, pour vaquer à des fonctions professionnelles essentielles et/ou pour bénéficier d’autres avantages et privilèges liés à l’emploi, veuillez contacter HR@vaco.com.
Vaco by Highspring souhaite également que tous les candidats connaissent leurs droits, à savoir que la discrimination sur le lieu de travail est illégale.
En vous soumettant à ce poste, vous acceptez de donner à Vaco by Highspring le droit exclusif de présenter votre candidat pour l’opportunité d’emploi précédente. Vous convenez en outre que vous avez représenté des informations vous concernant avec exactitude et que vous n’avez pas déformé vos qualifications de manière affirmative. Vous acceptez également de garder confidentielle, dans toute la mesure permise par la loi, toute information que vous apprenez de Vaco by Highspring sur le poste et vous limiterez la divulgation des informations sur le poste uniquement dans la mesure nécessaire pour exécuter toute obligation dans la poursuite de votre candidature. En échange, Vaco by Highspring accepte de faire des efforts raisonnables pour vous représenter par le biais de toute sollicitation, sélection d’emploi et dispersion de CV.
Avis de confidentialité
Vaco by Highspring, ses sociétés mères, ses filiales et les sociétés du même groupe (« nous », « nos » ou « Vaco by Highspring») respectent votre vie privée et s’engagent à présenter un avis transparent concernant leurs politiques.
- Les résidents de la Californie peuvent consulter l’avis relatif à la collecte de renseignements publié par le service des RH de Vaco by Highspring à l’intention des candidats et des employés de la Californie ici.
- Les résidents de la Virginie peuvent accéder à nos politiques propres à leur État ici.
- Les résidents de tous les autres États peuvent accéder à nos politiques ici.
- Les résidents canadiens peuvent consulter nos politiques en anglais ici et en français ici.
- Les résidents des pays où le RGPD s’applique peuvent accéder à nos politiques ici.
Avis sur la transparence salariale
La détermination de la rémunération pour ce poste (et d’autres) chez Vaco by Highspring dépend d’un large éventail de facteurs, notamment :
- les compétences, l’expérience et la formation de la personne;
- les exigences relatives au permis d’exercice et à l’agrément;
- l’emplacement du bureau et d’autres considérations géographiques;
- d’autres besoins professionnels et de l’entreprise.
Ainsi, comme l’exige la loi locale, Vaco by Highspring estime que l’échelle salariale ci-dessus représente une estimation raisonnable de la rémunération de base d’une personne embauchée à ce poste dans des régions qui requièrent la divulgation de l’échelle salariale. La personne peut également être admissible à des primes discrétionnaires.