AWS Data Engineer NUMÉRO DE POSTE: 443236
One of our client's is adding a fully remote Data Engineer (AWS) to an existing team of Engineers supporting a data lake (RDL - Renewables Data Lake). They are supporting an AWS stack as listed below which is the platform that houses all the data and intelligence collected from all their sites in North America for Wind, Solar and Storage. This is a 9-month contract with the possibility to extend.
Scope of Work
The Renewable Data Lake (RDL) is focused on building renewable asset optimization solutions around the world and transforming the data into meaningful metrics for our customers (internal stakeholders).
Our team ingests massive volumes of data and generates a series of KPIs that help us and our customers understand how our sites are performing, where and why they are under-performing, what the most common problems are, etc.
The number of sites and the volume of data is growing fast. We'll need your help building smart, reliable, and performant solutions to make the most of the data.
Our current stack includes Python Redshift, RDS, Glue, PySpark, Lambdas, S3, the AWS developer tools, and other AWS technologies.
If you have good ideas for alternative solutions, we want to hear about it!
Responsibilities
- 60%: Design, develop, and maintain data applications and solutions to enable efficient data processing, analysis, and visualization
- 5%: Collaborate with data scientists, analysts, and business stakeholders to understand requirements and translate them into scalable and efficient data solutions
- 5%: Optimize and tune data applications for performance and scalability
- 5%: Implement data quality checks and ensure data integrity and consistency
- 5%: Lead projects and initiatives, providing technical guidance and ensuring successful delivery
- 5%: Manage project timelines, resources, and deliverables to meet business objectives
- 5%: Mentor and coach junior team members, fostering their growth and development
- 10% - Other Duties as Assigned
Education/Experience
- 10 years of experience working in software engineering
- 6 years working with Big Data in a cloud environment, AWS strongly preferred
- Bachelor’s degree in Computer Science or other related technical field or relevant experience
- Experience developing multi-platform software utilizing various programming environments and tools
- Knowledge of agile methodologies
- Knowledge of QA processes and test-driven development
- Strong experience with database design, specifically geared towards Big Data
- Familiar with serverless approach, micro-service-oriented architecture, event-driven architecture
- Strong experience working in a AWS cloud technology environment: Lambda functions, Step functions, SQS, DynamoDB, Spark with Glue, along with EMR, EMR serverless, Spark streaming
- Experience building and maintaining critical, reliable ETL pipelines
- Experience writing high-quality, production-ready code, preferably in Python
- Comfortable with Git (AWS CodeCommit) and Unix command lines
- DevOps experience: strive for scalability and automation via CI/CD and Infrastructure as Code. A plus if knowledge of CDK
- Proactive communicator who can translate between technical and non-technical stakeholders
- Self-starter and autonomous, strong bias for action in high ambiguity environment
- Explore and experiment with the limits of cloud technologies
- Help mentor and educate your teammates (and vice versa) to expand everyone's skillsets
- Displays personal and corporate integrity
Vaco by Highspring promeut un milieu de travail diversifié et encourage fortement les femmes, les personnes de couleur, les membres des communautés LGBTQ+, les personnes handicapées, les membres de minorités ethniques, les résidents nés à l’étranger et les anciens combattants à postuler.
Avis : Égalité des chances en matière d’emploi
Vaco by Highspring garantie l’égalité des chances et ne discrimine pas les employé.e.s ou candidat.e.s en fonction de la race (y compris les traits historiquement associés à une race tels qu’une coiffure ou la texture des cheveux), couleur de la peau, sexe (y compris la grossesse ou des conditions connexes), religion ou croyances, origine nationale, citoyenneté, âge, situation de handicap, statut d’ancien.ne combattant.e, appartenance à un syndicat, origine ethnique, genre, identité de genre, expression de genre, orientation sexuelle, état matrimonial, affiliation politique, ou toute autre caractéristique protégée comme requis par la loi.
Vaco by Highspring et ses sociétés mères, sociétés affiliées et filiales (Vaco by Highspring) s’engagent à inclure pleinement toutes les personnes qualifiées. Dans le cadre de cet engagement, Vaco by Highspring veillera à ce que les personnes handicapées bénéficient d’aménagements raisonnables. Si un aménagement raisonnable est nécessaire pour participer au processus de candidature ou d’entrevue, pour vaquer à des fonctions professionnelles essentielles et/ou pour bénéficier d’autres avantages et privilèges liés à l’emploi, veuillez contacter HR@vaco.com.
Vaco by Highspring souhaite également que tous les candidats connaissent leurs droits, à savoir que la discrimination sur le lieu de travail est illégale.
En vous soumettant à ce poste, vous acceptez de donner à Vaco by Highspring le droit exclusif de présenter votre candidat pour l’opportunité d’emploi précédente. Vous convenez en outre que vous avez représenté des informations vous concernant avec exactitude et que vous n’avez pas déformé vos qualifications de manière affirmative. Vous acceptez également de garder confidentielle, dans toute la mesure permise par la loi, toute information que vous apprenez de Vaco by Highspring sur le poste et vous limiterez la divulgation des informations sur le poste uniquement dans la mesure nécessaire pour exécuter toute obligation dans la poursuite de votre candidature. En échange, Vaco by Highspring accepte de faire des efforts raisonnables pour vous représenter par le biais de toute sollicitation, sélection d’emploi et dispersion de CV.
Avis de confidentialité
Vaco by Highspring, ses sociétés mères, ses filiales et les sociétés du même groupe (« nous », « nos » ou « Vaco by Highspring») respectent votre vie privée et s’engagent à présenter un avis transparent concernant leurs politiques.
- Les résidents de la Californie peuvent consulter l’avis relatif à la collecte de renseignements publié par le service des RH de Vaco by Highspring à l’intention des candidats et des employés de la Californie ici.
- Les résidents de la Virginie peuvent accéder à nos politiques propres à leur État ici.
- Les résidents de tous les autres États peuvent accéder à nos politiques ici.
- Les résidents canadiens peuvent consulter nos politiques en anglais ici et en français ici.
- Les résidents des pays où le RGPD s’applique peuvent accéder à nos politiques ici.
Avis sur la transparence salariale
La détermination de la rémunération pour ce poste (et d’autres) chez Vaco by Highspring dépend d’un large éventail de facteurs, notamment :
- les compétences, l’expérience et la formation de la personne;
- les exigences relatives au permis d’exercice et à l’agrément;
- l’emplacement du bureau et d’autres considérations géographiques;
- d’autres besoins professionnels et de l’entreprise.
Ainsi, comme l’exige la loi locale, Vaco by Highspring estime que l’échelle salariale ci-dessus représente une estimation raisonnable de la rémunération de base d’une personne embauchée à ce poste dans des régions qui requièrent la divulgation de l’échelle salariale. La personne peut également être admissible à des primes discrétionnaires.