Databricks Engineer

We are:

At Synechron, we believe in the power of digital to transform businesses for the better. Our global consulting firm combines creativity and innovative technology to deliver industry-leading digital solutions. Synechron’s progressive technologies and optimization strategies span end-to-end Artificial Intelligence, Consulting, Digital, Cloud & DevOps, Data, and Software Engineering, servicing an array of noteworthy financial services and technology firms. Through research and development initiatives in our FinLabs we develop solutions for modernization, from Artificial Intelligence and Blockchain to Data Science models, Digital Underwriting, mobile-first applications and more. Over the last 20+ years, our company has been honored with multiple employer awards, recognizing our commitment to our talented teams. With top clients to boast about, Synechron has a global workforce of 14,500+, and has 58 offices in 21 countries within key global markets.

Job Summary:

We are seeking highly skilled Azure Data Engineer with strong expertise in Databricks to join our data team. The ideal candidate will design, implement and optimize large-scale data pipeline, ensuring scalability, reliability and performance.

Key Responsibilities:

• Build and maintain scalable ETL/ELT pipelines using Databricks
• Leverage PySpark, Spark, and SQL to transform and process large datasets
• Integrate data from multiple sources including Azure Blob Storage, ADLS, and other relational/non-relational systems
• Collaborate with multiple teams to prepare data for dashboards and BI tools
• Work with cross-functional teams to understand business requirements and deliver tailored data solutions
• Optimize Databricks workloads for cost efficiency and performance
• Monitor and troubleshoot data pipelines to ensure reliability and accuracy
• Implement and manage data security, access controls, and governance standards using Unity Catalog
• Ensure compliance with organizational and regulatory data policies
• Use Databricks Asset Bundles for seamless deployment of jobs, notebooks, and configurations across environments
• Manage version control for Databricks artifacts and collaborate with teams to uphold development best practices

Technical Skills:

• Strong expertise in Databricks (Delta Lake, Unity Catalog, Lakehouse Architecture, Table Triggers, Delta Live Pipelines, Databricks Runtime etc.)
• Proficiency in Azure Cloud Services
• Solid Understanding of Spark and PySpark for big data processing
• Experience in relational databases
• Knowledge on Databricks Asset Bundles and GitLab

Preferred Experience:

• Familiarity with Databricks Runtimes and advanced configurations
• Knowledge of streaming frameworks like Spark Streaming
• Experience in developing real-time data solutions

Certifications:

• Azure Data Engineer Associate or Databricks certified Data Engineer Associate certification. (Optional)

We offer

• A multinational organization with 58 offices in 21 countries and the possibility to work abroad
• 15 days (3 weeks) of paid annual leave plus an additional 10 days of personal leave (floating days and sick days)
• A comprehensive insurance plan including: medical, dental, vision, life insurance, and long term disability
• Flexible hybrid policy
• RRSP with employer’s contribution up to 4%

SYNECHRON’S DIVERSITY & INCLUSION STATEMENT

Diversity & Inclusion are fundamental to our culture, and Synechron is proud to be an equal opportunity workplace and is an affirmative action employer. Our Diversity, Equity, and Inclusion (DEI) initiative ‘Synclusive’ is committed to fostering an inclusive culture – promoting equality, diversity and an environment that is respectful to all. We strongly believe that a diverse workforce helps build stronger, successful businesses as a global company. We encourage applicants from across diverse backgrounds, race, ethnicities, religion, age, marital status, gender, sexual orientations, or disabilities to apply. We empower our global workforce by offering flexible workplace arrangements, mentoring, internal mobility, learning and development programs, and more.

All employment decisions at Synechron are based on business needs, job requirements and individual qualifications, without regard to the applicant’s gender, gender identity, sexual orientation, race, ethnicity, disabled or veteran status, or any other characteristic protected by law.

Nous sommes :

Chez Synechron, nous croyons au pouvoir du digital pour transformer les entreprises pour le mieux. Notre cabinet de conseil mondial allie créativité et technologie innovante pour offrir des solutions digitales de premier plan. Les technologies progressives et les stratégies d'optimisation de Synechron couvrent l'intelligence artificielle de bout en bout, le conseil, le digital, le cloud et DevOps, les données et l'ingénierie logicielle, au service d'un éventail de sociétés de services financiers et technologiques notables. Grâce à des initiatives de recherche et développement dans nos FinLabs, nous développons des solutions pour la modernisation, de l'intelligence artificielle et de la blockchain aux modèles de science des données, à la souscription digitale, aux applications mobiles et plus encore. Au cours des 20 dernières années, notre entreprise a été honorée de plusieurs prix pour employeurs, reconnaissant notre engagement envers nos équipes talentueuses. Avec des clients de premier plan, Synechron compte plus de 14,500 employés dans le monde et possède 58 bureaux dans 21 pays au sein de marchés mondiaux clés.

Résumé du poste :

Nous recherchons un ingénieur en données Azure hautement qualifié avec une solide expertise en Databricks pour rejoindre notre équipe de données. Le candidat idéal concevra, mettra en œuvre et optimisera des pipelines de données à grande échelle, garantissant évolutivité, fiabilité et performance

Principales responsabilités :

• Construire et maintenir des pipelines ETL/ELT évolutifs en utilisant Databricks
• Exploiter PySpark, Spark et SQL pour transformer et traiter de grands jeux de données
• Intégrer des données provenant de multiples sources, notamment Azure Blob Storage, ADLS et d’autres systèmes relationnels/non relationnels
• Collaborer avec plusieurs équipes pour préparer les données para les tableaux de bord et outils de Business Intelligence (BI)
• Travailler avec des équipes transversales pour comprendre les besoins métier et fournir des solutions de données adaptées
• Optimiser les charges de travail Databricks pour l'efficacité des coûts et la performance
• Surveiller et dépanner les pipelines de données pour garantir leur fiabilité et leur précision
• Mettre en œuvre et gérer la sécurité des données, les contrôles d’accès et les normes de gouvernance en utilisant Unity Catalog
• Assurer la conformité avec les politiques de données organisationnelles et réglementaires
• Utiliser Databricks Asset Bundles pour un déploiement fluide des jobs, notebooks et configurations à travers les environnements
• Gérer le contrôle de version des artefacts Databricks et collaborer avec les équipes pour maintenir les meilleures pratiques de développement

Compétences techniques :

• Expertise solide en Databricks (Delta Lake, Unity Catalog, Architecture Lakehouse, Triggers de table, Delta Live Pipelines, Databricks Runtime, etc.)
• Maîtrise des services de cloud Azure
• Compréhension solide de Spark et PySpark pour le traitement de données volumineuses.
• Expérience des bases de données relationnelles
• Connaissance des bundles d'actifs Databricks et de GitLab

Expérience souhaitée :

• Familiarité avec les runtimes Databricks et les configurations avancées
• Connaissance des frameworks de streaming tels que Spark Streaming
• Expérience dans le développement de solutions de données en temps réel

Certifications :

• Certification Azure Data Engineer Associate ou certification Databricks Certified Data Engineer Associate (facultatif)

Nous Offrons :

• Une organisation multinationale avec 58 bureaux dans 21 pays et la possibilité de travailler à l’étranger.
• 15 jours (3 semaines) de congés annuels payés plus 10 jours supplémentaires de congés personnels (jours flottants et jours de maladie).
• Un plan d'assurance complet comprenant : assurance maladie, dentaire, vision, assurance vie et invalidité de longue durée.
• Une politique hybride flexible
• Régime de retraite avec contribution de l'employeur allant jusqu'à 4 %

DÉCLARATION DE DIVERSITÉ ET D'INCLUSION DE SYNECHRON La diversité et l'inclusion sont fondamentales pour notre culture, et Synechron est fier d'être un lieu de travail offrant l'égalité des chances et d'être un employeur garantissant l'égalité des chances. Notre initiative en matière de diversité, d'équité et d'inclusion (DEI) "Synclusive" est engagée à favoriser une culture inclusive - promouvant l'égalité, la diversité et un environnement respectueux pour tous. Nous croyons fermement qu'une main-d'œuvre diversifiée aide à construire des entreprises plus solides et réussies en tant qu'entreprise mondiale. Nous encourageons les candidatures de personnes issues de divers horizons, races, ethnies, religions, âges, états civils, sexes, orientations sexuelles ou handicaps à postuler. Nous autonomisons notre main-d'œuvre mondiale en offrant des arrangements de travail flexibles, du mentorat, de la mobilité interne, des programmes d'apprentissage et de développement, et plus encore. Toutes les décisions d'emploi chez Synechron sont basées sur les besoins commerciaux, les exigences du poste et les qualifications individuelles, sans tenir compte du sexe, de l'identité de genre, de l'orientation sexuelle, de la race, de l'ethnicité, du statut de handicapé ou d'ancien combattant, ou de toute autre caractéristique protégée par la loi.