Data Engineers Boosted by DuckDB & Polars in 2025

Adresse : Abdenacer Keraghel, Paris (assuming this is the location associated with his LinkedIn profile)

Date de début de la mission : 19-11-2025

Durée de la mission : 90 jours

Date de publication de l'offre : 03-12-2025

Description de l'offre :

Objectif de la mission :

Aider les entreprises à migrer vers AWS et concevoir des pipelines data scalables en réduisant ainsi les coûts d'infrastructure jusqu'à -40% (FinOps). Utilisation de Spark, Airflow et AWS.

Missions principales :

• Migration vers AWS
• Conception de pipelines data scalables

Profil recherché :

• Compétence en Spark et Airflow
• Expérience avec AWS

Note d'actualité :

Depuis un an, on assiste à un phénomène remarquable : le processing local revient en force et est 10 fois plus rapide. Les outils tels que DuckDB, Polars et bientôt le processing WASM permettent de rendre l'analyse locale plus rapide que certains jobs distribués. Cette tendance s'explique par :

• Performance monstrueuse (vectorisé, Rust, colonne)
• Local-first : idéal pour prototyper, debug et benchmarker
• Coût = zéro
• Intégration naturelle avec Python, Pandas, Parquet, SQL
• Idéal pour tester un pipeline avant de l'envoyer en production

Cette tendance permet :

• Un prototype plus rapide
• Un debug plus facile
• Une réduction des coûts cloud
• L'évitement de lancer un cluster pour un simple dataset de 5–20 Go
• Une agilité énorme dans la phase exploration

Le combo 2025 :

DuckDB + Polars + Parquet → une nouvelle stack "légère" incontournable pour les Data Engineers.