Key information
Offer description
Objectif de la mission :
Aider les entreprises à migrer vers AWS et concevoir des pipelines data scalables en réduisant ainsi les coûts d'infrastructure jusqu'à -40% (FinOps). Utilisation de Spark, Airflow et AWS.
Missions principales :
- Migration vers AWS
- Conception de pipelines data scalables
Profil recherché :
- Compétence en Spark et Airflow
- Experience avec AWS
Note d'actualité :
Depuis un an, on assiste à un phénomène remarquable : le processing local revient en force et est 10 fois plus rapide. Les outils tels que DuckDB, Polars et bientôt le processing WASM permettent de rendre l'analyse locale plus rapide que certains jobs distribués. Cette tendance s'explique par :
- Performance monstrueuse (vectorisé, Rust, colonne)
- Local-first : idéal pour prototyper, debug et benchmarker
- Coût = zéro
- Intégration naturelle avec Python, Pandas, Parquet, SQL
- Idéal pour tester un pipeline avant de l'envoyer en production
Cette tendance permet :
- Un prototype plus rapide
- Un debug plus facile
- Une réduction des coûts cloud
- L'évitement de lancer un cluster pour un simple dataset de 5–20 Go
- Une agilité énorme dans la phase exploration
Le combo 2025 :
DuckDB + Polars + Parquet → une nouvelle stack "légère" incontournable pour les Data Engineers.
How it works
1
You apply with your current Laotop profile.
2
A Laotop referent follows your application.
3
You are kept informed by email about the next steps.