Informations clés
Description de l'offre
Objectif de la mission:
Aider les entreprises à migrer vers AWS et concevoir des pipelines data scalables en réduisant ainsi les coûts d'infrastructure jusqu'à -40% (FinOps). Utilisation de Spark, Airflow et AWS.
Missions principales:
- Migration vers AWS
- Conception de pipelines data scalables
Profil recherché:
- Compétence en Spark et Airflow
- Expérience avec AWS
Note d'actualité:
Depuis un an, on assiste à un phénomène remarquable: le processing local revient en force et est 10 fois plus rapide. Les outils tels que DuckDB, Polars et bientôt le processing WASM permettent de rendre l'analyse locale plus rapide que certains jobs distribués. Cette tendance s'explique par:
- Performance monstrueuse (vectorisé, Rust, colonne)
- Local-first: idéal pour prototyper, debug et benchmarker
- Coût = zéro
- Intégration naturelle avec Python, Pandas, Parquet, SQL
- Idéal pour tester un pipeline avant de l'envoyer en production
Cette tendance permet:
- Un prototype plus rapide
- Un debug plus facile
- Une réduction des coûts cloud
- L'évitement de lancer un cluster pour un simple dataset de 5–20 Go
- Une agilité énorme dans la phase exploration
Le combo 2025:
DuckDB + Polars + Parquet → une nouvelle stack "légère" incontournable pour les Data Engineers.
Comment ça se passe ?
1
Vous postulez avec votre profil Laotop.
2
Un référent Laotop suit votre dossier.
3
Vous êtes tenu au courant de la suite par email.