Data engineering / Projet
Pipeline de données boursières en streaming
Un pipeline Kafka qui rejoue des données historiques, calcule des indicateurs et expose des analyses sur Parquet via Streamlit et FastAPI.
- Mon rôle
- Développement de pipeline de données & API
- Période
- Sept. — Déc. 2025
- Indicateurs techniques
- 6
- Messages par lot
- 100
Nombre d’indicateurs et taille des lots de traitement.
Le système en pratique
Suivre un événement de marché
Les données historiques sont rejouées sous forme de flux. Il s’agit d’un projet de data engineering, pas d’un service de trading en direct.
- 01
CSV historique
Rejeu des enregistrements
- 02
Producteur + Kafka
Indicateurs et flux de messages
- 03
Consommateur
Lots de 100 messages
- 04
Parquet
Stockage local ou S3
Streamlit
Explorer les données traitées
FastAPI
Interroger les endpoints REST
01 / Le contexte
Le problème étudié
Un projet de data engineering qui simule un flux boursier à partir de données CSV historiques. Kafka relie ingestion, analyses, stockage par lots, tableau de bord et API.
02 / Ma contribution
Mon travail
Développement de l’ingestion, des transformations, de l’orchestration, des indicateurs, du stockage, du tableau de bord et de l’API.
Le défi
Rendre les données de marché exploitables dans les couches de stockage, d’analyse et d’application.
03 / La démarche
Le fonctionnement du système
- Rejouer les enregistrements CSV sous forme de messages Kafka, puis normaliser les champs imbriqués et les dates.
- Traiter des lots de 100 messages et écrire des fichiers Parquet en local ou sur S3.
- Calculer six indicateurs, dont SMA, EMA, RSI et volatilité, avec des alertes sur les prix et les volumes.
- Exposer les données via Streamlit et FastAPI ; utiliser Docker Compose pour l’environnement Kafka.
04 / Les résultats
Les réalisations
- Intégration du streaming simulé, des analyses, du stockage et de l’exposition des données.
- Un workflow consultable dans le code public du producteur, du consommateur, des analyses et de l’API.