Tous les projets

Data engineering / Projet

Pipeline de données boursières en streaming

Un pipeline Kafka qui rejoue des données historiques, calcule des indicateurs et expose des analyses sur Parquet via Streamlit et FastAPI.

Mon rôle
Développement de pipeline de données & API
Période
Sept. — Déc. 2025
Indicateurs techniques
6
Messages par lot
100

Nombre d’indicateurs et taille des lots de traitement.

Le système en pratique

Suivre un événement de marché

Les données historiques sont rejouées sous forme de flux. Il s’agit d’un projet de data engineering, pas d’un service de trading en direct.

  1. 01

    CSV historique

    Rejeu des enregistrements

  2. 02

    Producteur + Kafka

    Indicateurs et flux de messages

  3. 03

    Consommateur

    Lots de 100 messages

  4. 04

    Parquet

    Stockage local ou S3

  • Streamlit

    Explorer les données traitées

  • FastAPI

    Interroger les endpoints REST

01 / Le contexte

Le problème étudié

Un projet de data engineering qui simule un flux boursier à partir de données CSV historiques. Kafka relie ingestion, analyses, stockage par lots, tableau de bord et API.

02 / Ma contribution

Mon travail

Développement de l’ingestion, des transformations, de l’orchestration, des indicateurs, du stockage, du tableau de bord et de l’API.

Le défi

Rendre les données de marché exploitables dans les couches de stockage, d’analyse et d’application.

03 / La démarche

Le fonctionnement du système

  1. Rejouer les enregistrements CSV sous forme de messages Kafka, puis normaliser les champs imbriqués et les dates.
  2. Traiter des lots de 100 messages et écrire des fichiers Parquet en local ou sur S3.
  3. Calculer six indicateurs, dont SMA, EMA, RSI et volatilité, avec des alertes sur les prix et les volumes.
  4. Exposer les données via Streamlit et FastAPI ; utiliser Docker Compose pour l’environnement Kafka.

04 / Les résultats

Les réalisations

  • Intégration du streaming simulé, des analyses, du stockage et de l’exposition des données.
  • Un workflow consultable dans le code public du producteur, du consommateur, des analyses et de l’API.
Projet suivant

Lire les tendances des ventes