Interaktive Visualisierung der LEAD:FUH Plattform

LEAD:FUH

Funktionsweise

Lebendiger Datenkreislauf:
Ingestion → Transformation → Intelligenz →
Bereitstellung → Upstream.

Technische Architektur

Airbyte · ClickHouse · PostgreSQL · dbt · Prefect · FastAPI · DataHub – klar getrennte Ebenen.

Consent Gateway

Jede Anfrage durchläuft eine Live-Consent-Prüfung; ohne Opt-in fließen keine personenbezogenen Daten.

Was ist der Learning Analytics Backbone?

Der Learning-Analytics-Backbone verbindet Moodle, SAP und weitere Systeme, harmonisiert deren Rohdaten und erzeugt so forschungsgeeignete Datensätze sowie Echtzeit-Einblicke für Analysen und Unterstützungsangebote.
Animationsgeschwindigkeit

Steuere die Dot-Bewegungen, um den Datenfluss ruhiger oder dynamischer zu zeigen.

🐢 🐇

Data Sources

  • SAP
  • CM (HIS)
  • vStpl
  • Studyport
  • Moodle
  • OÜS
  • JELAI
  • COFFEE
  • Etherpad

Funktionsweise · Ingestion & Upstream

In dieser Phase strömen Moodle-Logs, Immatrikulationen oder Umfrageantworten in die Landing Zone. Sie bleiben hier maximal 24 Stunden, bis Consent vorliegt – jede Nutzung speist neue Events zurück und verfeinert künftige Analysen.

  • Landing Zone (temporär): Rohdaten, automatische Löschung nach 24 h.
  • Upstream: Interaktionen mit Feedback und Empfehlungen erzeugen neue Datensätze.
  • Beispiel: Eine angenommene Lernressource liefert sofort neue Inputs für die nächste Empfehlung.
Reihenfolge der Animationsschritte 3 Schritte
  1. Landing starten: Mit „Ingest Data“ fließen Rohdaten in die Landing Zone und Metadaten werden katalogisiert.
  2. Transformation & Consent: Anschließend „Transform (dbt)“ aktivieren, um Consent-Filter und Governance-Schritte sichtbar zu machen.
  3. Use Cases erkunden: Zuletzt „Consume Data“ sowie die ↗‑Chips wie „Studierende im Fokus“ anklicken, um die konkreten Anwendungen zu öffnen. Hier startet auch der exemplarische Upstream (Dashboards zu Moodle).

LEAD:FUH Platform

SAP BW

Nightly/Monthly Transfer
(e.g. Assignment Grades)

BW

Ingestion Layer

PDB
PeerDB
CDC / Real-time
MLT
Meltano
Batch ELT

Landing Zone

raw data, TTL 24h, ALL students

PG
PostgreSQL
CH
ClickHouse
  • Moodle Aktivitätsdaten
  • Einschreibungen (Raw)
  • Studenten-Stammdaten (Raw)

🗑️

Transformation

Federated Governance (consent filter, quality checks, …)

DBT
DBT

Transformation & Datenqualität

Daten werden bereinigt, vereinheitlicht und angereichert – Kurs und Modul verschmelzen zu einer Entität. dbt plus Great Expectations dokumentieren und überwachen jede Pipeline.

  • Transformation: Harmonisierung, Consent-Filter, Governance.
  • Datenqualität: Great Expectations kontrolliert alle Produkte.

Core Zone

PG
PostgreSQL
CH
ClickHouse
  • Aktivität (Consent)
  • Einschreibungen (Consent)
  • Student 360° Insight
  • Kursfortschritt Monitor
  • Aktivitäts-Features

Datenzonen · Speicherung

Die Core Zone hält ausschließlich bereinigte Daten mit gültiger Einwilligung – ClickHouse verarbeitet Verhaltensdaten, PostgreSQL verwaltet Consent und Ergebnisse.

Data Catalog

Metadata & Discovery

DH
DataHub
  • Enterprise Glossar

Governance & Self-Service

DataHub liefert Lineage, Glossary und Self-Service-Marktplatz – Analyst*innen wissen jederzeit, welche Daten wo entstehen und wer verantwortlich ist.

Intelligence

PY
Python
  • Dropout-Risiko Scores
  • Support-Empfehlungen

Intelligenz

Containerisierte Python-Services und ML-Modelle erzeugen Vorhersagen zum Abbruchrisiko, liefern Aggregationen für Dashboards und speisen ihre Erfahrungen wieder zurück.

Serving & Privacy Layer

API
FastAPI
PY
Python

Bereitstellung & Consent Gateway

FastAPI prüft bei jeder Anfrage in Echtzeit, ob eine aktive Einwilligung vorliegt. Ohne Opt-in werden keinerlei Daten ausgeliefert – Widerrufe blockieren die Ausgabe sofort und stoßen physische Löschung an.

  • Opt-in als Standard, Widerruf wirkt sofort.
  • Physische Löschung entfernt historische Daten widerrufener Einwilligungen.
  • Volle Transparenz: DataHub dokumentiert Lineage für Audits.
  • Bereitstellung: Erkenntnisse gelangen gezielt zu Studierenden, Lehrenden, Beratung und Forschung.

Technische Architektur

Der Backbone folgt einem Modern-Data-Stack mit klar getrennten Verantwortlichkeiten – jede Ebene ist als Produkt dokumentiert und betreut.

  • Ingestion: PeerDB (CDC / Real-time) und Meltano (Batch ELT).
  • Speicherung: ClickHouse für Logs, PostgreSQL für Ergebnisse & Consent.
  • Transformation: dbt plus dokumentierte Modelle.
  • Datenqualität: Great Expectations überwacht Produkte.
  • Intelligenz: Python-ML-Services für Scoring & Empfehlungen.
  • Bereitstellung: FastAPI-Gateway mit Live-Consent.
  • Orchestrierung: Dagster steuert Workflows.
  • Governance: DataHub liefert Lineage und Self-Service.

Data Users

Research

Anonymized Data

  • Forschungsdatensatz (anonym)
  • Research 360° View

Studienberatung

Student Success

  • Studierende im Fokus

Student/Teacher Dashboard

  • MoLA
  • Mein Lernfortschritt

Faculty

Self-Service BI

  • Fakultäts-Dashboard

Data-Mesh-Prinzipien & Anwendungsfälle

Domänenverantwortung bleibt bei den Quellsystem-Teams, Daten werden als Produkte mit Ownern und Qualitätsmetriken bereitgestellt und eine Self-Service-Plattform ermöglicht Analyst*innen den direkten Zugriff – föderierte Governance sorgt dafür, dass Datenschutzregeln überall greifen.

  • Frühwarnsystem: erkennt Studienabbruchrisiken und liefert unterstützende Empfehlungen.
  • Personalisiertes Lernen: adaptive Rückmeldungen und individuelle Lernpfade.
  • Self-Monitoring: Dashboards zeigen Fortschritt und Aktivität der Studierenden.

Betrieb & Nachhaltigkeit

Langfristiger Betrieb

Infrastructure as Code und Backups erlauben eine komplette Wiederherstellung. Nach dem Projekt übergibt LEAD:FUH den Betrieb an das ZDI, während das Team weiterhin ML-Modelle und Datenprodukte pflegt – Renovate & Co. halten alle Komponenten aktuell.

Data Product