Mehr Dynamik in Microsoft Fabric: Wie Dataflows Gen2 mit Pipeline-Parametern flexibler werden
- Hans Peter Pfister
- vor 3 Tagen
- 4 Min. Lesezeit
Einleitung
Datenintegration ist längst keine lineare Aufgabe mehr. Moderne Analytics-Lösungen erfordern flexible, wiederverwendbare und steuerbare ETL-Prozesse, die sich an wechselnde Anforderungen anpassen lassen – sei es durch unterschiedliche Mandanten, Datenquellen, Umgebungen oder Zeiträume.
Mit der Einführung der „Public Parameters“ in Microsoft Fabric Dataflows Gen2 (Preview seit Oktober 2025) öffnet sich ein neues Kapitel in der Automatisierung und Modularisierung von Datenflüssen.
Erstmals können Pipeline-Parameter direkt an Microsoft Fabric Dataflows Gen2 übergeben werden – ein entscheidender Schritt hin zu vollständig dynamischen ETL-Frameworks in Fabric.
1. Was sind Dataflows Gen2-Parameter?
Dataflows Gen2 sind die Nachfolger der klassischen Power BI-Dataflows und bilden im Fabric-Ökosystem die Brücke zwischen Self-Service und Enterprise-ETL.
Während sie in der ersten Generation vor allem für Power BI-Modelle gedacht waren, sind Gen2-Dataflows in Fabric Data Factory vollwertige ETL-Bausteine, die direkt in Lakehouses, Warehouses oder KQL-Datenbanken schreiben können.
Mit der neuen Parameter-Funktion lassen sich Werte aus Pipelines an Dataflows übergeben, um z. B. Quellpfade, Filterbedingungen oder Zieltabellen dynamisch zu steuern. Jeder Parameter wird als „Public Parameter“ deklariert und kann im Power Query-Editor des Dataflows angelegt werden.
Beispiel:
let
Quelle = Excel.Workbook(File.Contents(Parameter_Dateipfad), true)
in
Quelle
Der Parameter Parameter_Dateipfad kann später aus der Pipeline befüllt werden – so läuft derselbe Dataflow mit unterschiedlichen Quellen oder Zielen, ohne Codeanpassung.
2. Übergabe über Pipelines
Die Integration erfolgt über die Fabric Pipeline-Aktivität „Dataflow Gen2“. Dort lassen sich für jeden Run dynamische Werte übergeben, die beim Start des Dataflows automatisch in dessen Parameter-Kontext injiziert werden.
Beispielhafte Pipeline-Konfiguration:
{
"name": "Load_SalesData",
"type": "DataflowGen2",
"parameters": {
"Land": "@pipeline().parameters.Land",
"Datum": "@utcNow()"
}
}
Damit kann derselbe Dataflow für verschiedene Länder ausgeführt werden, z. B. DE, FR, IT. Die Pipeline kontrolliert, welche Werte bei jedem Lauf eingesetzt werden – ein klarer Fortschritt gegenüber fest codierten Pfaden im M-Code.
3. Warum das wichtig ist
Bisher mussten Entwickler für jede Variante eines Dataflows eine eigene Version erstellen.
Unterschiedliche Quellen, Umgebungen oder Partitionen bedeuteten Kopien des gleichen Flows mit leicht veränderten Einstellungen. Das führte zu Redundanz, Wartungsaufwand und Inkonsistenzen.
Mit der neuen Parameter-Integration kann ein einziger Dataflow hundertfach wiederverwendet werden – in verschiedenen Pipelines, Umgebungen und Projekten. Das spart Zeit, senkt Kosten und erhöht die Governance-Transparenz.
4. Typische Business-Use-Cases
a) Mandanten- oder Ländertrennung
Ein Konzern speichert Umsatzdaten pro Land in separaten Quellenordnern (/data/DE/, /data/FR/, …). Die Pipeline übergibt das Land als Parameter, der Dataflow lädt und schreibt die jeweiligen Daten automatisch in die passende Zielstruktur.
b) Zeitbasierte Inkremente
Bei täglichen Loads übergibt die Pipeline den aktuellen Tag als Parameter. Der Dataflow filtert die Quelltabellen dynamisch auf diesen Zeitraum – ohne Änderungen im M-Code.
c) Dev/Test/Prod-Steuerung
Ein Dataflow kann in mehreren Fabric-Workspaces (z. B. Dev, Test, Prod) laufen. Der Pipeline-Parameter Environment bestimmt zur Laufzeit, in welches Lakehouse oder Warehouse geschrieben wird. Somit entfällt das manuelle Anpassen der Zielverbindungen beim Deployment.
d) Kunden- oder Projektspezifische Loads
Beratungsunternehmen mit vielen Kundenprojekten können denselben Dataflow für unterschiedliche Datenquellen nutzen, gesteuert durch einen Parameter CustomerID oder ProjectCode. So entsteht ein echtes Multi-Mandanten-Framework.
5. Dynamische Ziele: Lakehouse, Warehouse und Files
Parameter können nicht nur Quellen, sondern auch Ziele steuern.
Beispiel: Ein Dataflow schreibt in eine Lakehouse-Tabelle:
Output = Dataflow.WriteToLakehouse(TargetLakehouse, TargetTable)
Die Pipeline übergibt TargetLakehouse = "FinanceLake" und TargetTable = "Sales_DE".Damit wird zur Laufzeit das Ziel dynamisch bestimmt.
Typische Ziel-Szenarien:
Schreibpfad nach Land (Sales_<Land>)
Automatisierte Partitionierung nach Datum
Temporäre Test-Tabellen für Validierungsläufe
Flexible Umgebungsauswahl zwischen „Dev“ und „Prod“
6. Best Practices
Namenskonventionen: Einheitliches Präfix, z. B. param_ oder p_.
Standardwerte: Erleichtern lokales Debugging außerhalb der Pipeline.
Validierung: Parameterwerte vor dem Run prüfen (z. B. über IF-Konstrukte).
Dokumentation: Parameterdefinitionen im Dataflow-Header beschreiben.
Fehlerhandling: Bei leerem oder falschem Parameter frühzeitig abbrechen.
Modularisierung: Dataflows klein und wiederverwendbar halten; Steuerung erfolgt über Pipelines.
7. Aktuelle Grenzen (Preview-Status)
Da sich die Funktion noch in der Public Preview (seit 20. Oktober 2025) befindet, gelten einige Einschränkungen:
Nur Public Parameters sind von Pipelines aus zugreifbar.
Parameterwerte sind textbasiert; komplexe Objekte (Arrays, Tabellen) werden noch nicht unterstützt.
Kein automatisches Typ-Mapping zwischen Pipeline und Dataflow – die Werte werden als String übergeben.
Validierungen und Fehlerlogs sind noch rudimentär.
In manchen Fällen ist ein erneutes Publish des Dataflows notwendig, damit Parameter erkannt werden.
Diese Punkte werden laut Microsoft schrittweise bis GA (General Availability) adressiert.
8. Business-Vorteile im Überblick
9. Microsoft Fabric Dataflows Gen2 Pipeline-Parameter - Fazit
Die Einführung der Pipeline-Parameter für Dataflows Gen2 ist ein bedeutender Fortschritt für alle, die Microsoft Fabric als zentrale Datenplattform einsetzen. Sie verbindet die Einfachheit von Power Query mit der Steuerungslogik klassischer ETL-Frameworks – ein Ansatz, der Self-Service und Enterprise-Automatisierung elegant zusammenführt.
Für Unternehmen bedeutet das:
Schnellere Umsetzung neuer Anforderungen
Einheitliche Codebasis über Projekte und Umgebungen hinweg
Höhere Datenqualität durch klar definierte, wiederverwendbare Prozesse
In Kombination mit Lakehouse-Zieltabellen, Data Pipelines und Fabric Notebooks entsteht ein vollständig orchestrierbares Framework, das Automatisierung, Nachvollziehbarkeit und Governance in einer Plattform vereint.
Wer heute Dataflows Gen2 in Fabric einsetzt, sollte diese neue Funktion frühzeitig evaluieren und in künftige Architektur-Designs einplanen – besonders in Szenarien mit mehreren Umgebungen, Ländern oder Mandanten.
Denn: Parameter machen Dataflows skalierbar, Pipelines machen sie steuerbar – gemeinsam bilden sie die Grundlage moderner, dynamischer Datenarchitekturen in Microsoft Fabric.
Ihr Partner für moderne Datenplattformen
Swiss Business Analytics GmbH unterstützt Sie bei der Einführung von Microsoft Fabric, der Entwicklung einer nachhaltiger Datenarchitekturen, Trainings für IT und Fachbereiche und auch bei der Umsetzung von Datenprodukten und Self-Service-Konzepten.
👉 Kontaktieren Sie uns für ein unverbindliches Beratungsgespräch – wir helfen Ihnen, Hype in Realität zu verwandeln.
Swiss Business Analytics GmbH – Ihr Partner für datengetriebene Lösungen.
Wenn Sie erfahren möchten, wie Microsoft Fabric Ihre Datenstrategie transformieren kann, kontaktieren Sie Swiss Business Analytics. Wir helfen Ihnen dabei, die richtigen Lösungen für Ihr Unternehmen zu entwickeln.
