Ein Data Warehouse ist eine zentrale Datenbank, in die alle deine Daten fliessen (Analysen, CRM, Anzeigen, E-Mail, Vertrieb). Statt Tools einzeln miteinander zu verbinden, schicken alle Tools ihre Daten ins Warehouse. Das Warehouse wird zur einzigen Quelle der Wahrheit. Berichtstools und Teams greifen auf das Warehouse zu, nicht auf einzelne Tools. Das beseitigt Datensilos und ermöglicht komplexe Analysen über mehrere Tools hinweg. Dieses Kapitel zeigt, wann und wie du ein Data Warehouse aufbaust.
Was ein Data Warehouse ist und kann
Ein Data Warehouse besteht aus: (1) einer zentralen Datenbank (zum Beispiel ein Cloud-Dienst für grosse Datenmengen), (2) Datenpipelines, die Daten aus den Tools ins Warehouse leiten, (3) Schemas, die die Daten einheitlich ordnen, und (4) einer Zugriffsebene, auf der Analysten und Tools das Warehouse abfragen.
Vorteile: eine einzige Quelle der Wahrheit, flexible Abfragen (nicht auf die eingebauten Berichte eines Tools beschränkt), Aufbewahrung historischer Daten, Kosteneffizienz bei grossen Mengen (günstiger, als jedes Tool für Speicher zu bezahlen) und Möglichkeiten für fortgeschrittene Analysen (maschinelles Lernen, Prognosen).
Aufbau eines Data Warehouse
Rohdatenebene: exakte Kopie der Daten aus den Quellsystemen. Keine Umwandlung. Sie bewahrt die Originaldaten auf, falls du sie neu verarbeiten musst.
Staging-Ebene: die Daten werden bereinigt, dedupliziert und geprüft. Unstimmigkeiten werden behoben. Die Daten sind einheitlich, aber noch nicht bereit für die Analyse.
Analyseebene: die Daten werden in Tabellen umgewandelt, die für die Analyse gebaut sind. Beispiele: Faktentabellen (Conversions mit Schlüsseln zu anderen Dimensionen) und Dimensionstabellen (Kunden, Produkte, Kampagnen). Das fragen Analysten ab.
Ein Data Warehouse einrichten
Schritt 1: Wähle deine Warehouse-Plattform.
Einfache Cloud-Dienste mit Abrechnung pro abgefragtem Datenvolumen: gut für die meisten Unternehmen.
Leistungsstarke, teure Plattformen: gut für grosse Unternehmen mit komplexen Anforderungen.
Cloud-Dienste grosser Infrastrukturanbieter: leistungsstark und bei grossen Mengen günstiger als die teuren Plattformen.
Postgres: kostenlos, Open Source, geeignet für kleine bis mittlere Datenmengen.
Schritt 2: Hole die Daten aus deinen Tools.
Nutze ETL-Tools (Extract-Transform-Load) und Workflow-Werkzeuge für Datenpipelines. Sie verbinden sich mit deinen Quellsystemen und kopieren die Daten automatisch ins Warehouse (täglich, stündlich, in Echtzeit).
Schritt 3: Entwirf dein Schema.
Lege Tabellen und Beziehungen fest: Kundentabelle, Bestelltabelle, Bestellpositionen, Kampagnentabelle. Wie hängen sie zusammen? Dieser Entwurf bestimmt, welche Fragen du effizient beantworten kannst.
Schritt 4: Richte Zugriff und Governance ein.
Wer darf das Warehouse abfragen? Haben die Personen Zugriff auf alle Daten oder nur auf die ihrer Abteilung? Lege Berechtigungen fest. Dokumentiere das Schema, damit Analysten wissen, was die Daten bedeuten. Überwache die Abfragen, damit die Leistung stimmt.
Wann du ein Data Warehouse aufbauen solltest
Zu früh: 1 bis 2 Tools, ein Team von 3. Der Aufwand ist zu hoch.
Der richtige Zeitpunkt: 5 und mehr Tools, ein Team von 5 und mehr, regelmässig komplexe Fragen über mehrere Tools. Die Kosten des Warehouse rechnen sich durch gesparte Zeit und gewonnene Erkenntnisse.
Notwendig: 10 und mehr Tools, ein Team von 10 und mehr, eine datengetriebene Kultur. Das Warehouse ist dann notwendige Infrastruktur.
Herausforderungen beim Aufbau eines Data Warehouse
Komplexität: Warehouses sind technisch aufwendig. Sie brauchen Dateningenieure für den Betrieb. Für kleine Unternehmen ist das eine Hürde bei der Personalsuche.
Datenqualität: Müll rein, Müll raus. Schlechte Daten im Warehouse führen zu schlechten Erkenntnissen. Datenprüfung und Bereinigung sind entscheidend.
Kosten: kann teuer werden (bei grossen Mengen können es 100 bis 1.000 $ im Monat und mehr sein). Du brauchst Optimierung und Governance, um die Kosten im Griff zu behalten.
Soll ich ein Data Warehouse bauen oder die eingebauten Integrationen eines BI-Tools nutzen?
Integrationen von BI-Tools: einfach, schnell eingerichtet (Stunden), wenig Anpassung. Warehouse: mehr Aufwand bei der Einrichtung (Wochen oder Monate), sehr flexibel, skalierbar. Bei 3 bis 4 Tools reichen BI-Integrationen. Bei 5 und mehr Tools oder komplexen Analysen lohnt sich ein Warehouse. Starte mit Integrationen und steige aufs Warehouse um, wenn sie nicht mehr reichen.
Was kostet ein Data Warehouse?
Das hängt vom Anbieter ab. Bei Diensten mit Abrechnung pro Abfrage sind es ungefähr 6,25 $ pro abgefragtem TB. Bei Diensten mit Rechenguthaben sind es 2 bis 4 $ pro verbrauchtem Guthaben (je nach Grösse des Warehouse). Bei Diensten mit Abrechnung nach Laufzeit sind es 1 bis 4 $ pro Stunde. Die Kosten hängen von Datenmenge und Komplexität der Abfragen ab. Für die meisten Unternehmen sind es bei grossen Mengen 500 bis 2.000 $ im Monat, für kleinere 50 bis 500 $ im Monat. Plane auch die Arbeitszeit der Dateningenieure ein (der teuerste Teil).
Was ist der Unterschied zwischen einem Data Warehouse und einem Data Lake?
Warehouse: strukturiert, bereinigt, für Abfragen optimiert. Lake: unstrukturiert, roh, speichert alles (günstiger). Warehouses sind für Analysen da, Lakes für die Speicherung von Rohdaten. Moderner Ansatz: Lake + Warehouse (Rohdaten im Lake, bereinigte Daten im Warehouse). Fang mit einem Warehouse an und ergänze einen Lake, wenn die Speicherkosten explodieren.
Wie stelle ich die Datenqualität in meinem Warehouse sicher?
Lege Prüfregeln fest: Suche nach Duplikaten, Nullwerten und Werten ausserhalb des erlaubten Bereichs. Teste die Datenpipelines: Passt der Datenfluss zu den erwarteten Summen? Prüfe regelmässig: Vergleiche die Summen im Warehouse mit denen der Quellsysteme. Behebe Abweichungen und dokumentiere Auffälligkeiten. Übertrage die Verantwortung für die Datenqualität einer Person oder einem Team.
Kann ich spontane Fragen an mein Warehouse stellen, ohne Dateningenieur zu sein?
Ja, wenn das Schema gut entworfen und dokumentiert ist. Schreibe SQL-Abfragen, um Fragen zu beantworten. Für Personen ohne technischen Hintergrund: Nutze BI-Tools mit fertigen Dashboards. Für spontane Fragen schreiben Dateningenieure oder Analytics Engineers das SQL. Eine Rolle als Analytics Engineer (sie verbindet Dateningenieurwesen und Analyse) hilft, den Zugang für alle zu öffnen.
Wie oft sollten die Daten in meinem Warehouse aktualisiert werden?
Täglich ist der Standard (läuft über Nacht). Echtzeit ist möglich, aber teuer. Für die meisten Analysen reicht täglich. Für operative Dashboards (Vertriebs-Pipeline) kann stündlich oder Echtzeit nötig sein. Starte mit täglich und wechsle auf stündlich nur, wenn das Geschäft es braucht und du es bezahlen kannst.