Menü

Tutorial zum Testen von ETL-Data Warehouse-Tests (Eine vollständige Anleitung)

  • Haupt
  • Datenbanktests
  • Tutorial zum Testen von ETL-Data Warehouse-Tests (Eine vollständige Anleitung)

etl testing data warehouse testing tutorial

Versuchen Sie Unser Instrument, Um Probleme Zu Beseitigen

ETL-Test / Data Warehouse-Prozess und Herausforderungen:

Lassen Sie mich heute einen Moment Zeit und erläutern Sie meine Testgemeinschaft über eine der gefragtesten und anstehenden Fähigkeiten für meine Testerfreunde, d. H. ETL-Tests (Extrahieren, Transformieren und Laden).

In diesem Tutorial erhalten Sie eine vollständige Vorstellung von ETL-Tests und was wir tun, um den ETL-Prozess zu testen.

Komplette Listen-Tutorials in dieser Reihe:

Es wurde beobachtet, dass die unabhängige Überprüfung und Validierung ein enormes Marktpotenzial gewinnt, und viele Unternehmen sehen dies nun als potenziellen Geschäftsgewinn an.

ETL-Tests _ Data Warehouse-Tests - Tipps, Techniken, Prozesse und Herausforderungen

Den Kunden wurde eine unterschiedliche Produktpalette in Bezug auf Serviceangebote angeboten, die in vielen Bereichen basierend auf Technologie, Prozess und Lösungen verteilt sind. ETL oder Data Warehouse ist eines der Angebote, die sich schnell und erfolgreich entwickeln.

ETL-Prozess

Durch den ETL-Prozess werden Daten aus den Quellsystemen abgerufen, gemäß den Geschäftsregeln transformiert und schließlich in das Zielsystem (Data Warehouse) geladen. Ein Data Warehouse ist ein unternehmensweites Geschäft, das integrierte Daten enthält, die den Geschäftsentscheidungsprozess unterstützen. Es ist ein Teil von Business Intelligence.

Was du lernen wirst:

Warum benötigen Unternehmen Data Warehouse?

Unternehmen mit organisierten IT-Praktiken freuen sich darauf, die nächste Stufe der Technologietransformation zu schaffen. Sie versuchen nun, sich mit einfach zu interoperierenden Daten viel operativer zu machen.

Allerdings sind Daten der wichtigste Bestandteil eines Unternehmens. Es kann sich um alltägliche oder historische Daten handeln. Daten sind das Rückgrat eines jeden Berichts und Berichte sind die Grundlage, auf der alle wichtigen Managemententscheidungen getroffen werden.

Die meisten Unternehmen machen einen Schritt vorwärts beim Aufbau ihres Data Warehouse zum Speichern und Überwachen von Echtzeitdaten sowie historischen Daten. Das Erstellen eines effizienten Data Warehouse ist keine leichte Aufgabe. Viele Organisationen haben verteilte Abteilungen mit unterschiedlichen Anwendungen, die auf verteilter Technologie ausgeführt werden.

Das ETL-Tool wird verwendet, um eine fehlerfreie Integration zwischen verschiedenen Datenquellen aus verschiedenen Abteilungen zu erreichen. Das ETL-Tool arbeitet als Integrator und extrahiert Daten aus verschiedenen Quellen. Die Umwandlung in das bevorzugte Format basierend auf den Geschäftsumwandlungsregeln und das Laden in die zusammenhängende Datenbank sind Data Warehouse.

Ein gut geplanter, klar definierter und effektiver Testumfang garantiert eine reibungslose Konvertierung des Projekts zur Produktion. Ein Unternehmen gewinnt den eigentlichen Auftrieb, sobald die ETL-Prozesse von einer unabhängigen Expertengruppe überprüft und validiert wurden, um sicherzustellen, dass das Data Warehouse konkret und robust ist.

ETL- oder Data Warehouse-Tests werden in vier verschiedene Aufgaben unterteilt unabhängig von der verwendeten Technologie oder den verwendeten ETL-Tools:

  • Neue Data Warehouse-Tests - Neue DW wird von Grund auf neu erstellt und überprüft. Die Dateneingabe erfolgt aus Kundenanforderungen und verschiedenen Datenquellen. Mit Hilfe von ETL-Tools wird ein neues Data Warehouse erstellt und überprüft.
  • Migrationstests - Bei dieser Art von Projekt haben Kunden eine vorhandene DW und ETL, die den Auftrag ausführen. Sie möchten jedoch neue Tools einsetzen, um die Effizienz zu verbessern.
  • Änderungsanforderung - Bei dieser Art von Projekt werden einem vorhandenen DW neue Daten aus verschiedenen Quellen hinzugefügt. Es kann auch vorkommen, dass der Kunde seine vorhandene Geschäftsregel ändern oder die neue Regel integrieren muss.
  • Berichtstests - Der Bericht ist das Endergebnis eines Data Warehouse und der grundlegende Vorschlag, für den DW erstellt. Der Bericht muss getestet werden, indem Layout, Daten im Bericht und Berechnung validiert werden.

ETL-Prozess

(( Hinweis : Klicken Sie auf das Bild für eine vergrößerte Ansicht)

ETL-Tests

ETL-Testtechniken

1) Testen der Datentransformation : Stellen Sie sicher, dass die Daten gemäß den verschiedenen Geschäftsanforderungen und -regeln korrekt transformiert werden.

2) Testen der Anzahl von Quelle zu Ziel : Stellen Sie sicher, dass die Anzahl der in das Ziel geladenen Datensätze mit der erwarteten Anzahl übereinstimmt.

3) Testen von Quelle zu Zieldaten : Stellen Sie sicher, dass alle projizierten Daten ohne Datenverlust und Kürzung in das Data Warehouse geladen werden.

4) Datenqualitätsprüfung : Stellen Sie sicher, dass die ETL-Anwendung ordnungsgemäß ablehnt, durch Standardwerte ersetzt und ungültige Daten meldet.

5) Leistungstests : Stellen Sie sicher, dass die Daten innerhalb des vorgeschriebenen und erwarteten Zeitrahmens in das Data Warehouse geladen werden, um eine verbesserte Leistung und Skalierbarkeit zu bestätigen.

kostenloses Systemoptimierungsprogramm für Windows 7

6) Produktionsvalidierungstests: Validieren Sie die Daten im Produktionssystem und vergleichen Sie sie mit den Quelldaten.

7) Testen der Datenintegration : Stellen Sie sicher, dass die Daten aus verschiedenen Quellen ordnungsgemäß in das Zielsystem geladen wurden und alle Schwellenwerte überprüft wurden.

8) Testen der Anwendungsmigration : Bei diesem Test wird sichergestellt, dass die ETL-Anwendung beim Wechsel auf eine neue Box oder Plattform einwandfrei funktioniert.

9) Daten- und Einschränkungsprüfung : In diesem Fall werden Datentyp, Länge, Index, Einschränkungen usw. getestet.

10) Überprüfung doppelter Daten : Testen Sie, ob in den Zielsystemen doppelte Daten vorhanden sind. Doppelte Daten können zu falschen Analyseberichten führen.

Neben den oben genannten ETL-Testmethoden werden auch andere Testmethoden wie Systemintegrationstests, Benutzerakzeptanztests, Inkrementaltests, Regressionstests, Wiederholungstests und Navigationstests durchgeführt, um sicherzustellen, dass alles reibungslos und zuverlässig ist.

ETL / Data Warehouse Testprozess

Ähnlich wie bei allen anderen Tests, die unter Unabhängige Überprüfung und Validierung fallen, durchläuft auch ETL dieselbe Phase.

  • Anforderungsverständnis
  • Validieren
  • Testschätzung basierend auf einer Reihe von Tabellen, der Komplexität von Regeln, dem Datenvolumen und der Leistung eines Jobs.
  • Testplanung basierend auf den Eingaben aus der Testschätzung und den Geschäftsanforderungen. Wir müssen hier feststellen, was im Geltungsbereich liegt und was nicht. In dieser Phase achten wir auch auf Abhängigkeiten, Risiken und Minderungspläne.
  • Testfälle entwerfen und Testszenarien aus allen verfügbaren Eingaben. Wir müssen auch Mapping-Dokumente und SQL-Skripte entwerfen.
  • Sobald alle Testfälle fertig und genehmigt sind, führt das Testteam eine Überprüfung vor und nach der Ausführung durch Vorbereitung der Testdaten zum Prüfen
  • Zuletzt wird die Ausführung durchgeführt, bis die Beendigungskriterien erfüllt sind. Die Ausführungsphase umfasst also das Ausführen von ETL-Jobs, das Überwachen von Jobläufen, die Ausführung von SQL-Skripten, die Fehlerprotokollierung, das erneute Testen von Fehlern und das Testen von Regressionen.
  • Nach erfolgreichem Abschluss wird ein zusammenfassender Bericht erstellt und der Abschlussprozess abgeschlossen. In dieser Phase wird eine Abmeldung erteilt, um den Job oder Code in die nächste Phase zu befördern.

Die ersten beiden Phasen, d. H. Das Verständnis und die Validierung von Anforderungen, können als Vorschritte des ETL-Testprozesses angesehen werden.

Der Hauptprozess kann also wie folgt dargestellt werden:

Hauptprozess

Vor Beginn der eigentlichen Tests muss eine Teststrategie definiert werden, die von den Beteiligten gegenseitig akzeptiert werden sollte. Eine genau definierte Teststrategie stellt sicher, dass der korrekte Ansatz eingehalten wurde, um die Testziele zu erreichen.

Für ETL / Data Warehouse-Tests muss möglicherweise das SQL-Team ausführlich SQL-Anweisungen schreiben oder das vom Entwicklungsteam bereitgestellte SQL anpassen. In jedem Fall muss ein Testteam die Ergebnisse kennen, die es mit diesen SQL-Anweisungen erzielen möchte.

Unterschied zwischen Datenbank- und Data Warehouse-Tests

Es gibt ein weit verbreitetes Missverständnis, dass Datenbanktests und Data Warehouse ist ähnlich, während die Tatsache ist, dass beide beim Testen unterschiedliche Richtungen einnehmen.

  • Datenbanktests werden unter Verwendung eines kleineren Datenumfangs durchgeführt, normalerweise mit Datenbanken vom Typ OLTP (Online Transaction Processing), während Data Warehouse-Tests mit großem Volumen mit Daten durchgeführt werden, die OLAP-Datenbanken (Online Analytical Processing) betreffen.
  • Beim Datenbanktest werden Daten normalerweise konsistent aus einheitlichen Quellen eingespeist, während beim Data Warehouse-Test die meisten Daten aus verschiedenen Arten von Datenquellen stammen, die nacheinander inkonsistent sind.
  • Im Allgemeinen führen wir beim Datenbanktest die einzige CRUD-Operation (Erstellen, Lesen, Aktualisieren und Löschen) aus, während wir beim Data Warehouse-Testen die schreibgeschützte Operation (Auswählen) verwenden.
  • Normalisierte Datenbanken werden beim Testen von DBs verwendet, während demoralisierte DBs beim Testen von Data Warehouse verwendet werden.

Es gibt eine Reihe universeller Überprüfungen, die für jede Art von Data Warehouse-Tests durchgeführt werden müssen.

Nachfolgend finden Sie eine Liste der Objekte, die bei diesen Tests als wesentlich für die Validierung behandelt werden:

  • Stellen Sie sicher, dass die Datentransformation von der Quelle zum Ziel wie erwartet funktioniert
  • Stellen Sie sicher, dass dem Zielsystem erwartete Daten hinzugefügt werden
  • Stellen Sie sicher, dass alle DB-Felder und Felddaten ohne Kürzung geladen werden
  • Überprüfen Sie die Datenprüfsumme auf Übereinstimmung mit der Datensatzanzahl
  • Stellen Sie sicher, dass für abgelehnte Daten ordnungsgemäße Fehlerprotokolle mit allen Details erstellt werden
  • Überprüfen Sie die NULL-Wertefelder
  • Stellen Sie sicher, dass keine doppelten Daten geladen sind
  • Überprüfen Sie die Datenintegrität

=> Kennen Sie die Unterschied zwischen ETL / Data Warehouse-Tests und Datenbanktests .

ETL-Testherausforderungen

Diese Prüfung unterscheidet sich erheblich von herkömmlichen Prüfungen. Bei der Durchführung von Data-Warehouse-Tests standen wir vor vielen Herausforderungen.

Hier sind einige Herausforderungen, die ich bei meinem Projekt erlebt habe:

  • Inkompatible und doppelte Daten
  • Datenverlust während des ETL-Prozesses
  • Nichtverfügbarkeit des inklusiven Prüfstands
  • Tester haben keine Berechtigung, ETL-Jobs selbst auszuführen
  • Datenvolumen und -komplexität sind sehr groß
  • Fehler in Geschäftsprozessen und -verfahren
  • Probleme beim Erfassen und Erstellen von Testdaten
  • Instabile Testumgebung
  • Fehlende Geschäftsflussinformationen

Daten sind wichtig für Unternehmen, um die kritischen Geschäftsentscheidungen zu treffen. ETL-Tests spielen eine wichtige Rolle bei der Validierung und Sicherstellung, dass die Geschäftsinformationen genau, konsistent und zuverlässig sind. Außerdem wird die Gefahr eines Datenverlusts in der Produktion minimiert.

Ich hoffe, diese Tipps tragen dazu bei, dass Ihr ETL-Prozess korrekt ist und das dadurch erstellte Data Warehouse einen Wettbewerbsvorteil für Ihr Unternehmen darstellt.

Vollständige Liste der ETL-Test-Tutorials:

Dies ist ein Gastbeitrag von Vishal Chhaperia, der in einem MNC in einer Testmanagement-Rolle arbeitet. Er verfügt über umfangreiche Erfahrung in der Verwaltung von QS-Projekten, Prozessen und Teams mit mehreren Technologien.

Haben Sie an ETL-Tests gearbeitet? Bitte teilen Sie Ihre ETL / DW-Testtipps und Herausforderungen unten mit.

Literatur-Empfehlungen

^