ETL vs. DB-Tests - Ein genauerer Blick auf den Bedarf, die Planung und die ETL-Tools für ETL-Tests

etl vs db testing closer look etl testing need

Das Testen von Software hat eine Vielzahl von Bereichen, auf die man sich konzentrieren muss. Hauptsorten sind funktionelle und nicht funktionale Tests. Funktionstests sind die prozedurale Methode, um sicherzustellen, dass die entwickelte Funktionalität wie erwartet funktioniert. Nichtfunktionale Tests sind der Ansatz, mit dem nichtfunktionale Aspekte wie Verbesserungen oder eine Leistung auf einem akzeptablen Niveau sichergestellt werden können.

Es gibt eine andere Art des Testens DB-Test . Die Daten sind in der Datenbank in Form von Tabellen organisiert. Für Unternehmen kann es Flüsse geben, in denen Die Daten aus mehreren Tabellen können zu einer einzigen Tabelle zusammengeführt oder verarbeitet werden und umgekehrt.

ETL-Tests ist eine andere Art von Test, die im Geschäftsfall bevorzugt wird, in dem die Kunden eine Art Berichterstattungsbedarf suchen. Die Berichterstattung wird gesucht, um die Anforderungen, Bedürfnisse und das Angebot zu analysieren, damit Kunden, Unternehmen und Endbenutzer sehr gut bedient und profitiert werden.

Was lernen Sie in diesem Tutorial?

In diesem Lernprogramm erfahren Sie anhand realer Beispiele, was Datenbanktests sind, was ETL-Tests sind, welchen Unterschied DB-Tests und ETL-Tests aufweisen und welche Anforderungen, Prozesse und Planungen für ETL-Tests erforderlich sind.

Auf der folgenden Seite haben wir uns auch ausführlicher mit ETL-Tests befasst. Schauen Sie es sich auch an.

=> Tipps und Techniken für ETL-Tests / Data Warehouse-Tests

Was du lernen wirst:

• DB-Test vs. ETL-Test
  • Vergleichende Untersuchung von ETL- und DB-Tests
  • Warum sollte sich das Unternehmen für ETL entscheiden?
  • ETL-Testplanung
  • Kritische ETL-Anforderungen
  • Grundlegende Probleme beim ETL-Testen
  • Wichtige Punkte bei der Planung und Durchführung von ETL-Tests
  • ETL-Tools und ihre signifikante Verwendung
  • Fazit
  • Literatur-Empfehlungen

DB-Test vs. ETL-Test

Die meisten von uns sind etwas verwirrt darüber, dass sowohl Datenbanktests als auch ETL-Tests ähnlich und gleich sind. Tatsache ist, dass sie ähnlich, aber nicht gleich sind.

DB-Test:

DB-Tests werden normalerweise häufig in Geschäftsabläufen verwendet, in denen in der Anwendung mehrere Datenflüsse von mehreren Datenquellen auf eine einzelne Tabelle auftreten. Die Datenquelle kann eine Tabelle, eine flache Datei, eine Anwendung oder etwas anderes sein, das einige Ausgabedaten liefern kann.

Die erhaltenen Ausgabedaten können wiederum weiterhin als Eingabe für den sequentiellen Geschäftsablauf verwendet werden. Wenn wir also DB-Tests durchführen, ist das Wichtigste, was erfasst werden muss, wie die Daten aus der Quelle transformiert werden können und wie sie am Zielort gespeichert werden.

Die Synchronisation ist eine wichtige und wesentliche Sache, die bei der Durchführung des DB-Tests berücksichtigt werden muss. Aufgrund der Positionierung der Anwendung im Architekturfluss kann es zu wenigen Problemen mit der Daten- oder DB-Synchronisierung kommen. Daher muss bei der Durchführung des Tests darauf geachtet werden, dass dadurch das Potenzial überwunden werden kann ungültige Mängel oder Fehler.

Beispiel 1::

Das Projekt „A“ verfügt über eine integrierte Architektur, bei der die jeweilige Anwendung Daten aus mehreren anderen heterogenen Datenquellen verwendet. Daher muss die Integrität dieser Daten mit dem Zielort zusammen mit den Validierungen für Folgendes erfolgen:

• Primäre Fremdschlüsselüberprüfung
• Integrität der Spaltenwerte
• Nullwerte für beliebige Spalten

Was ist ETL-Test?

ETL-Tests sind eine spezielle Art von Tests, die der Kunde für die Prognose und Analyse seines Geschäfts durchführen lassen möchte. Dies wird hauptsächlich zu Berichtszwecken verwendet. Wenn die Kunden beispielsweise über die Kunden, die ihr Produkt verwenden oder kaufen, basierend auf dem Tag des Kaufs Bericht erstatten müssen, müssen sie die ETL-Berichte verwenden.

Post Analyse und Berichterstattung sind diese Daten Data Warehoused in ein Data Warehouse, in das die alten historischen Geschäftsdaten verschoben werden müssen.

beste Orte, um kostenlose Anime zu sehen

Dies ist ein Test auf mehreren Ebenen, da die Daten aus der Quelle in mehrere Umgebungen umgewandelt werden, bevor sie den endgültigen Zielort erreichen.

Beispiel 2::

Wir werden eine Gruppe „A“ betrachten, die Einzelhandelskundengeschäfte über einen Einkaufsmarkt abwickelt, auf dem der Kunde alle Haushaltsgegenstände kaufen kann, die für sein tägliches Überleben erforderlich sind. Hier erhalten alle Kunden eine eindeutige Mitglieds-ID, mit der sie jedes Mal Punkte sammeln können, wenn sie auf dem Einkaufsmarkt einkaufen.

Die Vorschriften der Gruppe besagen, dass die gesammelten Punkte jedes Jahr verfallen. Und je nach Verwendung kann die Mitgliedschaft entweder zu einem Mitglied mit höherer Besoldungsgruppe oder zu einem Mitglied mit niedrigerer Besoldungsgruppe im Vergleich zur aktuellen Besoldungsgruppe herabgestuft werden.

Nach 5 Jahren Etablierung des Einkaufsmarktes ist das Management nun bestrebt, sein Geschäft zusammen mit dem Umsatz zu steigern.

Daher benötigten sie nur wenige Geschäftsberichte, um ihre Kunden zu fördern.

Beim Testen der Datenbank führen wir Folgendes aus:

# 1) Validierungen für die Zieltabellen, die mit Spalten mit logischen Berechnungen erstellt werden, wie im logischen Zuordnungsblatt und im Datenroutingdokument beschrieben.

#zwei) Manipulationen wie das Einfügen, Aktualisieren und Löschen der Kundendaten können für jede Endbenutzer-POS-Anwendung in einem integrierten System zusammen mit der Back-End-Datenbank durchgeführt werden, sodass dieselben Änderungen im Endsystem berücksichtigt werden.

#3) DB-Tests müssen sicherstellen, dass keine Kundendaten vorhanden sind, die falsch interpretiert oder sogar abgeschnitten wurden. Dies kann zu schwerwiegenden Problemen wie einer falschen Zuordnung von Kundendaten zu ihrer Loyalität führen

Beim ETL-Testen prüfen wir Folgendes:

# 1) Angenommen, die Quelle enthält 100 Kunden, überprüfen Sie, ob alle diese Kunden zusammen mit ihren Daten aus den 100 Zeilen vom Quellsystem zum Ziel verschoben wurden. Dies wird als Überprüfung von bezeichnet Vollständigkeitsprüfung der Daten.

VPN für netflix kostenlos

#zwei) Überprüfen Sie, ob die Kundendaten ordnungsgemäß bearbeitet und in den 100 Zeilen demonstriert wurden. Dies wird einfach als Überprüfung von bezeichnet Datengenauigkeitsprüfung .

#3) Berichte für Kunden, die innerhalb eines bestimmten Zeitraums mehr als x Punkte gesammelt haben.

Vergleichende Untersuchung von ETL- und DB-Tests

ETL- und DB-Tests weisen nur wenige Aspekte auf, die sich in sich unterscheiden und vor deren Durchführung unbedingt verstanden werden müssen. Dies hilft uns, die Werte und die Bedeutung der Tests und die Art und Weise, wie sie dem Unternehmen helfen, zu verstehen.

Im Folgenden finden Sie eine tabellarische Form, die das grundlegende Verhalten beider Testformate beschreibt.

Warum sollte sich das Unternehmen für ETL entscheiden?

Für die Prüfung von ETL-Tests stehen zahlreiche Geschäftsanforderungen zur Verfügung. Jedes Unternehmen muss seine eigene Mission und Branche haben. Jedes Unternehmen hat einen Produktlebenszyklus, der die generische Form annimmt:

Es ist sehr klar, dass jedes neue Produkt mit einem enormen Umsatzwachstum und bis zu einer Phase, die als Reife bezeichnet wird, auf den Markt kommt und danach einen Umsatzrückgang verzeichnet. Diese allmähliche Veränderung zeigt einen deutlichen Rückgang des Geschäftswachstums. Daher ist es wichtiger, die Kundenbedürfnisse für das Geschäftswachstum und andere Faktoren zu analysieren, die erforderlich sind, um das Unternehmen rentabler zu machen.

In Wirklichkeit möchten die Kunden die historischen Daten analysieren und strategisch einige Berichte erstellen.

ETL-Testplanung

Einer der Hauptschritte beim ETL-Testen ist die Planung des Tests, der ausgeführt werden soll. Es wird ähnlich sein wie das Testplan für den Systemtest Dies wird normalerweise mit Ausnahme weniger Attribute wie Anforderungen und Testfälle durchgeführt.

Hier sind die Anforderungen nichts als a Mapping Sheet Das wird eine Art Zuordnung zwischen Daten in verschiedenen Datenbanken haben. Da wir wissen, dass der ETL-Test auf mehreren Ebenen stattfindet, sind verschiedene Zuordnungen erforderlich, um dies zu validieren.

Meistens werden die Daten aus den Quelldatenbanken nicht direkt erfasst. Alle Quelldaten haben die Tabellenansicht, von der aus die Daten verwendet werden können.

Beispiel: Im Folgenden finden Sie ein Beispiel dafür, wie die Zuordnungen bereitgestellt werden können. Die beiden Spalten VIEW_NAME und TABLE_NAME können verwendet werden, um die Ansichten zum Lesen von Daten aus der Quelle bzw. der Tabelle in der ETL-Umgebung darzustellen.

Es ist ratsam, die Namenskonvention beizubehalten, die uns bei der Planung der Automatisierung helfen kann. Die generische Notation, die verwendet werden kann, stellt lediglich den Namen der Umgebung voran.

Das Wichtigste bei ETL ist die Identifizierung der wesentlichen Daten und Tabellen aus der Quelle. Der nächste wesentliche Schritt ist die Zuordnung von Tabellen von der Quelle zur ETL-Umgebung.

Im Folgenden finden Sie ein Beispiel dafür, wie die Zuordnung zwischen den Tabellen aus den verschiedenen Umgebungen mit dem ETL-Zweck in Beziehung gesetzt werden kann.

Bei der obigen Zuordnung werden die Daten aus der Quelltabelle in die Staging-Tabelle übernommen. Und von da an zu den Tabellen in EDW und dann zu OLAP Dies ist die endgültige Berichtsumgebung. Daher ist die Datensynchronisation zu jedem Zeitpunkt für die ETL sehr wichtig.

Kritische ETL-Anforderungen

Nach unserem Verständnis ist ETL die Notwendigkeit, das Geschäft vorherzusagen, zu melden und zu analysieren, um die Kundenbedürfnisse sukzessiver zu erfassen. Dadurch kann das Unternehmen höhere Anforderungen als in der Vergangenheit stellen.

Hier sind einige der kritischen Anforderungen, ohne die ETL-Tests nicht erreicht werden können:

1. Daten- und Tabellenidentifikation : Dies ist wichtig, da es viele andere irrelevante und unnötige Daten geben kann, die für die Prognose und Analyse der Kundenbedürfnisse von geringster Bedeutung sein können. Daher müssen die relevanten Daten und Tabellen vor dem Start der ETL-Arbeiten ausgewählt werden.
2. Kartenblatt : Dies ist eine der kritischen Anforderungen bei der Ausführung von ETL-Arbeiten. Die Zuordnung der richtigen Tabelle von der Quelle zum Ziel ist obligatorisch. Probleme oder falsche Daten in diesem Blatt können sich auf das gesamte ETL-Ergebnis auswirken.
3. Tabellendesigns und Daten, Spaltentyp : Dies ist der nächste wichtige Schritt, wenn die Zuordnung von Quelltabellen zu den Zieltabellen in Betracht gezogen wird. Der Spaltentyp muss mit den Tabellen an beiden Stellen usw. übereinstimmen.
4. Datenbankzugriff : Die Hauptsache ist der Zugriff auf die Datenbank, in der ETL ausgeführt wird. Alle Einschränkungen des Zugriffs haben gleichwertige Auswirkungen.

ETL-Berichterstattung und -Tests

Die Berichterstellung in ETL ist wichtiger, da sie die Kundenanforderungen erklärt und leitet. Auf diese Weise können sie die genauen Kundenbedürfnisse prognostizieren und analysieren

Beispiel 3::

Laden Sie Mongodb für Windows 10 64-Bit

Ein Unternehmen, das Seidenstoffe herstellt, wollte seinen Jahresumsatz analysieren. Bei der Überprüfung ihres Jahresumsatzes stellten sie fest, dass im August und September mit dem von ihnen erstellten Bericht ein enormer Umsatzrückgang zu verzeichnen war.

Daher beschlossen sie, das Werbeangebot wie den Umtausch, Rabatte usw. einzuführen, das ihren Umsatz steigerte.

Grundlegende Probleme beim ETL-Testen

Bei der Durchführung von ETL-Tests können folgende Probleme auftreten:

• Entweder ist der Zugriff auf die Quelltabellen oder die Ansichten ungültig.
• Der Spaltenname und der Datentyp von der Quelle zur nächsten Ebene stimmen möglicherweise nicht überein.
• Eine Anzahl von Datensätzen aus der Quelltabelle in der angegebenen Tabelle stimmt möglicherweise nicht überein.

Und es könnte noch viel mehr geben.

Im Folgenden finden Sie ein Beispiel für ein Zuordnungsblatt, in dem Spalten wie VIEW_NAME, COLUMN_NAME, DATA_TYPE, TABLE_NAME, COLUMN_NAME, DATA_TYPE und TRANSFORMATION LOGIC vorhanden sind.

Die ersten 3 Spalten stellen die Details der Quellendatenbank dar und die nächsten 3 sind die Details für die unmittelbar vorhergehende Datenbank. Die letzte Spalte ist sehr wichtig. Die Transformationslogik ist die Art und Weise, wie die Daten aus der Quelle gelesen und in der Zieldatenbank gespeichert werden. Dies hängt von den geschäftlichen und ETL-Anforderungen ab.

Wichtige Punkte bei der Planung und Durchführung von ETL-Tests

Das Wichtigste beim ETL-Testen ist das Laden von Daten basierend auf den Extraktionskriterien aus der Quell-DB. Wenn dieses Kriterium ungültig oder veraltet ist, enthält die Tabelle keine Daten, um ETL-Tests durchzuführen, die wirklich mehr Probleme mit sich bringen.

Im Folgenden sind einige Punkte aufgeführt, die bei der Planung und Durchführung von ETL-Tests zu beachten sind:

# 1) Daten werden aus den heterogenen Datenquellen extrahiert
#zwei) ETL-Prozesshandhabung in der integrierten Umgebung, die unterschiedliche Eigenschaften haben:

• DBMS
• SIE
• Hardware
• Kommunikationsprotokolle

#3) Notwendigkeit, ein logisches Datenzuordnungsblatt zu haben, bevor die physischen Daten transformiert werden können
# 4) Verständnis und Prüfung der Datenquellen
# 5) Anfangslast und die inkrementelle Last
# 6) Prüfspalten
# 7) Laden der Fakten und der Dimensionen

ETL-Tools und ihre signifikante Verwendung

ETL-Tools werden grundsätzlich zum Erstellen und Konvertieren von verwendet Transformationslogik indem Daten von der Quelle in eine andere übertragen werden, wobei die Transformationslogik angewendet wird. Sie können die Schemas auch auf einzigartige Weise von der Quelle zum Ziel zuordnen, Daten transformieren und bereinigen, bevor sie zum Ziel verschoben werden können, und sie auf effiziente Weise am Ziel laden.

Dies kann den manuellen Aufwand erheblich reduzieren, da das Mapping durchgeführt werden kann, das für fast die gesamte ETL-Validierung und -Verifizierung verwendet wird.

ETL-Tools ::

1. Informatik - PowerCenter - ist eines der beliebtesten ETL-Tools, das von der Informatica Corporation eingeführt wird. Dies hat eine sehr gute Kundenbasis, die weite Bereiche abdeckt. Die Hauptkomponenten des Tools sind seine Tools für Clients, die Repository-Tools und die Server. Um mehr über das Tool zu erfahren, klicken Sie bitte auf Hier
2. IBM - Infosphere Information Server - - IBM, der Marktführer in Bezug auf Computertechnologie, hat den Infosphere Information Server entwickelt, der im Jahr 2008 für die Informationsintegration und -verwaltung verwendet wird. Um mehr über das Tool zu erfahren, klicken Sie bitte auf Hier
3. Oracle - Datenintegrator - Die Oracle Corporation hat ihr ETL-Tool im Namen von Oracle - Data Integrator entwickelt. Durch die zunehmende Kundenbetreuung haben sie ihre ETL-Tools in verschiedenen Versionen aktualisiert. Um mehr über das Tool zu erfahren, klicken Sie bitte auf Hier

Weitere Beispiele für die Verwendung von ETL-Tests:

In Anbetracht einiger Fluggesellschaften, die Werbeaktionen und Angebote einführen möchten, um die Kunden strategisch anzulocken. Zunächst werden sie versuchen, die Anforderungen und Bedürfnisse der Kundenspezifikationen zu verstehen. Um dies zu erreichen, benötigen sie die historischen Daten, vorzugsweise die Daten der letzten 2 Jahre. Anhand der Daten analysieren und erstellen sie einige Berichte, die zum Verständnis der Kundenbedürfnisse hilfreich sind.

Die Berichte können von folgender Art sein:

1. Kunden aus Region A, die an bestimmten Daten in Region B reisen
2. Kunden mit einem bestimmten Alterskriterium reisen in die Stadt XX

Und es kann viele andere Berichte geben.

Die Analyse dieser Berichte hilft den Kunden bei der Ermittlung der Art von Werbeaktionen und Angeboten, von denen die Kunden profitieren, und kann gleichzeitig Unternehmen zugute kommen, bei denen dies zu einer Win-Win-Situation werden kann. Dies kann leicht durch ETL-Tests und Berichte erreicht werden.

Parallel dazu ist das IT-Segment mit einem schwerwiegenden DB-Problem konfrontiert, bei dem festgestellt wurde, dass mehrere Dienste gestoppt wurden, was wiederum Auswirkungen auf das Geschäft haben kann. Bei der Untersuchung wurde festgestellt, dass einige ungültige Daten einige Datenbanken beschädigt haben, die manuell korrigiert werden mussten.

Im ersteren Fall sind ETL-Berichte und -Tests erforderlich.

Im letzteren Fall müssen die DB-Tests ordnungsgemäß durchgeführt werden, um Probleme mit ungültigen Daten zu beheben.

Fazit

Ich hoffe, das obige Tutorial bietet einen einfachen und klaren Überblick darüber, was ETL-Tests sind und warum sie zusammen mit den geschäftlichen Auswirkungen oder Vorteilen, die sie bringen, durchgeführt werden müssen. Dies hört hier nicht auf, kann sich aber auch auf das Wachstum des Geschäfts auswirken.

Über den Autor: Dieses Tutorial wurde von Nagarajan geschrieben. Er ist ein Testleiter mit über 6 Jahren Erfahrung im Testen von Software in verschiedenen Funktionsbereichen wie Banking, Airlines und Telecom, sowohl in manueller als auch in automatischer Hinsicht.

Bitte teilen Sie uns Ihre Gedanken / Fragen in den Kommentaren unten mit.

Literatur-Empfehlungen

• Fragen und Antworten zum ETL-Testinterview
• Tutorial zum Testen von ETL-Data Warehouse-Tests (Eine vollständige Anleitung)
• Top 10 ETL-Testwerkzeuge im Jahr 2021
• Durchführen von ETL-Tests mit dem Informatica PowerCenter Tool
• 31 Fragen und Antworten zu Top-Datenbanktests
• 40+ Best Database Testing Tools - Beliebte Datentestlösungen
• Vollständige Anleitung zum Testen von Datenbanken (Warum, Was und Wie Daten testen)
• Testen der Selendatenbank (mit WebDriver und JDBC-API)