Menü

Data Mart Tutorial - Typen, Beispiele und Implementierung von Data Mart

  • Haupt
  • Andere
  • Data Mart Tutorial - Typen, Beispiele und Implementierung von Data Mart

data mart tutorial types

Versuchen Sie Unser Instrument, Um Probleme Zu Beseitigen

In diesem Lernprogramm werden Data Mart-Konzepte erläutert, einschließlich Data Mart-Implementierung, Typen, Struktur sowie Unterschiede zwischen Data Warehouse und Data Mart:

In diesem Schließen Sie die Data Warehouse-Schulungsreihe ab Wir haben uns die verschiedenen angesehen Data Warehouse-Schemata im Detail.

Dieses Tutorial hilft Ihnen dabei, Data Mart-Konzepte anhand einfacher Beispiele im Detail zu lernen.

Wir werden sehen, was ein Data Mart ist. Wann brauchen wir einen Data Mart? Kostengünstiges Data Marting, Kosten eines Data Mart, Arten von Data Marts, Schritte zur Implementierung eines Data Mart, Struktur eines Data Mart, Wann ist ein Pilot-Data Mart nützlich? Datamart-Nachteile und die Unterschiede zwischen Data Warehouse und Data Mart.

Data Mart in ETL

Zielgruppe

  • Entwickler und Tester von Data Warehouse / ETL.
  • Datenbankprofis mit Grundkenntnissen in Datenbankkonzepten.
  • Datenbankadministratoren / Big Data-Experten, die Data Warehouse- / ETL-Konzepte verstehen möchten.
  • Hochschulabsolventen / Studienanfänger, die nach Data Warehouse-Jobs suchen.

Was du lernen wirst:

Software zum Rippen von DVDs auf den PC

Was ist ein Data Mart?

Ein Data Mart ist ein kleiner Teil des Data Warehouse, der sich hauptsächlich auf eine bestimmte Geschäftsdomäne wie Marketing (oder) Vertrieb usw. bezieht.

Die im DW-System gespeicherten Daten sind riesig, daher werden Data Marts mit einer Teilmenge von Daten entworfen, die zu einzelnen Abteilungen gehören. Somit kann eine bestimmte Gruppe von Benutzern diese Daten leicht für ihre Analyse verwenden.

Im Gegensatz zu einem Data Warehouse mit vielen Benutzerkombinationen verfügt jeder Data Mart über eine bestimmte Gruppe von Endbenutzern. Die geringere Anzahl von Endbenutzern führt zu einer besseren Antwortzeit.

Auf Data Marts können auch Business Intelligence-Tools (BI) zugreifen. Data Marts enthalten keine doppelten (oder) nicht verwendeten Daten. Sie werden in regelmäßigen Abständen aktualisiert. Sie sind themenorientierte und flexible Datenbanken. Jedes Team hat das Recht, seine Data Marts zu entwickeln und zu warten, ohne die Daten des Data Warehouse (oder anderer Data Marts) zu ändern.

Ein Data Mart eignet sich besser für kleine Unternehmen, da er sehr viel weniger kostet als ein Data Warehouse-System. Die zum Erstellen eines Data Mart erforderliche Zeit ist auch geringer als die zum Erstellen eines Data Warehouse erforderliche Zeit.

Bildliche Darstellung mehrerer Data Marts:

März mit mehreren Daten

Wann brauchen wir Data Mart?

Planen und entwerfen Sie je nach Bedarf einen Data Mart für Ihre Abteilung, indem Sie die Stakeholder einbeziehen, da die Betriebskosten des Data Mart manchmal hoch sein können.

Berücksichtigen Sie die folgenden Gründe, um einen Datamart zu erstellen:

  • Wenn Sie die Daten mit einer Reihe von Strategien zur Benutzerzugriffskontrolle partitionieren möchten.
  • Wenn eine bestimmte Abteilung die Abfrageergebnisse viel schneller sehen möchte, anstatt große DW-Daten zu scannen.
  • Wenn eine Abteilung möchte, dass Daten auf anderen Hardware- (oder) Softwareplattformen erstellt werden.
  • Wenn eine Abteilung möchte, dass Daten so gestaltet werden, dass sie für ihre Tools geeignet sind.

Kostengünstiger Data Mart

Ein kostengünstiger Data Mart kann mit den folgenden Schritten erstellt werden:

  • Identifizieren Sie die funktionalen Aufteilungen: Teilen Sie die Organisationsdaten in jeden Data Mart (abteilungsspezifisch) ein, um seine Anforderungen zu erfüllen, ohne weitere organisatorische Abhängigkeiten.
  • Identifizieren der Anforderungen des Benutzerzugriffstools: Es gibt möglicherweise verschiedene Benutzerzugriffstools auf dem Markt, die unterschiedliche Datenstrukturen benötigen. Data Marts werden verwendet, um alle diese internen Strukturen zu unterstützen, ohne die DW-Daten zu stören. Ein Data Mart kann je nach Benutzeranforderungen einem Tool zugeordnet werden. Data Marts können solche Tools auch täglich mit aktualisierten Daten versorgen.
  • Probleme mit der Zugriffskontrolle identifizieren: Wenn verschiedene Datensegmente in einem DW-System Datenschutz benötigen und von einer Gruppe autorisierter Benutzer aufgerufen werden sollen, können alle diese Daten in Data Marts verschoben werden.

Kosten für Data Mart

Die Kosten für Data Mart können wie folgt geschätzt werden:

  • Hardware- und Softwarekosten: Jeder neu hinzugefügte Data Mart benötigt möglicherweise zusätzliche Hardware, Software, Verarbeitungsleistung, Netzwerk- und Festplattenspeicherplatz, um die vom Endbenutzer angeforderten Abfragen zu bearbeiten. Dies macht Data Marting zu einer teuren Strategie. Daher sollte das Budget genau geplant werden.
  • Netzwerkzugang: Wenn sich der Standort des Data Mart von dem des Data Warehouse unterscheidet, sollten alle Daten beim Laden des Data Mart übertragen werden. Daher sollte ein Netzwerk bereitgestellt werden, um große Datenmengen zu übertragen, die teuer sein können.
  • Zeitfenster-Einschränkungen: Die Zeit, die für das Laden des Data Mart benötigt wird, hängt von verschiedenen Faktoren ab, wie z. B. Komplexität und Datenvolumen, Netzwerkkapazität, Datenübertragungsmechanismen usw.

Vergleich von Data Warehouse mit Data Mart

S.No. Data Warehouse Datenmarkt
einKomplex und kostet mehr zu implementieren.Einfach und billiger zu implementieren.
zweiArbeitet auf Organisationsebene für das gesamte Unternehmen.Der Umfang ist auf eine bestimmte Abteilung beschränkt.
3Das Abfragen des DW ist für Geschäftsbenutzer aufgrund großer Datenabhängigkeiten schwierig.Das Abfragen des Data Mart ist für Geschäftsbenutzer aufgrund der begrenzten Datenmenge einfach.
4Die Implementierungszeit kann länger sein als in Monaten oder Jahren.Die Implementierungszeit kann in Tagen, Wochen oder Monaten kürzer sein.
5Sammelt Daten von verschiedenen externen Quellsystemen.Sammelt Daten von einigen zentralen DW (oder) internen (oder) externen Quellsystemen.
6Strategische Entscheidungen können getroffen werden.Geschäftsentscheidungen können getroffen werden.

Arten von Data Marts

Data Marts werden in drei Typen eingeteilt, d. H. Abhängig, unabhängig und hybride. Diese Klassifizierung basiert darauf, wie sie ausgefüllt wurden, d. H. Entweder aus einem Data Warehouse (oder) aus anderen Datenquellen.

Extraktion, Transformation und Transport (ETT) ist der Prozess, mit dem Data Mart-Daten aus beliebigen Quellsystemen aufgefüllt werden.

Schauen wir uns jeden Typ im Detail an!

# 1) Abhängiger Datenmarkt

In einem abhängigen Data Mart werden Daten aus dem vorhandenen Data Warehouse selbst bezogen. Dies ist ein Top-Down-Ansatz, da der Teil der umstrukturierten Daten in den Data Mart aus dem zentralen Data Warehouse extrahiert wird.

Ein Data Mart kann DW-Daten entweder logisch oder physisch verwenden, wie unten gezeigt:

  • Logische Ansicht: In diesem Szenario werden die Daten von Data Mart nicht physisch vom DW getrennt. Es bezieht sich logisch auf DW-Daten über virtuelle Ansichten (oder) Tabellen.
  • Physische Teilmenge: In diesem Szenario werden die Daten von Data Mart physisch vom DW getrennt.

Sobald ein oder mehrere Data Marts entwickelt sind, können Sie den Benutzern erlauben, nur auf die Data Marts (oder) zuzugreifen, um sowohl auf Data Marts als auch auf Data Warehouses zuzugreifen.

ETT ist ein vereinfachter Prozess bei abhängigen Data Marts, da die verwendbaren Daten bereits in der zentralisierten DW vorhanden sind. Der genaue Satz zusammengefasster Daten sollte einfach auf die jeweiligen Datamarts verschoben werden.

Ein Bild von Dependent Data Mart ist unten dargestellt ::

Abhängiger Datenmarkt

# 2) Unabhängiger Data Mart

Ein unabhängiger Datamart eignet sich am besten für kleine Abteilungen in einer Organisation. Hier werden Daten nicht aus dem vorhandenen Data Warehouse bezogen. Der Independent Data Mart ist weder von Enterprise DW noch von anderen Data Marts abhängig.

Unabhängige Data Marts sind eigenständige Systeme, in denen Daten aus externen (oder) internen Datenquellen extrahiert, transformiert und geladen werden. Diese sind einfach zu entwerfen und zu warten, bis sie einfache abteilungsbezogene Geschäftsanforderungen erfüllen.

Sie müssen mit jeder Phase des ETT-Prozesses bei unabhängigen Data Marts auf ähnliche Weise arbeiten, wie die Daten in einem zentralen DW verarbeitet wurden. Die Anzahl der Quellen und die auf den Data Marts aufgefüllten Daten können jedoch geringer sein.

Bildliche Darstellung eines Independent Data Mart ::

Welche Schicht des OSI-Modells befasst sich mit der Datenverschlüsselung?

Unabhängiger Datamart

# 3) Hybrid Data Mart

In einem hybriden Datamart werden Daten sowohl aus dem DW als auch aus anderen Betriebssystemen integriert. Hybride Data Marts sind flexibel mit großen Speicherstrukturen. Es kann auch auf andere Data Marts-Daten verweisen.

Bildliche Darstellung eines Hybrid Data Mart:

Hybrid Data Mart

Implementierungsschritte eines Data Mart

Die Implementierung von Data Mart, die als etwas komplex angesehen wird, wird in den folgenden Schritten erläutert:

  • Entwerfen: Da Geschäftsbenutzer einen Datamart anfordern, umfasst die Entwurfsphase das Sammeln von Anforderungen, das Erstellen geeigneter Daten aus den jeweiligen Datenquellen sowie das Erstellen der logischen und physischen Datenstrukturen und ER-Diagramme.
  • Konstruieren: Das Team entwirft alle Tabellen, Ansichten, Indizes usw. im Data Mart-System.
  • Bevölkerung: Daten werden extrahiert, transformiert und zusammen mit Metadaten in Data Mart geladen.
  • Zugriff auf: Data Mart-Daten stehen den Endbenutzern zur Verfügung. Sie können die Daten für ihre Analysen und Berichte abfragen.
  • Verwaltung: Dies umfasst verschiedene Verwaltungsaufgaben wie Benutzerzugriffskontrollen, Feinabstimmung der Data-Mart-Leistung, Wartung vorhandener Data-Marts und Erstellung von Data-Mart-Wiederherstellungsszenarien für den Fall, dass das System ausfällt.

Struktur eines Data Mart

Die Struktur jedes Data Mart wird gemäß den Anforderungen erstellt. Data Mart-Strukturen werden als Star-Joins bezeichnet. Diese Struktur unterscheidet sich von einem Datamart zum anderen.

Sternverknüpfungen sind mehrdimensionale Strukturen, die mit Fakten- und Dimensionstabellen gebildet werden, um große Datenmengen zu unterstützen. Bei der Sternverknüpfung befindet sich in der Mitte eine Faktentabelle, die von den Dimensionstabellen umgeben ist.

der beste kostenlose Youtube zu MP3 Konverter

Entsprechende Faktentabellendaten werden Dimensionstabellendaten mit einer Fremdschlüsselreferenz zugeordnet. Eine Faktentabelle kann von 20-30 Dimensionstabellen umgeben sein.

Ähnlich wie beim DW-System enthalten auch bei Sternverknüpfungen die Faktentabellen nur numerische Daten, und die jeweiligen Textdaten können in Dimensionstabellen beschrieben werden. Diese Struktur ähnelt einem Sternschema in DW.

Bildliche Darstellung einer Sternverbindungsstruktur.

Sternverbindungsstruktur

Die detaillierten Daten aus dem zentralisierten DW sind jedoch die Basis für die Daten aller Data Marts. An den normalisierten DW-Daten werden viele Berechnungen durchgeführt, um sie in mehrdimensionale Data Marts-Daten umzuwandeln, die in Form von Cubes gespeichert werden.

Dies funktioniert ähnlich wie die Daten aus älteren Quellsystemen in normalisierte DW-Daten umgewandelt werden.

Wann ist ein Pilot Data Mart nützlich?

Ein Pilot kann in einer kleinen Umgebung mit einer begrenzten Anzahl von Benutzern bereitgestellt werden, um sicherzustellen, dass die Bereitstellung vor der vollständigen Bereitstellung erfolgreich ist. Dies ist jedoch nicht immer unbedingt erforderlich. Die Pilotbereitstellungen sind nicht mehr von Nutzen, sobald der Zweck erfüllt ist.

Sie müssen die folgenden Szenarien berücksichtigen, die für die Pilotbereitstellung empfohlen werden:

  • Wenn die Endbenutzer neu im Data Warehouse-System sind.
  • Wenn die Endbenutzer sich wohl fühlen möchten, um Daten / Berichte selbst abzurufen, bevor sie zur Produktion gehen.
  • Wenn die Endbenutzer die neuesten Tools (oder Technologien) ausprobieren möchten.
  • Wenn das Management die Vorteile als Proof of Concept sehen möchte, bevor es als große Veröffentlichung veröffentlicht wird.
  • Wenn das Team sicherstellen möchte, dass alle ETL-Komponenten (oder) Infrastrukturkomponenten rechtzeitig vor der Veröffentlichung funktionieren.

Nachteile von Data Mart

Obwohl Data Marts einige Vorteile gegenüber DW haben, haben sie auch einige Nachteile, wie unten erläutert:

  • Unerwünschte Data Marts, die erstellt wurden, sind schwer zu pflegen.
  • Data Marts sind für kleine Unternehmen gedacht. Durch Erhöhen der Größe von Data Marts wird die Leistung verringert.
  • Wenn Sie mehr Data Marts erstellen, sollte das Management ordnungsgemäß auf deren Versionierung, Sicherheit und Leistung achten.
  • Data Marts können historische (oder) zusammengefasste (oder) detaillierte Daten enthalten. Aktualisierungen von DW-Daten und Data Mart-Daten können jedoch aufgrund von Dateninkonsistenzproblemen nicht gleichzeitig erfolgen.

Fazit

Viele Unternehmen richten sich aus kostensparender Sicht auf Data Marts. Daher hat sich dieses Tutorial auf die technischen Aspekte von Data Marts im Data Warehouse-System konzentriert.

Metadaten in ETL werden in unserem nächsten Tutorial ausführlich erläutert.

=> Besuchen Sie hier, um die Data Warehousing-Schulungsreihe für alle zu sehen.

Literatur-Empfehlungen

^