oracle data warehouse
Oracle Data Warehouse-Handbuch mit Vorteilen, Architektur, Risiken und Vergleich mit dem OLTP-System (Online Transaction Processing):
Im vorherigen Tutorial von Umfassender Leitfaden zu Oracle , Wir haben Informationen zu Oracle-Produkten und -Diensten in verschiedenen Bereichen wie Anwendungen, Datenbanken, Betriebssystemen usw. erhalten. Dieser Artikel bietet detaillierte Kenntnisse über Oracle Data Warehousing. Aber lassen Sie uns vorher zuerst das Konzept von Business Intelligence (BI) verstehen.
Business Intelligence
Business Intelligence ist eine Softwaredomäne, die bestimmte Methoden, Technologien, Tools und Anwendungen umfasst, die bei der Strukturierung, Verfeinerung und Umwandlung von Massendaten in ein intelligentes und verständliches Format helfen, das von Kunden zur Erstellung angepasster Berichte und zur Geschäftsabwicklung verwendet werden kann Entscheidungen.
Um diesem Bedarf gerecht zu werden, stehen verschiedene Optionen zur Verfügung, z. B. Data Warehousing, OLAP (Online-Transaktionsverarbeitung), Data Mining, Datenintegration, Entscheidungstechnik, Tabellenkalkulation usw.
Enterprise Data Warehousing (EDW) ist eine der Kernkomponenten von BI, die die Analyse- und Berichtsanforderungen von Unternehmen erfüllt. Data Warehouse ist ein relationales Datenbankverwaltungssystem (RDBMS), das konsolidierte Daten enthält, die zur späteren Verwendung aus mehreren Quellen empfangen wurden.
beste kostenlose Firewall für Windows 10 2018
Was du lernen wirst:
- Oracle Data Warehouse - Übersicht
- Vergleich von OLTP und Data Warehouse
- Kontrastierendes Data Warehouse und Data Mart
- Übersicht über den ETL-Prozess
- Data Warehouse-Architektur
- Fazit
Oracle Data Warehouse - Übersicht
Warum wird es als 'Data Warehouse' bezeichnet?
Versuchen wir, uns an die Bedeutung des Wortes 'Warehouse' zu erinnern, um sich auf den Begriff 'Data Warehouse' zu beziehen.
Ein physisches Lager ist ein Repository, in dem Waren aus verschiedenen Quellen aufbewahrt werden, die später je nach Bedarf an den Kunden geliefert werden können.
(Bild Quelle ))
Ebenso ist das Data Warehouse ein Repository für Daten, die von verschiedenen Quellsystemen empfangen werden. Diese Quellen können beliebige Speichersysteme wie Data Marts, Flatfiles oder Medienspeichergeräte sein, die Daten für verschiedene Unternehmensdomänen wie HR, Vertrieb, Betrieb, Ressourcenmanagement und Marketing usw. enthalten.
Zweck eines Data Warehouse
Ein Unternehmen hat möglicherweise von dem Konzept des Data Warehouse gehört, kann sich jedoch nicht sicher sein, ob es das Konzept in sein Unternehmen aufnehmen soll. Es wäre jedoch immer notwendig, Daten aus verschiedenen Quellen auf einer gemeinsamen Basis zu speichern und zu archivieren, damit Speicherplatz aus Transaktionssystemen freigegeben werden kann. Hier wird das Data Warehousing-System zu einer Geschäftsanforderung.
Um auf dem Markt zu wachsen, sollte das Management gut in der Entscheidungsfindung sein, die nur getroffen werden kann, wenn die vergangenen Trends einer Organisation gründlich untersucht wurden. Daher werden diese archivierten Daten in einem gut organisierten und berechneten Format im Data Warehouse verwaltet, damit sie in Zukunft für die Geschäftsanalyse verwendet werden können.
Vorteile von Data Warehousing
Eine erfolgreiche Implementierung von Data Warehouse kann auf folgende Weise von Vorteil sein:
# 1) Es hat die Arbeit von Analysten durch die Bereitstellung einer erweiterten Version von Business Intelligence-Lösungen vereinfacht. Es extrahiert Daten aus mehreren Quellsystemen, transformiert und speichert sie, die vom Unternehmen direkt zur Analyse abgefragt werden können.
Es bietet auch verschiedene Tools, die Folgendes unterstützen:
- Erstellung von benutzerdefinierten Geschäftsberichten.
- Interaktive Dashboards mit den erforderlichen Informationen.
- Möglichkeit, einen Drilldown durch Dashboards durchzuführen, um nur die Details abzurufen.
- Data Mining & Trendanalyse.
#zwei) Auch nach dem Empfang von Daten aus verschiedenen Quellsystemen bleiben die Daten in einem Data Warehouse aufgrund von Transformationen, die während des ETL-Prozesses aufgetreten sind, konsistent. Konsistente Daten geben einem Entscheidungsträger Vertrauen in Bezug auf die Genauigkeit.
#3) Data Warehouses werden auch als Zeitersparnis definiert, da wichtige Daten, die von Stakeholdern für Geschäftsentscheidungen benötigt werden, an einem einzigen Standort verfügbar sind und einfach abgerufen werden können.
# 4) Diese dienen zur Speicherung historischer Daten und können daher abgefragt werden, um Trends in verschiedenen Zeiträumen zu untersuchen. Es hilft den Stakeholdern auch, den zukünftigen Wachstumspfad abzuleiten.
Risiken bei der Verwendung von Data Warehouse
Neben den Vorteilen birgt jede neue Implementierung auch eine Reihe von Risiken, die berücksichtigt werden müssen.
Nachfolgend sind einige der damit verbundenen Risiken aufgeführt:
- Die Nichtkompatibilität von Quellsystemen mit dem Data Warehousing-System kann zu viel manueller Arbeit führen.
- Eine falsche Zeitschätzung des ETL-Prozesses kann zu Arbeitsunterbrechungen führen.
- Dies sind sehr hochwertige Speichersysteme, die daher einen hohen Wartungsaufwand erfordern. Jeder Workflow oder geschäftliche Änderungen können sehr hohe Kosten verursachen.
- Das Einrichten eines Data Warehouse ist zeitaufwändig, da es viel Zeit benötigt, um die Geschäftsabläufe zu verstehen und Integrationsfunktionen zum Entwerfen eines Warehouse zu ermitteln.
- Datensicherheit ist hier immer ein Risiko, da sie uralte historische Daten enthält, die sich auf das Geschäft auswirken können, wenn sie durchgesickert sind.
Vergleich von OLTP und Data Warehouse
Die Unterschiede zwischen OLTP und Data Warehouse können der folgenden Tabelle entnommen werden.
Was ist die beste Software zum Entfernen von Spyware?
| OLTP | Data Warehousing |
|---|---|
| Einfügen und Aktualisieren sind die wichtigsten Vorgänge, die Endbenutzer auf OLTP-Systemen ausführen. | Data Warehouses werden hauptsächlich mit der SELECT-Anweisung abgefragt und können nur mit ETL-Diensten aktualisiert werden. |
| OLTP-Systeme unterstützen Geschäftstransaktionen. | Data Warehouse unterstützt Geschäftsentscheidungen, die nach der Analyse abgeschlossener Geschäftstransaktionen getroffen werden. |
| Daten bleiben flüchtig, d. H. Sie ändern sich ständig | Daten dürfen nicht geändert werden. |
| Sie enthalten die neuesten Daten. | Sie enthalten die historischen Daten. |
| Hält die Rohdaten ohne Berechnungen. | Enthält zusammengefasste und gut berechnete Daten. |
| Daten werden normalisiert. | Die Daten bleiben de-normalisiert. |
| Die Größe der Oracle-Datenbank kann zwischen 50 MB und 100 GB variieren. | Die Größe der Oracle-Datenbank kann zwischen 100 GB und 2 TB variieren. |
Kontrastierendes Data Warehouse und Data Mart
Data Warehouse und DataMart klingen nicht beide ähnlich und scheinen mit der Datenspeicherung in Zusammenhang zu stehen.
Ja, sie sind verwandt und beide werden zum Speichern von Daten verwendet. Der Hauptunterschied zwischen beiden besteht in der Kapazität, die Daten zu speichern, und dieser Unterschied hilft Endbenutzern bei der Auswahl der richtigen Speichereinheit für ihre Systeme.
Data Mart verfügt im Vergleich zum Data Warehouse über eine geringere Kapazität zum Speichern von Daten und kann daher als Teilmenge davon betrachtet werden. Data Marts werden normalerweise identifiziert, um begrenzte Daten zu speichern, die von einer bestimmten Abteilung oder Branche stammen können, während Data Warehouses verwendet werden können, um die konsolidierten Daten für alle zu speichern.
Nehmen wir ein Beispiel für eine E-Commerce-Website mit verschiedenen Kategorien für Waren wie Mode, Accessoires, Haushaltsgegenstände, Bücher und Schulbedarf, Elektronikgeräte usw.
So können Data Marts so konzipiert werden, dass die Produktdatenkategorie gespeichert wird, während Data Warehouses verwendet werden können, um vollständige Website-Daten einschließlich des Verlaufs an einem Ort zu speichern.
Data Marts sind kleiner und können ohne viel Analyse viel schneller erstellt werden, als dies für den Entwurf eines Data Warehouse erforderlich ist. Es ist jedoch sehr aufwändig, mehrere Data Marts synchron zu halten, um die Datenkonsistenz aufrechtzuerhalten.
Übersicht über den ETL-Prozess
ETL (Extraction, Transformation and Loading) ist ein Prozess zum Extrahieren von Daten aus verschiedenen Quellsystemen, zum Transformieren und Laden in das Data Warehouse-System. Es ist ein komplexer Prozess, der mit einer Vielzahl von Quellsystemen zur Datenextraktion interagieren muss und daher auch technisch anspruchsvoll ist.
Die Transformation erfordert erneut viele Analysen, um das Format von Quellsystemen zu verstehen und Daten in das gemeinsame Format zu bringen, damit dieselben Daten im Data Warehouse gespeichert werden können.
Der ETL-Prozess ist ein wiederkehrender Job, der je nach Geschäftsanforderung täglich, wöchentlich oder sogar monatlich ausgeführt werden kann.
Data Warehouse-Architektur
Lassen Sie uns die Architektur eines Data Warehouse verstehen, in dem hauptsächlich verfeinerte Daten für vordefinierte Geschäftsanforderungen gespeichert werden. Die Architektur besteht aus 5 Komponenten mit Datenfluss von oben nach unten.
Die Komponenten sind wie folgt:
- Datenquellen
- Datenbereitstellung
- Data Warehouse (Datenspeicherung)
- Datenmarsch (Datenspeicherung)
- Datenpräsentation
Lassen Sie uns alle oben aufgeführten Stufen nacheinander verstehen.
# 1) Datenquellen
Es gibt verschiedene Quellsysteme, die als Eingabe für Data Warehouse-Systeme dienen.
Diese Quellsysteme können sein:
- Relationale Datenbanken wie Oracle, DB2, MySQL, MS Access usw., mit denen tägliche Transaktionen einer Organisation aufgezeichnet werden können. Diese täglichen Geschäftsvorfälle können sich auf ERP, CRM, Vertrieb, Finanzen und Marketing usw. beziehen.
- Flat Files
- Internetdienste
- RSS-Feeds und ähnliche Quellen.
# 2) Datenbereitstellung
Sobald die Datenquellen vorhanden sind, besteht der nächste Schritt darin, diese Daten aus den Quellsystemen in den Warehouse-Staging-Bereich zu extrahieren.
Da Daten von verschiedenen Systemen abgerufen wurden, die unterschiedlichen Speicherformaten folgen, müssen die Daten neu strukturiert werden, um sie in ein gemeinsames Format zu bringen. Daher findet die Datentransformation als nächster Schritt statt.
Während der Transformation erfolgt eine Datenbereinigung, die das Anwenden von Geschäftsregeln, das Filtern von Daten, das Entfernen von Redundanz, das Formatieren von Daten, das Sortieren von Daten usw. umfasst.
# 3) Data Warehouse (Datenspeicherung)
Sobald die Daten extrahiert und transformiert sind, werden sie in eine mehrdimensionale Umgebung, d. H. Data Warehouse, geladen. Diese verarbeiteten Daten können nun von Endbenutzern für Analysen und andere Zwecke verwendet werden.
# 4) Data Marts (Datenspeicherung)
Minimum Spanning Tree C ++
Wie oben erwähnt, dass Daten jetzt für Endbenutzer bereit sind, gibt es einen optionalen Prozess zum Erstellen von Data Marts als nächsten Schritt. Diese Data Marts können verwendet werden, um zusammengefasste Daten einer bestimmten Abteilung oder eines Geschäftsbereichs für den dedizierten Gebrauch zu speichern.
Zum Beispiel, Als nächsten Schritt können separate Data Marts für Abteilungen wie Vertrieb, Finanzen und Marketing usw. hinzugefügt werden, die bestimmte Daten enthalten und es einem Analysten ermöglichen, detaillierte Abfragen für Geschäftsanforderungen durchzuführen. Es verhindert auch, dass jeder andere Endbenutzer auf das gesamte Lager zugreift, und macht die Daten somit sicher.
# 5) Datenzugriffstools (Datenpräsentation)
Es gibt eine Reihe vordefinierter Business Intelligence-Tools, mit denen Benutzer auf Data Warehouses oder Data Marts zugreifen können. Diese Front-End-Tools sind äußerst benutzerfreundlich gestaltet und bieten Benutzern eine Vielzahl von Optionen für den Zugriff auf Daten.
Die Optionen sind unten aufgeführt:
- Durch Anwenden der Abfrage auf Oracle oder andere Datenbanken direkt über SQL.
- Berichterstellung.
- Anwendung entwickeln.
- Verwenden von Data Mining-Tools usw.
Nur wenige auf dem Markt erhältliche beliebte Lagerwerkzeuge sind:
- Analytix DS
- Amazon Redshift
- Ab Initio Software
- Code-Futures
- Ganzheitliches Datenmanagement
- Informatics Corporation
Cloud Data Warehousing
Data Warehouses werden von der Welt übermäßig anerkannt. Die nächste Frage, die sich stellt: Verwenden wir einen optimierten Ansatz für die Bereitstellung von Data Warehouses?
Dann wurde Cloud Data Warehousing eingeführt, das beim Enterprise Data Warehousing (EDW) die Oberhand gewinnt. Das Konzept der Cloud-basierten Data Warehouses bietet verschiedene Vorteile.
Diese sind wie folgt:
(i) Skalierbarkeit: Daten auf Cloud-Systemen können problemlos problemlos auf und ab skaliert werden, während die Skalierung herkömmlicher Data Warehouses viel Zeit und Ressourcen in Anspruch nimmt.
(ii) Kosteneinsparung: Cloud-basierte Data Warehouses haben die für eine Warehouse-Einrichtung erforderlichen Investitionen erheblich verbessert. Sie haben die Bulk-Vorabkosten reduziert, indem sie die Kosten von eliminiert haben
-
- Wartung von Hardware- / Serverräumen.
- Personal für die Wartung erforderlich.
- Sonstige Betriebskosten.
(iii) Leistung: Die Leistung ist ein weiterer Faktor, der es Cloud-basierten Systemen ermöglichte, gegenüber herkömmlichen Systemen zu dominieren. Wenn das Geschäft global erweitert wird und Daten aus verschiedenen Teilen der Welt mit einer schnelleren Abwicklung abgerufen werden müssen, sind Cloud-basierte Lager am besten geeignet.
Massively Parallel Processing (MPP) ist eine der kollaborativen Verarbeitungsmethoden, die von Lagern verwendet werden, um dies zu erreichen.
(iv) Konnektivität: Wie oben erwähnt, benötigen Benutzer eine hervorragende Konnektivität zu diesen Lagern, wenn auf Daten von mehreren geografischen Standorten aus zugegriffen werden muss, und ein Cloud-basiertes Lager bietet dasselbe.
Fazit
Wir hoffen, dass Sie alle nach dem Lesen des obigen Artikels eine gute Vorstellung vom Oracle Data Warehousing-System haben. Lassen Sie uns wissen, wenn Sie Einblicke in ein bestimmtes Thema rund um Data Warehousing benötigen, damit wir dies in den kommenden Tutorials vertuschen können.
PREV Tutorial | NÄCHSTES Tutorial
Literatur-Empfehlungen
- Was ist ein Datensee? Data Warehouse gegen Data Lake
- Tutorial zum Testen von Data Warehouse mit Beispielen | ETL-Testhandbuch
- Top 10 der beliebtesten Data Warehouse-Tools und Testtechnologien
- Dimensionales Datenmodell im Data Warehouse - Lernprogramm mit Beispielen
- Mit Beispielen erläuterte Metadaten in Data Warehouse (ETL)
- Tutorial zum Testen von ETL-Data Warehouse-Tests (Eine vollständige Anleitung)
- Schematypen in der Data Warehouse-Modellierung - Star & SnowFlake-Schema
- Was ist der ETL-Prozess (Extrahieren, Transformieren, Laden) im Data Warehouse?