Design and Implementation of a Library for Recurring ETL Imports of Reference Data in Ruby

URL
Dokumentart: Bachelor Thesis
Institut: Department Informatik
Sprache: Englisch
Erstellungsjahr: 2015
Publikationsdatum:
SWD-Schlagwörter: Synchronisierung
DDC-Sachgruppe: Informatik

Kurzfassung auf Deutsch:

Viele der heutigen Informationssysteme benötigen Stammdaten von Drittanbietern für den reibungslosen Betrieb. In vielen Fällen müssen diese Daten beim Importieren an das Datenbankschema des Informationssystems angepasst werden. Wenn dieser Import zusätzlich auch regelmäßig (z.B. jede Nacht) erfolgt, ist es nötig die neuen Daten mit den bereits importierten zusammenzuführen, um die Konsistenz des Datenbestandes nicht zu verletzen. BeetleETL, die Softwarebibliothek, die in dieser Thesis erarbeitet und implementiert wird, ermöglicht es Nutzern diese Schematransformationen in SQL zu verfassen und übernimmt die Aufgabe des Zusammenführen der Daten.

Kurzfassung auf Englisch:

Many of today’s information systems require third party generated reference or master data in order to operate properly. Oftentimes this data needs to be transformed into a dierent database schema when imported into the system and in case this import happens regularly (e.g. every night), it is necessary to properly merge existing data with the newly imported dataset in order to ensure consistency. BeetleETL, the library designed and implemented in this thesis, relieves users of the complex task of merging data and enables them to express the import of third party entities if the form of SQL transformation queries.

Hinweis zum Urheberrecht

Für Dokumente, die in elektronischer Form über Datenenetze angeboten werden, gilt uneingeschränkt das Urheberrechtsgesetz (UrhG). Insbesondere gilt:

Einzelne Vervielfältigungen, z.B. Kopien und Ausdrucke, dürfen nur zum privaten und sonstigen eigenen Gebrauch angefertigt werden (Paragraph 53 Urheberrecht). Die Herstellung und Verbreitung von weiteren Reproduktionen ist nur mit ausdrücklicher Genehmigung des Urhebers gestattet.

Der Benutzer ist für die Einhaltung der Rechtsvorschriften selbst verantwortlich und kann bei Mißbrauch haftbar gemacht werden.