Optimisation of Extraction, Transformation and Load Procedu...

Optimisation of Extraction, Transformation and Load Procedures (ETL) for Financial Data Integration in Data Warehouse Applications

mastersthesis
Bei der Integration von grossen Datenmengen mittels Extraktion-, Transformation- und Ladeprozeduren (ETL) spielt die Leistung eine wichtige Rolle. Diese Leistung wird von zahlreichen Variabeln beeinflusst, welche mit der Systemarchitektur, dem Softwaredesign und deren Hardwareumgebung zusammenhängen. Diese Diplomarbeit stellt die Forschungsgebiete des Data Warehousings (DWH) und ETL vor und analysiert deren wichtigsten Optimierungsmethodologien einschliesslich XML. Zusätzlich verwendet diese Arbeit die qualitative Evaluation einer Anzahl etablierter und kommerzieller Datenintegrationslösungen als Basis für die Beurteilung und Empfehlung der optimalen Middleware für das IBM Business Consulting OASI Projekt bei der Bank Vontobel in Zürich. Daraufhin wird das OASI System im Zusammenhang mit der Integration und Optimierung der täglichen Stammdatenversorgung der beiden Portfolio- und Ordermanagementsysteme der Bank spezifiziert, entworfen, implementiert und systematisch verbessert. Schliesslich werden die Optimierungsempfehlungen durch eine Anzahl von Leistungstests validiert, welche einen neuen Benchmark für die zukünftige Entwicklung von OASI und die Optimierung von ETL Prozeduren für die Integration von Finanzdaten in Data Warehouse Applikationen setzt.
Damien Fisher
Klaus Dittrich
While using Extraction, Transformation and Load procedures (ETL) to integrate large amounts of data, performance plays an important role. This performance is influenced by many variables related to the system’s architecture, software design and the underlying hardware environment. This thesis introduces the scientific research areas in and around the optimisation of Data Warehousing (DWH) and ETL and analyses their most significant optimisation frameworks including XML. Furthermore the thesis uses the qualitative evaluation of a number of established commercial data integration solutions as a basis for the assessment and recommendation of the optimal ETL middleware for IBM Business Consulting Service's OASI integration project at the Vontobel bank in Zurich. Thereupon the OASI system is specified, designed, implemented and systematically optimised in order to integrate and improve the daily and intraday processing of the master data into the bank’s portfolio and order management systems. Finally the implemented optimisation recommendations are validated by a number of performance tests which create a new benchmark for OASI’s future development and the optimisation of ETL procedures for the integration of financial data in data warehouse applications.
Optimisation of Extraction, Transformation and Load Procedures (ETL) for Financial Data Integration in Data Warehouse Applications
2006
University of Zurich
dbtg