Talend Open Studio (Open Source Datenintegrationssoftware)
Unter Datenintegration versteht man das Kombinieren und Transformieren von unterschiedlichen Daten innerhalb der gesamten IT-Infrastruktur. Typischerweise bestehen solche Prozesse aus der Extraktion von verschiedensten Datenquellen (Datenbanken, Dateien, Applikationen, Web Services, Emails etc.), der Anwendung von diversen Transformationsregeln und der endgültigen Überführung in das gewünschte Zielsystem.
Talend Open Studio ist der erste Anbieter einer Open Source Datenintegrationssoftware, welche zukunftsweisende Methoden enthält, welche das Design und die Entwicklung von Datenintegrationsprozessen erheblich vereinfachen und steigern. Talend Open Studio deckt völlig unabhängig von technischen Vorkenntnissen sämtliche unternehmerischen Anforderungen der Datenintegration ab. Durch bewährte und skalierbare Technologien wird eine optimale Ausführung gewährleistet.
Grafische Entwicklung von Geschäftsprozessen
Talend Open Studio's Business Modeler unterstützt den Top-Down Ansatz. Dieses ermöglicht die Einbindung von Geschäftsanwendern in das Design der Integrationsprozesse. Der Business Moedler bietet eine verständliche und nicht technische Sichtweise des Geschäftprozesses. Typischerweise werden hierdurch sowohl die Systemlandschaft als auch existierende und zukünftige Prozesse innerhalb der Organisation abgebildet. Systeme, Verknüpfungen und einzelne Ablaufschritte werden mittels standardisierten Workflow Symbolen und einer graphischen Toolbox abgebildet.
Grafische Entwicklung
Talend Open Studio's Job Designer bietet sowohl eine graphische als auch eine funktionale Sichtweise des aktuellen Intgrations-Prozesses. Der Job Designer enthält eine graphische Darstellung aller verfügbaren Komponenten und Konnektoren. Integrations-Prozesse werden mittels einfachen Drag und Drop Operationen erstellt. Hierzu werden Komponenten und Konnektoren auf den Arbeitsbereich gezogen, die Verbindungen graphisch definiert und die einzelnen Eigenschaften festgelegt. Die meisten Eigenschaften werden bereits aus den Metadaten übernommen. Die Komponenten Bibliothek umfasst mehr als 80 sofort einsetzbare Komponenten und Konnektoren. Der Umfang reicht hierbei von einfachen Funktionen wie Mappings, Transformationen und Lookups bis hin zu spezialisierten Komponenten wie Data-Filtering, Data-Multiplexing oder ELT. Zusätzlich werden alle wichtigen Datenbanken, Dateiformate, LDAP Verzeichnisse etc. unterstützt. Die Komponenten Bibliothek kann mittels Standartprogammiersprachen wie Per, Java oder SQL einfach erweitert werden.
Metadatengestütztes Design und Ausführung
Talend Open Studio ist eine von allen Modulen verwendete Metadaten gestützte Lösung, in der alle Informationen in einem Repositorie gespeichert und verwaltet werden. Dieses Metadatenrepositorie verbindet alle Projektinformationen und gewährleistet die Konsistenz über alle Integrations-Prozesse hinweg. Der für die Integrations-Prozesse notwendige Bezug von Quell- und Ziel-System wird durch eine Reihe von Wizards unterstützt. Hierbei werden die relevanten Metadaten durch spezielle Datenbank- und Dateianalysen einfach ins Metadatenrepositorie geladen. Die im Metadatenrepositorie gespeicherten Eigenschaften werden von allen Prozessen verwendet. Nemben den Metadaten für das Quell- und Zielsystem, werden ferner noch Geschäftsmodelle, Integrations-Jobs und die Ausführungsergebnisse im Repositorie gespeichert. Dadurch ist eine einheitliche Informationsbasis jederzeit gewährleistet.
Real-Time debugging
Talend Open Studio beinhaltet leistungsfähige Debugging- und Tuningfunktionen welche einen sofortigen Einblick (Real-Time) über den gesamten Transformationsprozess zur Laufzeit ermöglichen. Wird ein Integrations-Job innerhalb des graphischen Job-Designers ausgeführt, so werden Real-Time Statistiken, die Anzahl von verarbeiteten und fehlerhaften Datensätzen, und auch der Durchsatz (Rows per second) angezeigt. Diese ermöglicht eine sofortige Kenntnisnahme von eventuellen Engpässen. Ferner besteht die Möglichkeit einen Trace-Mode zu aktivieren, welcher eine zeilenweise Betrachtung der einzelnen Transformation liefert. Traditionelle Verfahren wie Breakpoints oder die Analyse von Lauzeitvariablen stehen auch zur Verfügung. Natürlich ist der gesamte von Talend erzeugte Quellcode, unabhängig von der gewählten Programmiersprache, jederzeit aus der Entwicklungsumgebung her einsehbar.
Stabile Ausführung
Während viele Integrations-Lösungen auf einem zentralen Integrationsserver beruhen oder die Verarbeitung nur innerhalb der Datenbank ausführen können, verteilt Talend Open Studio die Prozesse je nach Verfügbarkeit über den gesamten Rechnerverbund. Der Einsatz von dedizierten Systemen ist hierbei nicht notwendig. Stattdessen werden von Talend Open Studio alle vorhandenen Ressourcen genutzt. Talend Open Studio ist die einzige Datenintegrationslösung welche sowohl den traditionellen ETL (Extract-Transform-Load) als auch den bekannten ELT (Extract-Load-Transform) Ansatz unterstützt. ELT nutzt die Stärken relationaler Datenbanksysteme indem die Transformation direkt innerhalb der Datenbank ausgeführt werden. Dadurch können grossen Datenmengen in ungeahnter Geschwindigkeit verarbeitet werden. Bei jedem Teilschritt eines Prozesses kann das beste Verfahren für höchste Geschwindigkeit und Skalierbarkeit gewählt werden. Dieses Verfahren, welches speziell für die Verwendung von kostengünstigen Grid-Systemen (Gross und Klein) entwickelt wurde, erlaubt die Verarbeitung nache dem Quellsystem und maximierte die Verwendung von Rechenleistung.
