Einsatzgebiete
Koexistenz
Daten synchron halten in einer heterogenen Systemumgebung mit Mainframe und verteilten Systemen
Migration
Graduelle Migration von Daten und Anwendungen in heterogenen Systemumgebungen
Modernisierung
Modernisierung der bestehenden IT-Infrastruktur durch Integration neuer Technologien wie Streaming- und Cloud-Plattformen
Digitalisierung
Realtime Mainframe-Offload als Ersatz für ETL und zur Nutzung von Echtzeit-Daten in Data Hubs und Data Lakes, für Analytics und Big Data
Architektur
Die tcVISION Replikationslösung ist modular aufgebaut. Sie unterstützt sowohl das Laden von Massendaten aus einer Datenquelle in ein oder mehrere Datenziele, als auch den kontinuierlichen Datenaustauschprozess in Echtzeit auf Basis der Change Data Capture Technologie.
tcVISION Komponenten
1. Transformationsplattform mit Repository
Sie beinhaltet alle Utilities für das automatische Daten Mapping zur Generierung der Metadaten für Datenquellen und Datenziele sowie das gesamte Regelwerk für das Extrahieren der Daten an der Datenquelle, der Transformation/Aufbereitung der Daten für die Zielsysteme, sowie das direkte Einpflegen der Daten in die Datenziele. Für den Betrieb der tcVISION Transformationsplattform empfiehlt sich die Wahl einer kostengünstigen Systemplattform wie UNIX oder Linux.
2. Dashboard / Administrations GUI – Command Line Editor
Für Administration, Betrieb, Überwachung, Kontrolle und Monitoring aller Datenaustauschprozesse wird das tcVISION Dashboard zur Verfügung gestellt. Zur Automatisierung der Datenaustauschprozesse sowie dem „unattended“ Betrieb der Datensynchronisationsprozesse können die tcVISION Command Line Utilities genutzt werden.
3. Datenquellen
tcVISION Bulk Reader für das Einpflegen von Massendaten (Initial Load oder periode Massendatentransfers)
Log basierende Change Data Capture Agenten zum Erfassen der Datenänderungen auf Record Ebene
4. Datenziele
tcVISION Bulk Loader für das effiziente Beladen von Massendaten in die Datenziele
tcVISION APPLY zur Nutzung DBMS spezifischer APIs bzw. Mainframe Zugriffsmethoden zum effizienten Einpflegen von Datenänderungen in Echtzeit in Kombination mit der CDC Technologie an der Quelle
5. Effizienter Datenaustausch
Die Daten werden zwischen Datenquelle und Datenziel über TCP/IP im „raw format“ und compressed ausgetauscht. Der Datenaustausch beschränkt sich auf ein Minimum.
Features
Flexibilität und Aktualität
- Hohe Integrationsfähigkeit der tcVISION Lösung: Verschiedene Change Data Capture Technologien je nach Änderungsfrequenzen und Latenzzeiten
- Intuitives Mapping bietet umfassende Funktionen zu Typkonvertierungen und Datentransformation bis hin zur kompletten Änderung des Datenmodells
- Umfassende Konvertierung von historisch gewachsenen Mainframe-Datenstrukturen
- Höchste Aktualität der Daten durch kontinuierliches Realtime Processing
- Automatische oder benutzergesteuerte Aufbereitung/Transformierung (ASCII - EBCDIC) der Daten für das Ziel (Konvertierung, Umformatierung, Interpretierung, etc.)
- Unterstützung relationaler und nicht relationaler Datenbestände
Benutzerfreundlichkeit
- Intuitives Dashboard zur Administration und Kontrolle
- Transparenz über alle Datenaustauschvorgänge durch umfassendes Monitoring und Logging aller Datenbewegungen
- Integrierte, datenbankspezifische „Apply“ Funktion für ein schnelles und effizientes Einpflegen von Daten in die Zielsysteme, z.B. direkter Insert, Update, Delete, JSON/AVRO über Kafka oder auch die Nutzung der DBMS Loader Funktionalität
- Integriertes Data Repository mit Historienführung zur Verwaltung aller Datenstrukturen und Regeln für den Datenaustausch
- Key-Management für nicht indizierte Daten
- Wegfall von Programmieraufwand für Datenaustausch
- Integrierte Pooling/Streaming Verfahren vermeiden Programmieraufwand
- Nutzung von Message Queueing zur Absicherung von Datenverlust bei Nichtaufnahmefähigkeit des Zielsystems oder Verzögerungen
Datenintegrität
- Praxisbewährte Verfahren zum Wiederaufsetzen von Replikationen bei Störungen im System (Datenbankfehler, Übertragungsstörungen)
- Master Data Management zur Wahrung der Datenkonsistenz
- Sicherung der referentiellen Integrität durch transaktionsgebundene Übertragung von Daten
Change Data Capture Mechanismen
DBMS-Extension
Echtzeit
Zeitnahe Erfassung von Änderungsinformationen
Informationsgewinnung direkt aus dem Datenbanksystem
Sichere Datenbewahrung, auch über Neustart des DBMS hinweg
Minimale Latenz
Log-Auswertung
Ereignis- oder zeitgesteuert
Verwendung der DBMS Logging Möglichkeiten
Transfer genau der geänderten Daten im festgelegten Zeitraum
Ideal als Nachtverarbeitung
Zur Verarbeitung unmittelbar nach Log-Abschluss
Bulk-Transfer
Massendaten-Austausch
Effizienter Transfer ganzer Datenbestände
Zyklischer Transfer von Massendaten mit niedriger Änderungsfrequenz
Ideal als „Initial Load“ im Vorfeld der Realtime Synchronisation
Für periodische Massendatentransfers
Batch-Compare
Snapshot Verarbeitung
Vergleich mit Datensnapshots
Effizienter Transfer der Änderungsdaten seit dem letzten Lauf
Automatische Bildung des Deltas durch tcVISION
Sicheres Wiederaufsetzen bei Fehlersituationen
Nutzen
Kosteneinsparungen
- Reduzierung des Datenübertragungsvolumens für Datensynchronisation
- Weniger Expertentum erforderlich für Datenbanken und Plattformen (z.B. Mainframe Skills)
- Verlagerung von Prozessen auf kostengünstige Plattformen (Linux, UNIX, Cloud)
Zeitersparnis
- Schnelle und einfache Implementierung von Datenaustauschprozessen über Systemgrenzen hinweg
- Wegfall von Programmieraufwand für das Extrahieren, Transformation und Einpflegen von Daten
- Reduzierung des Aufwands für Datenkonvertierung durch integrierte datenbankspezifische Transformationslogik
Vorsprung und Zukunftsfähigkeit
- Echtzeit-Daten als optimale Grundlage für fundierte Unternehmensentscheidungen und Prognosen
- Unbeschränktes Wachstumspotential, Offenheit für neue Technologien durch modularen Aufbau und bereitgestellte APIs
- Hohe Innovationsfähigkeit und Agilität durch Aufhebung des Daten Lock-In in einer historisch gewachsenen Datenlandschaft
Freiheit und Unabhängigkeit
- Reduzierung der Abhängigkeit von Datenbankherstellern, Mitarbeitern und Dienstleistern
- Bessere und effizientere Auslastung interner Ressourcen
- Hohe Transparenz durch zentrale Überwachung und Monitoring aller Datenaustauschprozesse
- Entscheidungsfreiheit für Innovationen bei der Nutzung von Datenbanken und Plattformen
Kompensation fehlender Expertenskills
- Kompensation des abnehmenden Mainframe Knowhows
- Automatisierte Aufbereitung historisch gewachsener Datenbestände
- Wegfall der Notwendigkeit zur Nutzung datenbankspezifischen Expertentums durch relationale Perspektive
Unterstützte Quellen und Ziele
Umgebungen
IBM z Systems
- z/OS
- z/VSE
- Linux on z Systems
Offene Welt
- Linux on IBM Power Systems
- IBM AIX
- Microsoft Windows
- Unix
- Linux
Mainframe Datenbanken
- IBM Db2
- IBM IMS/DB / DL1
- VSAM
- Software AG ADABAS
- CA IDMS/DB
- CA DATACOM/DB
- PDS/PS
Non-Mainframe Datenbanken
- IBM Db2 LUW
- IBM BLU Acceleration
- IBM Informix
- IBM NETEZZA
- Oracle
- Sybase
- Microsoft SQL Server
- Software AG ADABAS LUW
- PostgreSQL
- Teradata
- MongoDB
- Flat File Integration
- SAP Hana
- MySQL / MariaDB
- ODBC / JDBC
Big Data / Hadoop
- JSON
- Avro
- KAFKA
- mit Avro
- mit CSV
- mit JSON
- Hadoop Data Lakes
- HDFS
- CSV
- Elasticsearch
- Snowflake
Cloud
- Aurora MySQL
- Aurora PostgreSQL
- AWS S3
- Amazon Web Services
- Amazon Kinesis
- Microsoft Azure
- Amazon Redshift
- Azure SQL-Database
- Azure Database for MySQL/MariaDB
- Azure Database for PostgreSQL
- Azure Event Hubs
- Google Cloud SQL for MySQL
- Google Cloud SQL for PostgreSQL
- Google Cloud SQL for SQL Server
- Google Cloud Storage