tcVISION auf AWS

Peter M. Horbach, 17. Juni 2019

Datenintegration eines Mainframes ist in den letzten Jahren immer wichtiger und dringlicher geworden. Unternehmen suchen nach Möglichkeiten Mainframe Workloads auf kostengünstigere Plattformen zu übertragen, Mainframe Anwendungen zu modernisieren und Möglichkeiten zu schaffen, Echtzeit Analysen mit den komplexen Daten durch zuführen.

Cloud Technologien sind in das Blickfeld von Unternehmen gelangt, um die unternehmenskritischen Daten zu nutzen. Viele dieser Unternehmen nutzen hierzu die Amazon Web Services (AWS).

Amazon Web Services (AWS) sind Cloud-Computing Services, die von einem Tochterunternehmen des Online-Versandhandels Amazon angeboten werden. AWS wird von bekannten Diensten wie Netflix, Dropbox etc. genutzt.

Die Nutzung von AWS geschieht über sog. Amazon Machine Images (AMI). Diese Images sind auf dem Online Amazon Marketplace verfügbar. AMI ist eine spezielle virtuelle Anwendung, um eine virtuelle Maschine innerhalb einer sog. Amazon Elastic Compute Cloud ("EC2") zu betreiben.

Anwender, die ihre unternehmenskritischen Daten auf Mainframe-Systemen speichern, können die Daten über die flexiblen Dienste von AWS nutzen, um Analysen zu fahren, neue Kommunikationswege zu eröffnen oder schnell neue Anwendungen zu entwickeln.

tcVISION spielt hier eine gewichtige Rolle, da Daten in Echtzeit und bidirektional zwischen einem Mainframe (z/OS oder z/VSE) und AWS repliziert werden können.

Unternehmenskritische Daten in Mainframe-Umgebungen können in Datenbanken unter AWS bereitgestellt werden – mit minimalem administrativen Aufwand.

tcVISION Amazon Machine Images (AMIs) sind nun auf dem AWS Marketplace verfügbar.

Die AMI Komponente von tcVISION wird automatisch in der AWS Cloud eingerichtet und ermöglicht es dem Anwender, eine Netzwerkverbindung zwischen dem eigenen Datencenter (On-Premises Mainframe) und den AWS Datenbanken zu etablieren.

In diesem Blog wollen wir einige Beispiele aufzeigen, wie tcVISION in die Nutzung von AWS eingebettet ist.

Mainframe Anwender speichern enorme Mengen von komplexen, kritischen Daten in proprietären und über die Jahrzehnte gewachsene Formate (z.B. VSAM, IMS, Adabas, CA/Datacom, CA/IDMS, Db2). Diese Daten sind in der Regel nicht kompatibel mit modernen Datenbanken bzw. Datentypen und schwierig zu extrahieren.

tcVISION löst das Problem durch die integrierte Change Data Capture Technologie und die Replikation in moderne AWS Datenbanken in Echtzeit.

Folgende Anwendungen sind vorstellbar:

Analytics

Nach der Replikation der Mainframe Daten durch tcVISION und der – auf das tcVISION Repository basierenden – Datentransformationen sind die Daten in einem AWS Data Store verfügbar wie z.B. dem Amazon Simple Storage Service (Amazon S3). Hier können Anwender analytische Funktionen sowie die Machine Learning Services nutzen, um schnellen und einfachen Zugriff auf alle relevanten Daten zu haben, ohne Sicherheits- oder Kontrollaspekte zu gefährden.

Services stehen zur Verfügung, die von Datenkatalogen und Datenverarbeitung bis hin zu interaktiven Analysen, Desktop und App-Streaming bis hin zu Data Warehousing reichen.

Innovation

Sobald die Daten in AWS verfügbar sind, können Anwender neue Funktionen in Cloud Geschwindigkeit innovieren. Verschiedene Anwendungsmöglichkeiten sind vorstellbar:

  • Zugriff auf die Mainframe Daten durch die Erstellung von Micro Services über AWS Lambda ohne Server bereitzustellen und verwalten zu müssen.
  • Bereitstellung von Mainframe Daten an neue Kanäle (z.B. Smartphones) über das Amazon API Gateway.
  • Bereitstellung der Mainframe Daten an Data-Streams in Echtzeit über Amazon Kinesis.

Mit den Data-Modelling- und Mapping Funktionen des tcVISION GUI sowie der unkomplizierten Migration nach AWS ist die Modernisierung großer Mainframe-Systeme über AWS schnell und einfach.

Stufenweise Modernisierung

Im Falle einer stufenweisen Modernisierung von einem Mainframe nach AWS ist es in der Regel notwendig, die Daten zwischen dem Mainframe und AWS in Echtzeit zu synchronisieren.

tcVISION unterstützt die bidirektionale Replikation in Echtzeit und unterstützt somit eine stufenweise Modernisierung oder Migration ohne eigene Synchronisations-Module und -Programme erstellen zu müssen.

Die bidirektionale Datensynchronisation in Echtzeit ermöglicht, dass Änderungen beispielsweise in einer PostgreSQL Tabelle auf AWS auf den Mainframe repliziert werden.

tcVISION unterstützt die Datenbanken der AWS Relational Database Services (RDS). Zu ihnen gehören Aurora, PostgreSQL, MySQL, MariaDB, SQL Server und Oracle als Zieldatenbanken zusätzlich zu den traditionellen Linux/Unix/Windows Zielen (LUW) IBM Db2 LUW, Software AG Adabas, Microsoft SQL Server, IBM Informix, Sybase, ODBC.

Die unterstützten Quellen und Ziele von tcVISION finden Sie hier.

B.O.S. Software hat ein Video erstellt, in dem ein Synchronisationsbeispiel mit AWS behandelt wird:

Unser amerikanischer Vertriebspartner Treehouse Software, Inc. ist ein Standard Technology Partner des AWS Partner Networks (APN).

Lesen Sie den Beitrag der Treehouse Software, Inc. im AWS Partner Network (APN) Blog.

B.O.S. Software und Confluent –
der Zusammenfluss von Mainframe, Open System und BigData

Peter M. Horbach, 13. Mai 2019

Confluent mit Hauptsitz in Palo Alto, Kalifornien, wurde von den Entwicklern der Open-Source-Lösung Apache Kafka gegründet. Das Unternehmen bietet eine führende Event-Streaming Plattform an, welche es den Unternehmen ermöglicht, einfach auf ihre Daten in Form von Echtzeit Streams zuzugreifen und somit den Wert ihrer Daten zu maximieren.

Jedes Datenbyte, so die Aussage von Confluent, habe eine Geschichte zu erzählen. In einem datenabhängigen Unternehmen ist die Bewegung, Analyse und Verteilung der Daten genau so wichtig wie die Daten selbst.

Die Plattform von Confluent erlaubt es, Daten aus verschiedenen Systemen in eine Echtzeit-Datenpipeline zu übertragen. Heute konzentriert sich Confluent auf die Weiterentwicklung der Streaming-Plattform, die es Unternehmen ermöglicht, schnell und einfach auf Echtzeit-Streams mit Unternehmensdaten zuzugreifen.

Da sich Confluent überwiegend mit Plattformen der Offenen Welt beschäftigt hat, ist die B.O.S. an Confluent herangetreten und die Möglichkeit aufgezeigt, Mainframe-Daten in das Event-Streaming Konzept mit einzubeziehen.

Die tcVISION Lösung der B.O.S. bot zu diesem Zeitpunkt bereits eine komplette Schnittstelle zu Kafka an und Confluent konnte anhand einer Online Demo überzeugend demonstriert werden, wie beliebige Mainframe Daten in das Event-Streaming implementiert werden können.

Seit Anfang 2019 ist die B.O.S. Software Service und Vertrieb GmbH nun ein „Verfied Standard“ Partner der Confluent.

B.O.S. bietet mit tcVISION eine der führenden Datenintegrationslösungen für die umfassende Realisierung von Datenaustauschlösungen, Datensynchronisation, Verteilung und Replikation sowie Migration im Umfeld heterogener Systemumgebungen an. Die „minimal impact“ Change Data Capture Technologie für eine Vielzahl von Mainframe, LUW und Cloud basierter Datenquellen beschleunigt den Aufbau moderner Echtzeit Enterprise Datenarchitekturen.

tcVISION ist eine komplette Integrationsplattform. Sie umfasst den kompletten Datenaustauschprozess, d.h. das Extrahieren der Daten an der Datenquelle, die Transformation der Daten zur Aufbereitung für die Datenziele sowie den direkten APPLY in die Datenziele ohne Notwendigkeit der Zwischenspeicherung.

Innerhalb von tcVISION ist Kafka vollständig unterstützt als ein Ausgabeziel, einschließlich einer Authentifikation durch Kerberos und geschützter Datenverbindung über SSL. tcVISION streamt die Daten nach Kafka über JSON oder AVRO.

Die Partnerschaft mit Confluent ermöglicht es Nutzern der Streaming-Plattform, einfach und schnell Daten aus Enterprise Anwendungen von Mainframes und Distributed Systemen in die Streaming Plattform in Echtzeit zu integrieren und auf diese Echtzeit-Streams mit Unternehmensdaten zuzugreifen.

Echtzeit-Analytics und BI Lösungen, sowie die Modernisierung von Anwendungen und die damit zusammenhängende Verlagerung von Daten und Anwendungen, wird durch die Nutzung von tcVISION erheblich erleichtert. Auch der Aufwand für die Implementierung sowie die Realisierung der Confluent Streaming-Plattform mit Integration von Echtzeit-Daten aus Mainframe und Distributed Systemen wird erheblich reduziert und ist in kürzerer Zeit realisierbar.

Für den Anwender ergeben sich unter anderem die folgenden Vorteile:

  • Die Datenaustausch-Kosten werden durch Konzentration auf Änderungsdaten durch tcVISION auf ein Minimum reduziert.
  • Replikation von Mainframedaten nach Big Data erlaubt Realtime Analytics.
  • Die Nutzung von Mainframe-Ressourcen wird so weit wie möglich reduziert, um Mainframe-Knowhow und MIPS zu sparen.

Weitere detaillierte Informationen und ein Video, in dem Sie sehen können, wie tcVISION mit Kafka (Big Data) funktioniert, finden Sie hier.

Realtime oder Near Realtime, das ist oft die Frage

Peter M. Horbach, 29.04.2019

Die B.O.S. Software Service und Vertrieb GmbH hat sich in der vergangenen Dekade zu einem führenden Unternehmen in den Bereichen Datensynchronisation, Datenaustausch, Datentransformation und Mainframe Direktzugriff entwickelt. Kunden aus den unterschiedlichsten Branchen auf der ganzen Welt setzen unsere tcVISION Lösung ein. Nicht nur Kunden mit einem Mainframe als Herzen ihrer IT, sondern auch Kunden mit unterschiedlichen Open Server Plattformen nutzen die Flexibilität und Effizienz unserer Lösung.

Wir wollen mit diesem Blog Interessenten als auch Kunden nähere Einblicke in unsere Arbeit gewähren.

Im ersten Teil dieses Blogs setzen wir uns mit der Frage auseinander:

Was ist Realtime und was ist Near Realtime?

Nahezu alle Anbieter von Lösungen zur Datensynchronisation verwenden den Begriff Realtime. Dazu gehört auch die B.O.S. Software. Stellen Sie sich bitte die folgenden Szenarien vor:

1. Zentraler Mainframe mit dem Betriebssystem z/OS oder z/VSE, VSAM, IMS bzw. DLI Datenbanken und einer neuen Anwendungsplattform mit Linux (Intel, Unix oder System z) und einer relationalen Datenbank (z.B. Db2 LUW oder ORACLE).

Die produktiven Mainframe-Daten (VSAM, IMS und DLI) sollen im Online bzw. Batch Betrieb mit den Datenbanken unter Linux ohne messbaren Zeitverlust synchronisiert werden.

tcVISION ermittelt die Änderungsdaten unter VSAM bzw. IMS/DLI zum Zeitpunkt der Änderung und repliziert diese Daten an das Linux Zielsystem, wo sie aufbereitet, bearbeitet und in die entsprechenden Tabellen der Zieldatenbank appliziert werden.

tcVISION bietet hierzu unterschiedliche Technologien an, die zum Einsatz gebracht werden können (z/OS oder tcVISION Logstreams und aktive Datenbank-Logs). Alle diese Verfahren ermitteln die Änderungsdaten in Realtime und bis zum Einspielen in das Zielsystem vergehen keine Sekunden. Voraussetzung ist eine technische Infrastruktur, die ohne Engpässe und Performanceprobleme arbeitet.

2. Zentraler Mainframe mit dem Betriebssystem z/OS, IMS und Db2 Datenbanken und einer neuen BigData Plattform mit HADOOP.

Die Änderungsdaten sollen immer dann ermittelt und übertragen werden, wenn unter IMS bzw. Db2 eine Logdatei archiviert wird.

tcVISION verarbeitet die archivierten Logdateien entweder direkt auf dem Mainframe oder nach einem File-Transfer auf eine Windows oder Unix Plattform. Zwischen der Erstellung der Daten und der Verarbeitung kann eine Latenz von mehreren Minuten liegen, die vom Kunden eingeplant und den Analytics Anforderungen für BigData gerecht ist.

Diese Art der Verarbeitung ist eine Near Realtime Verarbeitung.

Die oben gezeigten Szenarien können auf allen von tcVISION unterstützten Plattformen durchgeführt werden.

Fassen wir zusammen:

Realtime oder Echtzeit-Verarbeitung bedeutet, dass die Daten unmittelbar nach der Änderung erfasst und verarbeitet werden. Auch hier ist eine Latenzzeit zu erkennen, die jedoch in Sub-Second Bereichen ist und dem Begriff Echtzeit nicht entgegen steht.

Ist die gewählte Verarbeitung für die Datensynchronisation auf archivierte Logdateien bzw. Journals ausgelegt, sprechen wir von einer Near Realtime Verarbeitung. Diese Art der Verarbeitung wird oft in den Bereichen Analytics, Reporting und BigData eingesetzt.

Wer braucht Realtime und Near Realtime Daten?

Nahezu alle Unternehmen, unabhängig von Branchen und Industrien, die im globalen Wettbewerb bestehen wollen. Ein Blick auf unsere Kundenbasis bestätigt das. Die meisten Anwendungen sind in den Bereichen Datensynchronisation aufgrund von Anwendungs- und Migrationsanforderungen und in den Bereichen BigData und Cloud-Computing zu finden.

Sie finden hierzu Anwendungsbeispiele auf unserer Webseite.

Methoden der tcVISION Replikationen
tcVISION bietet unterschiedliche Methoden an, um Änderungsdaten zu ermitteln:
Realtime
Betriebssystem Methode Quelle
z/OS Logstreams CICS, Shared VSAM, tcVISION Logstreams
  Active Logs Db2, IMS, ADABAS,DATACOM, IDMS
z/VSE tcVISION Kollektor VSAM, Db2, DLI
  Active Logs ADABAS, DATACOM, IDMS
Windows/UNIX, Linux Log Verarbeitung Db2, MS SQL-Server, Oracle, MySQL/MariaDB, ADABAS PostgreSQL, Informix
Near Realtime
Betriebssystem Methode Quelle
z/OS Archive Logs* Db2, IMS, ADABAS,DATACOM, IDMS
z/VSE Archive Logs* ADABAS, DATACOM, IDMS
Windows/UNIX, Linux Archive Logs Db2, MS SQL-Server, Oracle, MySQL/MariaDB, ADABAS PostgreSQL, Informix
* Archivierte Logs können entweder auf dem Mainframe oder auf einer Windows, Unix, Linux Plattform verarbeitet werden.
Weitere Methoden

Eine spezielle Methode, die von tcVISION angeboten wird, ist das sogenannte Batch-Compare Verfahren. Dieses Verfahren vergleicht eine beliebige Datei (alle unterstützten Quellen) mit einer in einem vorherigen Lauf erstellten Snapshot-Datei, um die Änderungen zu ermitteln.

Für das Einpflegen von Massendaten bzw. das erstmalige Laden der Daten steht der tcVISION BULK Reader und Loader zur Verfügung. Diese Komponente kann entweder direkt auf die Datenquellen zugreifen oder auf Image-, Backup- bzw. Unload-Dateien. Das Einpflegen der Daten in die Zieldatenbank kann über SQL bzw. über die Loaderfunktion der Datenbank erfolgen.

Möchten Sie mehr erfahren?

tcVISION ist eine extrem flexible, systemübergreifende Lösung für die zeitnahe, bidirektionale Datensynchronisation und Replikation auf Basis von Änderungsdaten. Datenaustausch wird zur Single-Step-Operation. Der Einsatz von Middleware oder Message Queueing ist nicht notwendig. Der Datenaustausch erfolgt im Raw-Format in komprimierter Form und reduziert sich auf das Delta von Änderungsdaten. Daten können in Echtzeit, zeitgesteuert oder ereignisgesteuert sowohl uni- als auch bidirektional bewegt werden.

Setzen Sie sich mit uns in Verbindung oder melden Sie sich für unseren Newsletter an.

Unser Support-Team unterstützt Sie gerne bei der Implementation unserer Software-Lösungen. Wir haben uns hohe Maßstäbe gesetzt, um unseren Kunden optimalen Service zu bieten. Die Mitarbeiter unseres Support-Teams zeichnen sich durch hervorragende Produktkenntnisse aus und verfügen über ein breites Spektrum an Fachwissen im gesamten Umfeld, in dem unsere Lösungen eingesetzt werden.

Sowohl im Bereich unserer Großrechnerlösungen, als auch für unsere Client-Server-Lösungen stehen Ansprechpartner zur Verfügung, die nicht nur qualifiziert Auskunft hinsichtlich einer optimalen Produktnutzung erteilen können. Aufgrund ihrer Fachkompetenz sind sie vielmehr auch in der Lage, unsere Kunden bei der Erarbeitung und Realisierung individueller Implementationskonzepte tatkräftig zu unterstützen.

Peter M. Horbach ist freier Mitarbeiter der B.O.S. Mit über 40 Jahren IT Erfahrung ist er seit vielen Jahren in den Bereichen Datensynchronisation und Replikation tätig. Für die B.O.S. pflegt er Kontakte zu den internationalen Partnern und schreibt den Blog.
Wie können wir Ihnen helfen?
Cookies erleichtern die Bereitstellung unserer Dienste. Mit der Nutzung unserer Dienste erklären Sie sich damit einverstanden, dass wir Cookies verwenden.
Weitere Informationen Ok Ablehnen