Enermeter Logo

Stream Processing

Was ist Stream Processing

Stream Processing ist ein alternativer Ansatz zum Batch Processing. Daten werden nicht erst zwischengespeichert, sondern direkt nach ihrer Entstehung oder ihrem Empfang in nahezu Echtzeit kontinuierlich verarbeitet und analysiert. Stream Processing kommt beispielsweise im Big-Data-Umfeld oder in digitalisierten Prozessen der Industrie 4.0 zum Einsatz.
Teilweise altenative Begriffe für Stream Processing sind Real-Time-Analyse, Stream Analyse, Event Processing oder Data-in-Motion-Processing. Es handelt sich um eine Datenverarbeitungsmethode, die einen gegensätzlichen Ansatz im Vergleich zum Batch Processing verfolgt. Anstatt Daten zunächst zu sammeln, in Datenbanken zu speichern und erst im Nachgang bei Bedarf zu verarbeiten oder zu analysieren, ermöglicht das Stream Processing die Verarbeitung und Analyse von Daten nahezu in Echtzeit.

Die Daten werden direkt nach ihrer Entstehung oder ihrem Empfang mit minimaler zeitlicher Verzögerung prozessiert. Je nach Anwendung handelt es sich bei der Verzögerung um nur einige. Ein empfangener Datenstreutztam kann beispielsweise Aktionen triggern, Statistiken updaten oder neue Datenstreams erzeugen. Typische Anwendungsbereiche sind das Big-Data-Umfeld, digitalisierte Prozesse der Industrie 4.0, das Internet der Dinge (IoT – Internet of Things), Live-Webseitenauswertungen oder die Live-Reaktion auf Logdaten.

Gründe für das Stream Processing

Durch eine steigende Anzahl von Datenquellen, die kontinuierlich zu analysierende Daten liefern, stößt das Prinzip des Batch Processings an seine Grenzen. Unternehmen sind mit ihren digitalen Prozessen darauf angewiesen, Daten in Echtzeit zu verarbeiten und binnen kurzer Zeit angemessen auf Analyseergebnisse zu reagieren. Je mehr Zeit zwischen der Datenentstehung oder dem Datenerhalt und der Auswertung der Daten liegt, desto geringer ist der Wert der Analyseergebnisse. Zudem erzeugt die Zwischenspeicherung großer Mengen an Daten einen riesigen Bedarf an Ressourcen und Speicherbedarf für Datenbanksysteme. Dynamische Markt- und Produktionsprozesse erwarten zeitnahe Auswertungen in Echtzeit. Stream Processing muss im Gegensatz zum Batch Processing kontinuierliche Datenströme nicht unterbrechen und Daten anschließend wieder aufwendig aggregieren, sondern erzeugt einen kontinuierlichen Ergebnis-Output.

Abgrenzung vom Batch Processing

Klassische Datenverarbeitungsprozesse nutzen das sogenannte Batch Processing. Die deutsche Übersetzung für Batch Processing lautet Stapelverarbeitung. Beim Batch Processing werden Daten nach ihrer Entstehung oder ihrem Erhalt zunächst von einer Eingangslogik sortiert und gegebenenfalls strukturiert. Anschließend erfolgt die Ablage in einer Datenbank. Dort verbleiben die Daten, bis eine Weiterverarbeitung oder eine Analyse der Daten notwendig wird. Die Ausgangslogik entnimmt die benötigten Daten zu einem definierten Zeitpunkt und führt sie der Analyselogik oder der weiterverarbeitenden Anwendung zu. Die erhaltenen Ergebnisse sind nicht echtzeitfähig und basieren immer auf einem historischen Datenbestand zu einem bestimmten Zeitpunkt. Während der Analyse oder der Weiterverarbeitung erhaltene Daten fließen nicht in die Analyseprozesse ein und können erst wieder zu einem späteren Zeitpunkt berücksichtigt werden.

Funktionsprinzip des Stream Processings

Basis des Stream Processings sind kontinuierliche Datenströme. Datenquellen, wie Sensoren, erzeugen einen ständigen Datenstrom in einem bestimmten Datenformat. Der Datenstrom besteht aus Einzeldaten oder kleineren Paketen mit mehreren Daten. Wie viele Daten in die Pakete gefüllt werden, kann zeit- oder mengenabhängig sein. Empfänger wie Analyseanwendungen nehmen den Datenstrom entgegen und verarbeiten ihn. Hierbei lassen sich das sogenannte native Streaming und Micro-Batching unterscheiden. Native Streaming verarbeitet jeden Datensatz sofort, ohne auf weitere Datensätze zu warten. Micro-Batching hingegen sammelt Daten über kurze Zeitabstände (Zeitfenster) und führt anschließend die Weiterverarbeitung durch.
Native Streaming bietet den Vorteil niedrigerer Latenzzeiten und kürzerer Reaktionszeiten auf eingehende Daten. In einigen Bereichen kommt Batch Processing und Stream Processing in einer Mischkonstellation zum Einsatz. Die Datenverarbeitung erfolgt zweigeteilt. Eine Batch-Ebene speichert zeitunkritische Daten und analysiert sie erst zu einem späteren Zeitpunkt, während eine Stream-Ebene die erhaltenen zeitkritische Daten direkt auswertet.

Vorteile des Stream Processings

Stream Processing bietet gegenüber dem herkömmlichen Batch Processing zahlreiche Vorteile. Unternehmen können in Echtzeit auf Ereignisse reagieren. Der Speicherbedarf ist wesentlich niedriger als beim Batch Processing, da Daten zunächst verarbeitet werden und nur bedeutsame Teilbereiche der Daten oder Ergebnisse zu speichern sind. Zudem entspricht das Stream Processing eher dem Charakter der Datenentstehung, die in der Regel kontinuierlich in einem permanenten Datenstrom erfolgt. Datenströme müssen für die Verarbeitung nicht mehr unterbrochen werden.

Verfügbare Stream-Processing-Technologien

Es existieren zahlreiche Technologien und Services für das Stream Processing. So lassen sich beispielsweise die Open-Source-Lösungen von Apache wie Apache Spark, Apache Storm, Apache Flink und Kafka Streams für das Stream Processing verwenden. Darüber hinaus sind kommerzielle Lösungen von fast allen namhaften Anbietern des Cloud Computings verfügbar. Dazu zählen Amazon Web Services mit AWS Kinesis, Google Cloud mit Cloud Dataflow und Microsoft Cloud mit Azure Stream Analytics und eben Alligator.

Typische Anwendungsbereiche des Stream Processings

Anwendungsmöglichkeiten für das Stream Processing ergeben sich im Bereich Künstlicher Intelligenz (KI), maschinellen Lernens, Big Data, Industrie 4.0, Internet der Dinge und bei Enermeter im Energiemanagement.

Der PDCA Zyklus

PLAN

Das Top-Management stellt ein Energieteam zusammeen und formuliert die Ziele der neuen Energiepoltik. Zudem wird die energetische Ist-Situation bewertet.

DO

Die geplanten Ziele werden nun umgesetzt. Die nötigen Mittel werden bereitgestellt und das Energiemanagementsystem wird implementiert.

CHECK

Es folgt die Überprüfung und Analyse der Maßnahmen - ein internes Audit. Bisherige Ergebnisse werden dokumentiert und dem Management berichtet.

ACT

Es folgt eine Bewertung durch das Management bzgl. der gesetzten Ziele. Falls nötig, wird das Energiemanagement angepasst und optimiert.

FÖRDERMÖGLICHKEITEN

Die Bundesregierung hat sich das Ziel gesetzt, den Primärenergieverbrauch gegenüber 2008 bis 2050 um 50 % zu senken. Neben dem Ausbau neuer Erzeugungskapazitäten für Strom auf Basis erneuerbarer Energien steht die Senkung des Energieverbrauchs durch die Steigerung der Energieeffizienz im Fokus der Energiewende.
Um Unternehmen Investitionen in energieeffiziente Prozesse zu erleichtern, hat das Bundesministerium für Wirtschaft und Energie die Förderprogramme in diesem Bereich neu ausgerichtet. Anstatt wie bisher die Fördergegenstände auf verschiedene Programme mit unterschiedlichen Voraussetzungen aufzuteilen, startet am 1. Januar 2019 ein einfacheres Modell: das Investitionsprogramm "Energieeffizienz und Prozesswärme aus Erneuerbaren Energien in der Wirtschaft – Zuschuss und Kredit".
Die neue Förderung richtet sich an Unternehmen aller Branchen und Größen, Stadtwerke und Energiedienstleister. Sie ist bewusst technologieoffen gestaltet, um den Unternehmen die größtmögliche Freiheit bei der Umsetzung einer für sie passenden Lösung zu geben: Von hocheffizienten Standardkomponenten bis zu komplexen Systemlösungen sind alle Maßnahmen förderfähig, die die Strom- oder Wärmeeffizienz deutlich erhöhen und damit zur Senkung des Energieverbrauchs beitragen.
Das neue Programm wird von BAFA und KfW gemeinsam umgesetzt und basiert auf der gemeinsam mit der Wirtschaft entwickelten Förderstrategie "Energieeffizienz und Wärme aus erneuerbaren Energien". Es ersetzt die bestehenden Programme zur Förderung hocheffizienter Querschnittstechnologien, zur Abwärmevermeidung und Abwärmenutzung, zur Förderung klimaschonender Produktionsprozesse sowie zur Förderung von Energiemanagementsystemen. Bewährte Elemente aus diesen Programmen wurden übernommen, weiterentwickelt und in der neuen Richtlinie gebündelt.

ZUR BAFA-FÖRDERRICHTLINIE

Nutzen Sie diese staatlich geförderte Chance für mehr Effizienz in Ihrem Unternehmen!

Förderfähig ist insbesondere der Erwerb, die Installation und die Inbetriebnahme:
  • von Softwarelösungen zur Unterstützung eines Energiemanagementsystems oder Umweltmanagementsystems (Energiemanagement-Software)
  • von Sensoren sowie Analog-Digital-Wandlern zur Erfassung von Energieströmen sowie sonstiger für den Energieverbrauch relevanter Größen zwecks der Einbindung in das Energie- oder Umweltmanagementsystem
  • von Steuer- und Regelungstechnik zur Beeinflussung von Systemen und Prozessen, sofern der vornehmliche Zweck ihres Einsatzes in der Reduktion des Energieverbrauchs liegt
Zu den förderfähigen Investitionskosten zählen insbesondere:
  • Erwerb einer Lizenz zur Nutzung einer Energiemanagement-Software oder Softwarelösung
  • Erwerb, Installation und Inbetriebnahme von:
  • Sensoren zur Integration in ein Energie- oder Umweltmanagementsystem bzw. alternatives System
  • Analog-Digital-Wandlern
  • Aktoren zur effizienten Steuerung/Regelung von Energieströmen
  • Datenloggern sowie Gateways zur Übertragung von Sensordaten zur Softwarelösung, deren Einsatz zur quantifizierbaren Reduktion des Energieverbrauchs führen soll
  • Einweisung bzw. Schulung des Personals durch Dritte im Umgang mit der geförderten Softwarelösung
  • Sofern es sich bei der Energiemanagement-Software um einen Cloud-Dienst handelt, die vollständigen externen Kosten zur Nutzung