SOA & Hadoop

Service-Oriented Architecture (SOA)

Das Architekturmuster nutzt die Architektur von einem verteilten System, um die geschäftsprozessorientierte Sicht der Verarbeitungsfunktionen eines Unternehmens abzubilden. Die Dienste des Systems sind Teile von Geschäftsprozessen und es gibt den Serviceanbieter und den Servicenutzer als Rolle.
Die Architektur soll das Problem lösen, dass sich Geschäftsprozesse schnell ändern und angepasst werden müssen, was in einem System die Gesamtarchitektur beeinflusst. Durch die Änderung entstehen dann hohe Kosten und Instabilitäten von einzelnen Programmen.
In einer serviceorientierten Architektur wird die geschäftsprozessorientierte Sicht auf die Architektur des Datenverarbeitungs-Systems abgebildet. Die Verarbeitungsfunktionen von der Software werden als Dienste in Komponenten gekapselt.

Anforderungen an Dienste einer SOA

  • Verteilung der Dienste über ein Netzwerk
  • Geschlossenheit der Dienste, d.h. sie können unabhängig voneinander aufgerufen werden
  • Zustandslos bedeutet das Dienste bei ihrem Aufruf immer im gleichen Zustand starten und sich nicht an frühere Aufrufe "erinnern"
  • Lose Koppelung bedeutet, dass sie untereinander entkoppelt sind
  • Austauchbarkeit der Dienste
  • Ortstransparenz von Diensten bedeutet, dass es gleichgültig ist auf welchem Rechner ein Service liegt
  • Plattformunabhängigkeit
  • Zugriff auf einen Dienst über eine Schnittstelle, sodass die Implementierung des Dienstes verborgen bleibt
  • Verzeichnisdienst heißt, dass in einem Verzeichnis alle Dienste registriert sind

Hadoop, HDFS & Map-Reduce

Hadoop ist ein Framework für die skalierbare Verarbeitung von sehr großen Datenmengen.
Dazu wird das Hadoop Distributed File System (HDFS) und die MapReduce Execution Engine verwendet.

HDFS

In dem verteilten Dateisystem werden die Dateien auf Knoten verteilt und große Dateien in kleine Blöcke zerlegt. Mit der MapReduce Execution Engine werden die Daten direkt auf dem Knoten verarbeitet, was viel effizienter ist.
In der Vorlesung gab es ein ganz tolles Video zu HDFS zu sehen.

MapReduce

MapReduce ist ein Programmiermodell, welches die parallele und verteilte Ausführung von Programmen beschreibt. Bei der Implementierung müssen die zwei Methoden Map und Reduce geschrieben werden. Die Methode Map bildet die Eingabedaten auf Schlüssel-Wert-Paare ab und die Reduce Methoden führt die von Map erzeugten Schlüssel-Wert-Paare zusammen.

Hadoop-Ökosystem

Es gibt viele Komponenten, die auf dem Hadoop-Kern aufsetzten. In der Vorlesung haben wir die folgenden betrachtet und Kurz-Präsentationen dazu gehalten:
Ich arbeite bei einem bekannten E-Commerce Unternehmen in der BI Abteilung als Werkstudentin. Dort arbeite ich regelmäßig mit Hadoop, denn unsere Daten werden in HDFS abgelegt und stehen uns dann dort zur Verfügung, um Analysen durchzuführen. Für Analysen benutze ich Apache Hive, wobei mir hier das MapReduce zu Gute kommt für meine Hive Queries. Durch das MapReduce kann ich die großen Datenmengen über mehrere Jahre auch in meinen Queries nutzen, um noch in annehmbarer Zeit ein Ergebnis zu erhalten.

Kommentare

Kommentar veröffentlichen

Beliebte Posts aus diesem Blog

Projektergebnis

Bild
Unsere Plattform ist unter dem Link  https://sow-stf.ful.informatik.haw-hamburg.de/ erreichbar. Startseite der BPaaS-Plattform Als Ergebnis unseres Projektes ist eine BPaaS-Plattform entstanden, die sequentielle BPs ausführt. Es können BP und Services angelegt werden und sich diese in einer Liste angezeigt werden lassen. Die BPs können dann ausgeführt werden. Dies haben wir mit folgenden Komponenten verwirklicht. Architektur der BPaaS-Plattform (erstellt durch Edgar ) Die Website ist die Schnittstelle zu den BP Nutzern, den BP-Anbietern und den Service-Anbietern. Über diese können die Nutzer und Anbieter die oben beschriebenen Aktionen ausführen. Die Website kommuniziert über die API mit den anderen Komponenten. Die Website liest die BPs und Services aus der Datenbank oder legt die neuen BPs und Services in der Datenbank ab. Der BPExecuter führt die BPs aus, wenn er von der Website den Befehl über die API bekommt. Dann holt er sich die Daten zu dem BP und den beteiligte
Mehr anzeigen

TTI Vorlesung

In diesem Eintrag möchte ich einmal kurz zusammenfassen was ich für neue Themen gelernt habe, bzw. was ich schon kannte. Dann möchte ich darüber schreiben was mir gut gefallen hat und was ich mir etwas anders gewünscht hätte. Veranstaltungsthemen bekannt/unbekannt/teilweise bekannt Cloud Computing unbekannt Cloud Computing Technologien unbekannt IaaS, PaaS teilweise bekannt Multi Tenancy unbekannt Web Services unbekannt REST unbekannt SOA bekannt API-Economoies unbekannt Hadoop & MapReduce bekannt NoSQL bekannt Cloud Computing Patterns unbekannt Web-Suchmaschinen teilweise bekannt Semantic Web unbekannt Wie man der Tabelle entnehmen kann, habe ich über einige Themen noch nicht viel gewusst. Vor allem alles was zum Thema Cloud Computing gehört war neu für mich,
Mehr anzeigen

Cloud Computing Patterns

Die Cloud Computing Patterns werden benutzt, um die konzeptuellen Lösungen von Cloud Computing unabhängig von verwendeter Technologien, Software, Middleware und Programmiersprache zu verwirklichen. Die Patterns werden in verschiedene Kategorien eingeteilt. Cloud Computing Fundamentals Die Muster aus dieser Kategorie beschreiben die Arbeitslast von Anwendungen ( Application Workloads ), Servicemodelle ( Cloud Service Models ), die von Cloud-Anbietern betrieben werden und die unterschiedlichen Verwendungsmöglichkeiten von Clouds ( Cloud Deployment Models ). Permalink ). Cloud Offerings Die Muster der Kategorie Cloud Offerings beschreiben verschiedene Funktionalitäten von Clouds in Bezug auf Funktionalitäten, die Kunden angeboten werden und das Verhalten, das sie zeigen. Die Muster werden eingeteilt in Cloud Enviroments, Processing Offerings, Storage Offerings und Communication Offerings. Cloud Application Architecture Die Muster von Cloud Application Architecture beschrei
Mehr anzeigen