DB-EnginesCrateDB bannerEnglish
Deutsch
Informationen zu relationalen und NoSQL DatenbankmanagementsystemenEin Service von solid IT

Enzyklopädie > Artikel

MapReduce

MapReduce ist ein Algorithmus für parallele Verarbeitung in großen Datenbeständen, welcher von vielen NoSQL Datenbankmanagementsystemen zur Verfügung gestellt wird. Er eignet sich besonders zum Abarbeiten von Abfragen auf verteilten Datenbanken.

Arbeitsweise

MapReduce beruht auf einem seit langem bekannten algorithmischem Konzept (divide and conquer), das im Zusammenhang mit Datenbanken in der Regel folgendermaßen angewandt wird:

  • Ein Master Knoten nimmt eine Anfrage entgegen, und teilt sie in Teilaufgaben auf, die er an andere Knoten verteilt. Dabei ist wesentlich, dass die Teilaufgaben voneinander unabhängig gelöst werden können.

    Zum Beispiel nimmt eine Suchmaschine eine Suchanfrage entgegen, und gibt sie an einzelne Server weiter, welche jeweils einen Teil der Daten verwalten.

     
  • In der Map Phase verarbeitet jeder Knoten seine Teilaufgabe, und stellt die Ergebnisse bereit.

    In diesem Beispiel stellt jeder Server die Suchergebnisse aus seinem lokalen Datenbestand bereit.
     
  • In der Reduce Phase werden die einzelnen Teilergebnisse gesammelt, konsolidiert und zu einem Gesamtergebnis weiterverarbeitet. Je nach Problemstellung kann u.U. auch die Reduce Phase parallelisiert werden.

    In dem Beispiel wird dort etwa die Endreihung der gesammelten Suchergebnisse vorgenommen.

Bei geeigneten Problemstellungen und geeigneter Systemarchitektur ist MapReduce ein fast beliebig skalierbarer Algorithmus. Diese Eigenschaft macht ihn bei der Verarbeitung riesiger Datenmengen attraktiv.



Featured Products

AllegroGraph logo

Graph Database Leader for AI Knowledge Graph Applications - The Most Secure Graph Database Available.
Free Download

Redis logo

Start now with Redis Cloud
Secure, highly available Redis as a serverless, hosted, fully managed cloud service.
Sign up here.

Couchbase logo

SQL + JSON + NoSQL.
Power, flexibility & scale.
All open source.
Get started now.

Neo4j logo

New to the world of graph databases? Become an expert today with your copy of the Graph Databases for Beginners ebook.

Präsentieren Sie hier Ihr Produkt