DB-EnginesCrateDB bannerEnglish
Deutsch
Informationen zu relationalen und NoSQL DatenbankmanagementsystemenEin Service von solid IT

Enzyklopädie > Artikel

MapReduce

MapReduce ist ein Algorithmus für parallele Verarbeitung in großen Datenbeständen, welcher von vielen NoSQL Datenbankmanagementsystemen zur Verfügung gestellt wird. Er eignet sich besonders zum Abarbeiten von Abfragen auf verteilten Datenbanken.

Arbeitsweise

MapReduce beruht auf einem seit langem bekannten algorithmischem Konzept (divide and conquer), das im Zusammenhang mit Datenbanken in der Regel folgendermaßen angewandt wird:

  • Ein Master Knoten nimmt eine Anfrage entgegen, und teilt sie in Teilaufgaben auf, die er an andere Knoten verteilt. Dabei ist wesentlich, dass die Teilaufgaben voneinander unabhängig gelöst werden können.

    Zum Beispiel nimmt eine Suchmaschine eine Suchanfrage entgegen, und gibt sie an einzelne Server weiter, welche jeweils einen Teil der Daten verwalten.

     
  • In der Map Phase verarbeitet jeder Knoten seine Teilaufgabe, und stellt die Ergebnisse bereit.

    In diesem Beispiel stellt jeder Server die Suchergebnisse aus seinem lokalen Datenbestand bereit.
     
  • In der Reduce Phase werden die einzelnen Teilergebnisse gesammelt, konsolidiert und zu einem Gesamtergebnis weiterverarbeitet. Je nach Problemstellung kann u.U. auch die Reduce Phase parallelisiert werden.

    In dem Beispiel wird dort etwa die Endreihung der gesammelten Suchergebnisse vorgenommen.

Bei geeigneten Problemstellungen und geeigneter Systemarchitektur ist MapReduce ein fast beliebig skalierbarer Algorithmus. Diese Eigenschaft macht ihn bei der Verarbeitung riesiger Datenmengen attraktiv.



Featured Products

Redis logo

Start now with Redis Cloud
Secure, highly available Redis as a serverless, hosted, fully managed cloud service.
Sign up here.

Neo4j logo

Get your free copy of the new O'Reilly book Graph Algorithms with 20+ examples for
machine learning, graph analytics and more.

RavenDB logo

Setup a fully managed RavenDB Cloud Database in minutes. Enjoy hosting, management, backups all in one place.
Grab a Free Instance

Couchbase logo

SQL + JSON + NoSQL.
Power, flexibility & scale.
All open source.
Get started now.

Präsentieren Sie hier Ihr Produkt