DB-EnginesInfluxDB: Focus on building software with an easy-to-use serverless, scalable time series platformEnglish
Deutsch
Informationen zu relationalen und NoSQL DatenbankmanagementsystemenEin Service von solid IT

Enzyklopädie > Artikel

MapReduce

MapReduce ist ein Algorithmus für parallele Verarbeitung in großen Datenbeständen, welcher von vielen NoSQL Datenbankmanagementsystemen zur Verfügung gestellt wird. Er eignet sich besonders zum Abarbeiten von Abfragen auf verteilten Datenbanken.

Arbeitsweise

MapReduce beruht auf einem seit langem bekannten algorithmischem Konzept (divide and conquer), das im Zusammenhang mit Datenbanken in der Regel folgendermaßen angewandt wird:

  • Ein Master Knoten nimmt eine Anfrage entgegen, und teilt sie in Teilaufgaben auf, die er an andere Knoten verteilt. Dabei ist wesentlich, dass die Teilaufgaben voneinander unabhängig gelöst werden können.

    Zum Beispiel nimmt eine Suchmaschine eine Suchanfrage entgegen, und gibt sie an einzelne Server weiter, welche jeweils einen Teil der Daten verwalten.

     
  • In der Map Phase verarbeitet jeder Knoten seine Teilaufgabe, und stellt die Ergebnisse bereit.

    In diesem Beispiel stellt jeder Server die Suchergebnisse aus seinem lokalen Datenbestand bereit.
     
  • In der Reduce Phase werden die einzelnen Teilergebnisse gesammelt, konsolidiert und zu einem Gesamtergebnis weiterverarbeitet. Je nach Problemstellung kann u.U. auch die Reduce Phase parallelisiert werden.

    In dem Beispiel wird dort etwa die Endreihung der gesammelten Suchergebnisse vorgenommen.

Bei geeigneten Problemstellungen und geeigneter Systemarchitektur ist MapReduce ein fast beliebig skalierbarer Algorithmus. Diese Eigenschaft macht ihn bei der Verarbeitung riesiger Datenmengen attraktiv.



Featured Products

Datastax Astra logo

Bring all your data to Generative AI applications with vector search enabled by the most scalable
vector database available.
Try for Free

AllegroGraph logo

Graph Database Leader for AI Knowledge Graph Applications - The Most Secure Graph Database Available.
Free Download

Milvus logo

The open source vector database for GenAI.
Try Managed Milvus Free

Ontotext logo

GraphDB allows you to link diverse data, index it for semantic search and enrich it via text analysis to build big knowledge graphs. Get it free.

Neo4j logo

See for yourself how a graph database can make your life easier.
Use Neo4j online for free.

Präsentieren Sie hier Ihr Produkt