MapReduce: Forscher wollen Google-Methode für alle

Ein neues Forschungsprojekt soll das MapReduce-Verfahren, das bei der Analyse großer Datenmengen hilfreich ist, für eine breitere Schicht von Anwendungen verfügbar machen. Initiiert wurde das Vorhaben der Universität Passau von der Deutsche Forschungsgemeinschaft (DFG). MapReduce wurde ursprünglich von Google entwickelt. "Jedes Mal, wenn ich eine Suchmaschine nutze, bin ich hingerissen von ihrer Fähigkeit, innerhalb von Millisekunden aus einer riesigen Datenmenge Tausende relevante Treffer zu einem bestimmten Schlüsselwort zu finden", sagte Christian Lengauer, Professor an der Universität Passau. Er sieht darin die bisher mächtigste Umsetzung des Rechenschemas MapReduce, an dem seine Gruppe bereits mitgeforscht hat, bevor Suchmaschinen alltägliches Werkzeug wurden.

Das neue Projekt mit dem Titel MapReduceFoundation will die Nutzung des Rechenschemas zukünftigen Anwendern erleichtern. Ein wichtiger Schritt auf diesem Weg ist es, bei der Programmierung mit MapReduce die Typsicherheit zu garantieren. Das bedeutet, dass Fehler beim Datenformat schon während des Programmierens und nicht erst im Betrieb erkannt werden.

MapReduce-SchemaMapReduce-Schema "Obwohl die derzeitig dominierende Programmiersprache Java als typsicher gilt, kann es bei der Programmierung von MapReduce-Berechnungen in Java zu Formatkonflikten kommen, die unerkannt bleiben. Wir entwickeln unter anderem eine Technik, die es ermöglicht, Formatkonflikte vor dem Betrieb zu erkennen, und zwar, ohne den Programmierer zusätzlich zu belasten", so Lengauer.

Die Idee von MapReduce ist im Grunde recht einfach. Anwendungen, die sich dafür eignen, sind weit älter als das Internet. "Ein Beispiel", erklärte Lengauer, "ist die Konkordanz der Bibel, die angibt, wie oft Worte oder Phrasen in einer bestimmten Übersetzung vorkommen."

Zunächst wird jedes Wort im Bibeltext mit einer 1 versehen, die ein einmaliges Vorkommen anzeigt. Dies ist der Map-Schritt. Anschließend werden die Vorkommen gleicher Worte im Reduce-Schritt aufsummiert. Beide Schritte können jeweils auf vielen Prozessoren oder Rechnern hochparallel durchgeführt werden. Durch diese starke Arbeitsteilung steht das Ergebnis viel früher zur Verfügung.

"Die Herausforderung besteht darin, dieses simple Prinzip für riesige Datenmengen und eine Palette von Operationen bereitzustellen, den Prozess auf eine Vielzahl von Prozessoren zu verteilen sowie den nötigen Rechen- und Zeitaufwand zu verringern", führte Lengauer aus.

Bisher setzen vor allem Betreiber großer Datenzentren wie Google, Yahoo und Amazon MapReduce ein. Anwendungspotential besteht nach Ansicht der Forscher aber auch in vielen weiteren Firmen mit einem großen Kundenstamm wie Fluggesellschaften, Banken oder Telefonanbietern, um Kunden-, Kauf-, Konto- oder Verbindungsinformationen unter engen Zeitvorgaben auswerten zu können. Um die Nutzung von MapReduce einem breiteren Publikum zu erleichtern, müssen jedoch die Programmierhürden gesenkt werden, was durch das Projekt MapReduceFoundation realisiert werden soll. Programmierung, Schema, MapReduce Programmierung, Schema, MapReduce
Diese Nachricht empfehlen
Kommentieren12
Jetzt einen Kommentar schreiben


Alle Kommentare zu dieser News anzeigen
Kommentar abgeben Netiquette beachten!

Jetzt als Amazon Blitzangebot

Ab 00:00 Uhr WISO steuer:Sparbuch 2017 (für Steuerjahr 2016 / Frustfreie Verpackung)
WISO steuer:Sparbuch 2017 (für Steuerjahr 2016 / Frustfreie Verpackung)
Original Amazon-Preis
23,99
Im Preisvergleich ab
?
Blitzangebot-Preis
19,98
Ersparnis zu Amazon 17% oder 4,01
Nur bei Amazon erhältlich

Video-Empfehlungen

WinFuture Mobil

WinFuture.mbo QR-Code Auch Unterwegs bestens informiert!
Nachrichten und Kommentare auf
dem Smartphone lesen.

Folgt uns auf Twitter

WinFuture bei Twitter

Interessante Artikel & Testberichte

Tipp einsenden