MapReduce: Forscher wollen Google-Methode für alle

Ein neues Forschungsprojekt soll das MapReduce-Verfahren, das bei der Analyse großer Datenmengen hilfreich ist, für eine breitere Schicht von Anwendungen verfügbar machen. Initiiert wurde das Vorhaben der Universität Passau von der Deutsche Forschungsgemeinschaft (DFG).
MapReduce wurde ursprünglich von Google entwickelt. "Jedes Mal, wenn ich eine Suchmaschine nutze, bin ich hingerissen von ihrer Fähigkeit, innerhalb von Millisekunden aus einer riesigen Datenmenge Tausende relevante Treffer zu einem bestimmten Schlüsselwort zu finden", sagte Christian Lengauer, Professor an der Universität Passau. Er sieht darin die bisher mächtigste Umsetzung des Rechenschemas MapReduce, an dem seine Gruppe bereits mitgeforscht hat, bevor Suchmaschinen alltägliches Werkzeug wurden.

Das neue Projekt mit dem Titel MapReduceFoundation will die Nutzung des Rechenschemas zukünftigen Anwendern erleichtern. Ein wichtiger Schritt auf diesem Weg ist es, bei der Programmierung mit MapReduce die Typsicherheit zu garantieren. Das bedeutet, dass Fehler beim Datenformat schon während des Programmierens und nicht erst im Betrieb erkannt werden.

MapReduce-SchemaMapReduce-Schema "Obwohl die derzeitig dominierende Programmiersprache Java als typsicher gilt, kann es bei der Programmierung von MapReduce-Berechnungen in Java zu Formatkonflikten kommen, die unerkannt bleiben. Wir entwickeln unter anderem eine Technik, die es ermöglicht, Formatkonflikte vor dem Betrieb zu erkennen, und zwar, ohne den Programmierer zusätzlich zu belasten", so Lengauer.

Die Idee von MapReduce ist im Grunde recht einfach. Anwendungen, die sich dafür eignen, sind weit älter als das Internet. "Ein Beispiel", erklärte Lengauer, "ist die Konkordanz der Bibel, die angibt, wie oft Worte oder Phrasen in einer bestimmten Übersetzung vorkommen."

Zunächst wird jedes Wort im Bibeltext mit einer 1 versehen, die ein einmaliges Vorkommen anzeigt. Dies ist der Map-Schritt. Anschließend werden die Vorkommen gleicher Worte im Reduce-Schritt aufsummiert. Beide Schritte können jeweils auf vielen Prozessoren oder Rechnern hochparallel durchgeführt werden. Durch diese starke Arbeitsteilung steht das Ergebnis viel früher zur Verfügung.

"Die Herausforderung besteht darin, dieses simple Prinzip für riesige Datenmengen und eine Palette von Operationen bereitzustellen, den Prozess auf eine Vielzahl von Prozessoren zu verteilen sowie den nötigen Rechen- und Zeitaufwand zu verringern", führte Lengauer aus.

Bisher setzen vor allem Betreiber großer Datenzentren wie Google, Yahoo und Amazon MapReduce ein. Anwendungspotential besteht nach Ansicht der Forscher aber auch in vielen weiteren Firmen mit einem großen Kundenstamm wie Fluggesellschaften, Banken oder Telefonanbietern, um Kunden-, Kauf-, Konto- oder Verbindungsinformationen unter engen Zeitvorgaben auswerten zu können. Um die Nutzung von MapReduce einem breiteren Publikum zu erleichtern, müssen jedoch die Programmierhürden gesenkt werden, was durch das Projekt MapReduceFoundation realisiert werden soll.
Jetzt einen Kommentar schreiben


Alle Kommentare zu dieser News anzeigen
Jetzt als Amazon Blitzangebot
Ab 06:40 Uhr Iowodo Smartwatch Damen Herren 1.69-Zoll Uhren IP68 Wasserdicht Fitnessuhr Tracker mit Pulsschlag SpO2 Schrittzähler Temperatur Schlafmonitor 25 Trainingsmodi Smart Watch für Android iOSIowodo Smartwatch Damen Herren 1.69-Zoll Uhren IP68 Wasserdicht Fitnessuhr Tracker mit Pulsschlag SpO2 Schrittzähler Temperatur Schlafmonitor 25 Trainingsmodi Smart Watch für Android iOS
Original Amazon-Preis
26,99
Im Preisvergleich ab
?
Blitzangebot-Preis
22,09
Ersparnis zu Amazon 18% oder 4,90
Folgt uns auf Twitter
WinFuture bei Twitter
Interessante Artikel & Testberichte
Tipp einsenden
❤ WinFuture unterstützen
Sie wollen online einkaufen? Dann nutzen Sie bitte einen der folgenden Links, um WinFuture zu unterstützen: Vielen Dank!