MapReduce: Forscher wollen Google-Methode für alle
Das neue Projekt mit dem Titel MapReduceFoundation will die Nutzung des Rechenschemas zukünftigen Anwendern erleichtern. Ein wichtiger Schritt auf diesem Weg ist es, bei der Programmierung mit MapReduce die Typsicherheit zu garantieren. Das bedeutet, dass Fehler beim Datenformat schon während des Programmierens und nicht erst im Betrieb erkannt werden.
MapReduce-Schema "Obwohl die derzeitig dominierende Programmiersprache Java als typsicher gilt, kann es bei der Programmierung von MapReduce-Berechnungen in Java zu Formatkonflikten kommen, die unerkannt bleiben. Wir entwickeln unter anderem eine Technik, die es ermöglicht, Formatkonflikte vor dem Betrieb zu erkennen, und zwar, ohne den Programmierer zusätzlich zu belasten", so Lengauer.
Die Idee von MapReduce ist im Grunde recht einfach. Anwendungen, die sich dafür eignen, sind weit älter als das Internet. "Ein Beispiel", erklärte Lengauer, "ist die Konkordanz der Bibel, die angibt, wie oft Worte oder Phrasen in einer bestimmten Übersetzung vorkommen."
Zunächst wird jedes Wort im Bibeltext mit einer 1 versehen, die ein einmaliges Vorkommen anzeigt. Dies ist der Map-Schritt. Anschließend werden die Vorkommen gleicher Worte im Reduce-Schritt aufsummiert. Beide Schritte können jeweils auf vielen Prozessoren oder Rechnern hochparallel durchgeführt werden. Durch diese starke Arbeitsteilung steht das Ergebnis viel früher zur Verfügung.
"Die Herausforderung besteht darin, dieses simple Prinzip für riesige Datenmengen und eine Palette von Operationen bereitzustellen, den Prozess auf eine Vielzahl von Prozessoren zu verteilen sowie den nötigen Rechen- und Zeitaufwand zu verringern", führte Lengauer aus.
Bisher setzen vor allem Betreiber großer Datenzentren wie Google, Yahoo und Amazon MapReduce ein. Anwendungspotential besteht nach Ansicht der Forscher aber auch in vielen weiteren Firmen mit einem großen Kundenstamm wie Fluggesellschaften, Banken oder Telefonanbietern, um Kunden-, Kauf-, Konto- oder Verbindungsinformationen unter engen Zeitvorgaben auswerten zu können. Um die Nutzung von MapReduce einem breiteren Publikum zu erleichtern, müssen jedoch die Programmierhürden gesenkt werden, was durch das Projekt MapReduceFoundation realisiert werden soll.
Thema:
Beliebte Downloads
Jetzt als Amazon Blitzangebot
Ab 06:40 Uhr Iowodo Smartwatch Damen Herren 1.69-Zoll Uhren IP68 Wasserdicht Fitnessuhr Tracker mit Pulsschlag SpO2 Schrittzähler Temperatur Schlafmonitor 25 Trainingsmodi Smart Watch für Android iOS
Original Amazon-Preis
26,99 €
Blitzangebot-Preis
22,09 €
Ersparnis zu Amazon 18% oder 4,90 €
Neue Nachrichten
Beliebte Nachrichten
Videos
Christian Kahle
Redakteur bei WinFuture
Ich empfehle ...
❤ WinFuture unterstützen
Sie wollen online einkaufen?
Dann nutzen Sie bitte einen der folgenden Links,
um WinFuture zu unterstützen:
Vielen Dank!
Alle Kommentare zu dieser News anzeigen