MapReduce: Forscher wollen Google-Methode für alle

Ein neues Forschungsprojekt soll das MapReduce-Verfahren, das bei der Analyse großer Datenmengen hilfreich ist, für eine breitere Schicht von Anwendungen verfügbar machen. Initiiert wurde das Vorhaben der Universität Passau von der Deutsche ... mehr... Programmierung, Schema, MapReduce Programmierung, Schema, MapReduce

Diese Nachricht vollständig anzeigen.

Jetzt einen Kommentar schreiben
 
Inwiefern kommt das Verfahren bei Google-Suchen zum Tragen? Wenn ich "Katze" eingebe, will ich nicht wissen, wie oft das Wort Katze irgendwo vorkommt, sondern _wo_ es vorkommt. Oder ich versteh das oben nicht :S
 
@NikiLaus2005: Im Grunde genommen geht es darum, den riesigen Suchindex in winzige Stücke zu zerteilen und diese parallel zu durchsuchen (Map-Prozess). Die Zwischenergebnisse werden gespeichert. Danach folgt der Reduce-Prozess - quasi die Zusammenfassung der Ergebnisse ("zusammenzählen"). Die Seite mit dem höchsten Ergebnis landet dann eben auf Platz 1 der Ergebnisseite und so weiter... Durch MapReduce ist ein Server auch immer nur für einen winzigen Teil des Indexes verantwortlich und kann diesen dementsprechend schnell durchsuchen.
 
@zatarc: Achso. Das wird bei jedem Suchvorgang ausgeführt? Ok.
 
@NikiLaus2005: Theoretisch ja. Praktisch wird Google wohl eine Art Cache davorhängen um die häufigsten Suchanfragen abzufangen. Aber selbst ohne Cache sind die Suchanfragen bei Google extrem schnell - das ist ja das beeindruckende. Mit einer einzelnen Suchanfrage beschäftigt man zich tausende Server gleichzeitig, so dass die Ergebnisse innerhalb von Millisekunden zusammengestellt sind.
 
Wo ist der Unterschied zu einer simplen Pivottabelle, die die Anzahl der abgefragten Merkmale ausgibt?
 
@twinky: Die Möglichkeit die Daten in beliebig kleine Teile zu zerlegen und diese parallel zu bearbeiten.
 
@zatarc: Ah, danke :)
 
Was ist jetzt das Ziel dieses Forschungsprojektes? MapReduce Frameworks gibt es doch zuhauf...?
 
@zatarc: "The goal of project MapReduceFoundation is to make MapReduce type-safe in an imperative setting and more efficient in a functional setting (where type safety is a given)."
 
@[Elite-|-Killer]: Aha ok. Und sowas deckt noch kein Framework ab? ... Hab mich damit noch zu wenig beschäftigt.
 
Man merkt, dass der Mann Akademiker ist. Java mag im Uni-Umfeld dominierend sein, aber in der Wirtschaft ist es das wohl kaum.
 
@TiKu: Ein weit verbreitetes Vorurteil. Nahezu unsere (große Versicherung) gesamte Eigenentwicklung ist in Java geschrieben und wir reden hier von mehreren Millionen Codezeilen (ohne Kommentare). Auch ein Großteil der Fremdsoftware ist in Java geschrieben. Der Rest ist .NET. Bei Neuentwicklungen sind Java / .NET die führenden Ökosysteme in der Wirtschaft - gerade in Großunternehmen. Die Altlasten dagegen sind meist in klassischen kaufmännischen Sprachen von IBM umgesetzt (leider) ... bei uns PL/1 oder RPG. Cobol und Fortran gesellen sich auch oft dazu. C/C++ findet man dagegen kaum in kaufmännischen Anwendungen und wenn dann nur bei Fremdsoftware. Natürlich gibt dann noch hier und da kleine Anwendungen wo wirklich mal jede Sprache verwendet wird ... aber im Großen und Ganzen konzentriert sich alles auf Java und .NET.
Kommentar abgeben Netiquette beachten!

Video-Empfehlungen