Microsoft Research stellt Rekord beim MinuteSort auf

Ein Team von Microsoft Research hat einen neuen Rekord beim so genannten "MinuteSort"-Test aufgestellt. Dabei geht es um die Herausforderung, eine möglichst umfangreiche Datenmenge binnen nur einer Minute zu sortieren. Der bisherige Rekordhalter wurde nun gleich um die dreifache Menge übertroffen. Der Bestwert hatte allerdings auch schon seit dem Jahr 2009 Bestand und wurde damals von einem Team von Yahoo aufgestellt. Eine Gruppe von Microsoft-Forschern um Jeremy Elson konnten nun ein besseres Ergebnis vorlegen. Insgesamt gelang es ihnen, in 60 Sekunden ganze 1.401 Gigabyte an Daten zu sortieren.

Sie bewältigen aber nicht nur eine deutlich größere Datenmenge als das Vorgänger-Team, sondern benötigten mit 1.033 Festplatten in 250 Rechnern auch nur ein sechstel der Hardware-Ressourcen, die vom letzten Rekordhalter aufgeboten wurden. Ihr Verfahren soll nun auf der SIGMOD/PODS Conference, einem internationalen Treffen von Datenbank-Forschern und Entwicklern, dass in dieser Woche in Scottsdale, Arizona, stattfindet, präsentiert werden.

Für gewöhnlich werden für solche Aufgaben, wie sie beim MinuteSort-Test anstehen, Lösungen wie Hadoop und MapReduce eingesetzt. Die Microsoft-Forscher haben mit "Flat Datacenter Storage" (FDS) aber einen eigenständigen Ansatz entwickelt. Dieses soll vor allem in Bereichen besser greifen, in denen die traditionellen Methoden ihre Probleme haben - wie etwa bei der Zusammenführung zweier großer Datenbestände.

Die Microsoft-Forscher arbeiteten heraus, dass eine höhere Bandbreite bei der Vernetzung der beteiligten Systeme dazu genutzt werden kann, einfachere Sortierverfahren zu wählen und diese dann lieber den gesamten Datenbestand überblicken zu lassen.

Die Entwicklung von FDS ist dabei bei weitem nicht nur ein akademisches Projekt. Das Team von Microsoft Research arbeitet den Angaben zufolge bereits eng mit der Suchmaschinensparte Bing zusammen, um deren Suchverfahren zu beschleunigen. Aber auch in andere Microsoft-Technologien soll das neue Verfahren Einzug halten.