Rekord: Forscher sortieren 1 Terabyte in 1 Minute

Forschung & Wissenschaft Wissenschaftlern der University of California in San Diego ist es gelungen, einen neuen Rekord bei der Daten-Sortierung aufzustellen: Sie brachten über 1 Terabyte Daten in einer Minute in die richtige Ordnung. mehr...

Diese Nachricht vollständig anzeigen.

Jetzt einen Kommentar schreiben
 
Gut, die können dann gerne bei meinen MP3 weitermachen. Die müssen schon seit Ewigkeiten nach meinen Kriterien richtig neu sortiert werden. Scheiss Faulheit
 
@Slurp: Probiers mit iTunes - macht alles automatisch für dich.
 
@max.: Du empfiehlst nicht wirklich diese Buggy Spyware?
 
@Gorxx: Doch, hast richtig gelesen. Buggy - war sie nie bei mir. Und Spy? Win-7-Firewall Controll unterbindet das meiste. Ich sehe kein Problem- du etwa?
 
@max.: Lass Dir deine letzte Aussage mal ganz langsam auf der Zunge vergehen, vielleicht verstehst du dann wo da etwas nicht stimmt. Oder anders gesagt, schon mal mit Itunes Podcast abonniert? Gleichzeitig versucht 3 Sachen in iTunes zu machen (z.B. Podcast download, Playlist zusammenstellen und iPod synchronisieren). Offensichtlich nein.
 
on Topic: Die große Frage ist doch eher, in wie weit lassen sich die bei diesem Rekord geschaffenen Algorithmen auf andere Anwendungsfällen anwenden?
 
@Slurp: Zune kannst mit 1 Klick deine Alben richtig benennen usw ;)
 
@Edelasos: Ich hätte dazu erwähnen sollen, dass ich aufgrund meiner Arbeit als DJ alle MP3 speziell sortiert habe: nach Musikstil, Künstler und Erscheinungsmonat/-jahr. Und da ich ne Großzahl an Promo-MP3 besitze, die nicht alle ID3-Tags besitzen, kann man Automatisierungen meist leider vergessen.
 
@Edelasos: Guter Tipp, nutze die Zune Software auch schon seit einer Ewigkeit. Ist definitiv einer meiner Persönliches Favos ;)
 
@Slurp: Haben die so einen Algorythmus auch für Messi Wohnungen ?
 
@Slurp: Hrm... du hast nicht verstanden, um was es geht - oder sollte das witzig sein? :/
 
Ich kann ein Terabyte in drei Sekunde sortieren. Auswählen - Maus bewegen - Verschieben :D
 
@Illidan: das nennt sich verschieben, nicht sortieren. aber es ist der mangelnde informationsgehalt in der news der solche kommentare irgendwo rechtfertigen kann ...
 
Hab ein System, das mir meine 2 TB Daten in nur 5 Sekunden in die richtige Ordnung bringt. Scheint aber wohl noch so eine Art Geheimtipp zu sein: Explorer.exe
 
@legalize_IT_stuff: Das geht aber nur bis XP, die Explorer die danach kamen schaffen das leider nie in der Geschwindigkeit. Aber hey, das ist Fortschritt. ;)
 
@Johnny Cache: Ja, XP legt dann den "ich friere mal das Fenster ein" Modus ein um dann nach ca. 10 Minuten nichts tun zu vermelden dass irgendwas nicht stimmt...während dem Vorgang kann man nicht mehr richtig arbeiten da der Explorer gleich mit der Taskleiste einfriert...ja, XP ist genial...
 
@legalize_IT_stuff: du weis hoffentlich schon das dateisysteme ein einziger Sauhaufen mit Index sind. Das ist (fast) nichts geordnet. Die einzelnen Dateien liegen in Fragmenten auf deiner Platte. Würdest du jetzt (echt - also keine optimierten halben) defragmentieren, dann würde das ne ganz schöne weile dauern! Und mit sicherheit länger als ein paar Minuten
 
@wischi: In der MFT-Tabelle einer partition sind alle dateien indiziert - kann z.B. via "Search Everything" angezapft werden. Suchen dauern dann nur noch Sekundenbruchteile.. Aber das war ja nich so der Kerninhalt meines Posts... ich seh ja ein, dass der n bisschen unwitzig war : )
 
Schlaue Kommentare hier. Ich wette die Meisten haben sich noch nie mit Sortieralgorithmen auseinandergesetzt und sollten lieber die Klappe halten. 1TB Daten in solch einer Geschwindigkeit ist nicht schlecht! Mir fällt nur auf: Wenn die Daten schon sortiert sind, schafft man es im Best Case vielleicht auch in 1 Sekunde? ;) Weiß jemand, wie so ein Rekord-Versuch aufgebaut ist?
 
@sibbl: Nein habe mich nonciht damit auseinandergesetzt, sollte ich aber einmal :) klingt wirklich noch Interessant
 
@sibbl: Sagen wir mal so... es wird weder BubbleSort noch diese "Sortieren durch Minimumsuche" gewesen sein, was quasi der erste Sortieralgorithmus ist, den einen "EDV-bewanderte" Lehrer so um die Ohren hauen. :)
 
@sibbl: Aha, und das schreibst du weil du Ahnung hast oder ebenfalls nur irgendetwas schreiben möchtest? Ob diese Leistung tatsächlich Respekt gebührt, ist weder aus der WF-News noch aus der Quelle (vorbildlich angegeben :) ersichtlich, weil keinerlei Information bekannt ist welche Datenbasis und Datenbanken genutzt wurden. Es macht schon einen kleinen Unterschied, ob dafür nur ein Attribut vom Datentyp int oder mehre vom Typ string sortiert werden mussten... Ebenso ist die Frage offen ob und wie viele Indizes eingesetzt werden durften.
 
@knoxyz: Die Frage ist, ob das überhaupt einen Unterschied macht. 1 TB an Daten sind nunmal 1 TB an Daten. Entweder sortierst du viele ints (16bit? 32bit? 64bit?) oder du sortierst wenige Strings ... macht das irgendeinen Unterschied? Wenn ja kannst du ggf. mal das O schätzen?
 
@sibbl: ich geh mal davon aus, dass hier der Wert einen average case betrachtet. Toll wäre es wenn in der News Infos stehen würden zur Laufzeit im Best und Worst Szenario ( n*log(n) usw...)
 
Einmal gut schütteln!
 
@Sighol: "...Sie müssen erst den Nippel von der Schnalle ziehn.." Achnee, warte... :D
 
@k4rsten: Muahaha
 
@k4rsten: Das wäre mal allerdings sehr lustig. Da sitzen mehrere hochqualifizierte Wissenschaftler an einem Projekt, was sich zur Aufgabe gemacht hat einen schnelleren Sortieralgorithmus zu entwerfen, als es bisher möglich ist. Sie entwickeln DEN Algorithmus, verkaufen ihn für viel Geld und letzendlich stellt sich dann heraus, dass es BubbleSort ist.

Moment mal. Da gibt es doch so ein Unternehmen, was so ähnlich verfährt :-).
 
@k4rsten: also von mir ein (+) ich finds witzig
 
@k4rsten: Nein, es war Bogosort. Sie hatten einfach viel Glück.
 
@lawlomatic: Bogosort ist einfach mal die eleganteste Lösung des Ganzen :D
 
@k4rsten: Sorry, Tastatur prellt. Zum Thema: Kann es sein (ich schließe ein, das ich diesbezüglich absoluten Müll schreibe), das verschiedene Sortierverfahren eingesetzt worden sind? Nicht parallel über den selben Datensatz, sondern erst mit Verfahren A vorsortieren, dann Unterprozesse (Treads), die einen oder mehrere Teilbereiche als Unterprozesse (oder Treads) mit einem Verfahren B oder C, je nach Eignung, sortiert worden ist? Ich kann mir das durchaus theoretisch vorstellen.
 
@Davediddly: Ich kenne auch nur die Standard-Sortierverfahren, aber vermutlich wird es so laufen, wie du schon vermutest. Warum du allerdings ein Minus bekommen hast, verstehe ich nicht. Du stellst ja nichtmal den Anspruch auf Richtigkeit ;-)
 
Mich würd emal interessieren, wie die Aufwandsfunktion für das angewandte Sortierverfahren aussieht. Die besten Sortieralgorithmen benötigen i.d.R. bestenfalls einen Aufwand von n log n. Beim dort eingesetzten Verfahren müsste die Ordnungsfunktion ja fast linear oder annähernd konstant skalieren.
 
@perfectplayer: Das würde mich allerdings auch mal interessieren. Irgendwo muss doch die Grenze sein. Kann man nicht sogar beweisen, dass sowas nicht schneller als n*log(n) geht?
 
@gurke1509: das problem ist das in den news zu wenige fakten und zu viel bla bla steht. Welche Rechner/Server waren das. Welche Art von Daten (sortieren von Zahlen?) waren die Zahlen zufällig oder nach einer bestimmten Verteilung. Sind die Zeitangaben durchschnitt oder best/worst case...
 
@gurke1509: Man kann es derzeit tatäschlich nicht beweisen, aber eben auch nicht das Gegenteil, dass es geht. Es gibt derzeit zwar die Möglichkeit verschiedene Suchalgorithmen zu kombinieren (HeapSort + InsetionSort z.B.) aber besser als n log n wirds nicht. Wer das schafft, dürfte Berühmt werden :D
 
@gurke1509: Jein. Eigentlich kann ein Sortierverfahren nicht besser als n*log(n) sein. Aber Radixsort hat zum Beispiel einen linearen Aufwand (O(n)) aber ist trotzdem nur bei einem relativ kleinen Schluesselraum effizient.
 
Und wie groß waren die einzelnen Datensätze, die sortiert wurden? 1TB Daten mit einzelnen Datensätzen von 1GB lassen sich sicher noch schneller sortieren.
 
@iffi: Das wollet ich gerade schreiben. Ich kann auch Millionen Dateien in eine Zip-Datei packen bis die 1TB groß ist und dann sage: Laufzeit = 1sec.
Irgendwie ist die News schlecht Recherchiert. Auch das mit der Datenbank ist irgendwie seltsam und wenig Aussagekräftig.
Es fehlen hier doch einige Angaben, damit das sinnvoll erscheint.
Okay, der Quelle sind auch nicht wirklich viele Infos zu entlocken, naja...
 
Ob die den Quicksort auch per Trockentest so schnell hinbekommen? ;)
 
Ein TB in einer Minute sortieren? Dazu muss man doch kein forscher sein. Ich nehm die externe Platte und tu sie zu den anderen ins Regal. Schaff ich unter einer Minute:-)
 
Die Überschrift hat ja richtig Bild-Niveau :-( Ungefähr so sinnvoll wie "Weltklasse-Sprinter läuft 35 Straßenzüge in unter 10 Minuten".
Wenn man schon von sort-performance spricht, sollte man vll. doch die Anzahl der Datensätze in den Mittelpunkt stellen und nicht den Speicherverbrauch der Gesamtdatenmenge :-p
Wenn die 1TB aus 5 BLOBs bestehen ist die Leistung nämlich gar nicht mehr so beeindruckend...
 
1 Terabyte Daten ? oder 2 Dateien á 500 Gbyte in die richtige reihenfolge sortiert.
Kommentar abgeben Netiquette beachten!

Video-Empfehlungen

WinFuture Mobil

WinFuture.mbo QR-Code Auch Unterwegs bestens informiert!
Nachrichten und Kommentare auf
dem Smartphone lesen.

Folgt uns auf Twitter

WinFuture bei Twitter

Interessante Artikel & Testberichte

WinFuture wird gehostet von Artfiles