Datenkompression: Neuer Rekord aufgestellt und Preis gewonnen

Ein Entwickler aus New York hat einen neuen Rekord in der Datenkompression aufgestellt. Damit gewann er den sogenannten "Hutter-Preis für verlustfreie Komprimierung menschlichen Wissens", bei dem es darum geht, einen Auszug aus der Wikipedia kräftig einzustampfen.

Schrumpft die Wikipedia

Der neue Preisträger ist Saurabh Kumar, wie der Stifter des Preises mitteilte. Dabei handelt es sich um einen Entwickler, der in seinem normalen Berufsleben für Hochfrequenzhandels- und Finanzdienstleistungsfonds arbeitet. Insofern ist er den Umgang mit großen Datenmengen durchaus gewohnt, was ihm einige Vorteile bei der Arbeit an besseren Kompressions-Algorithmen brachte.

Beim standardisierten Hutter-Preis geht es darum, einen 1 Milliarde Byte (1 Gigabyte) großen Auszug aus der Online-Enzyklopädie Wikipedia möglichst stark zu komprimieren - natürlich in einer Form, mit der sich das Original danach verlustfrei wiederherstellen lässt. Kumar ist es dabei gelungen, den bisherigen Rekordhalter mit einem Ergebnis zu schlagen, das noch einmal um 1,04 Prozent kleiner war.

11,41 Prozent!

Konkret schaffte es der Kompressions-Algorithmus des Entwicklers, den originalen Datensatz auf eine Größe von gerade einmal 114.156.155 Byte, also rund 114 Megabyte, zu schrumpfen. Damit blieb nur noch 11,41 Prozent der ursprünglichen Größe übrig. Da die Belohnung bei dem genannten Preis von der Stärke der erreichten Kompression abhängig ist, gibt es keinen runden Betrag: 5187 Euro Preisgeld kommen dem Entwickler nun zu.

Die Datenkompression hat in Zeiten gigantischer Kapazitäten auf Datenspeichern und schnellen Übertragungsgeschwindigkeiten scheinbar weniger Nutzen als noch vor einigen Jahren. Allerdings ist das ein Fehlschluss. Denn es geht hier nicht nur um die direkten Anwendungsfälle im Alltag. Vielmehr bietet die Erforschung der Algorithmen auch tiefergehende Erkenntnisse in der Arbeit mit Datenstrukturen, die für die Verbesserung der KI-Entwicklung heute gefragter sind, denn je.


Siehe auch: