Sun steckt 150 Mrd. Webseiten in einen Container

Der IT-Konzern Sun Microsystems verpackt die Geschichte des World Wide Web in einen einzigen Container. Dieser beherbergt nun die Wayback Machine des Internet Archive. Seit 1997 fertigt das Projekt im Durchschnitt alle zwei Monate einen Schnappschuss fast aller öffentlich zugänglichen Webseiten an. Inzwischen sind bereits 151 Milliarden Seiten in der Datenbank gespeichert. Die benötigte Speicherkapazität liegt so bei rund 2 Petabyte.


Das Sun MD des Internet Archive
Da die Datenmenge stetig zunimmt - aktuell um etwa 100 Terabyte im Monat -, wurde ein neues Datenzentrum benötigt. Dieses ist nun in Form eines Sun Modular Datacenter (Sun MD) fertig installiert. Beim Sun MD ist die gesamte Technik in einem üblichen Waren-Container untergebracht. Einer von ihnen steht nun auf dem Firmengelände Suns und beherbergt die Datenbank des Internet Archive.

Bisher bestand das Datenzentrum des Projektes aus rund 800 herkömmlichen Linux-Servern in einem Cluster. Jetzt ist die Datenbank auf 63 Sun Fire x4500-Servern in acht Racks untergebracht. Die Rechner sind jeweils mit Dual Core- oder Quad Core-Prozessoren ausgestattet und arbeiten mit dem ZFS-Dateisystem.

In dem Sun MD steht dem Internet Archive nun eine Festplattenkapazität von 4,5 Petabyte zur Verfügung. "Die vielleicht größte einzelne Datenbank der Welt ist nun in einem normalen Handels-Container untergebracht", sagte Brewster Kahle, Mitbegründer des Internet Archive.