Facebook: Speicher voll - aber Umzug geglückt

Da die zahlreichen Facebook-Nutzer immer größere Datenmengen generieren, lief der verfügbare Speicherplatz in den Storage-Systemen des Social Networks im Frühjahr langsam aber sicher voll. Nun konnten die Betreiber allerdings einen erfolgreichen Umzug in ein größeres Datenzentrum vermelden. Zur Speicherung der zahlreichen Fotos, Links und Nachrichten, die Facebook-Nutzer untereinander austauschen, setzt man bei dem Social Network auf Hadoop. Dabei handelt es sich um ein komplettes Open Source-Framework für den Umgang mit großen Datenmengen. Bereits im vergangenen Jahr wurde Facebook als Betreiber des bisher größten Hadoop-Clusters weltweit benannt.

20 Petabyte hielt das Unternehmen damals vor - Tendenz: Schnell steigend. Wie Facebook-Mitarbeiter Paul Yang ausführte, war der Datenbestand bis zum März dieses Jahres auf 30 Petabyte angewachsen, was der 3.000-fachen Menge an Informationen entspricht, die in der Library of Congress, der vom Bücherbestand her größten Bibliothek der Welt, vorgehalten werden. Zu diesem Zeitpunkt war es nicht mehr möglich, noch mehr Storage-Systeme ins Datenzentrum zu stellen, und der Umzug in eine größere Anlage musste durchgeführt werden, so Yang.

Facebook-Techniker in ihrem 'War Room' Die Facebook-Techniker mussten im Vorfeld verschiedene Strategien abwägen, wie man dabei vorgehen sollte. Der einfachste Weg wäre es sicher gewesen, die vorhandenen Storage-Systeme einfach abzuschalten und schnellstmöglich ins neue Datenzentrum zu transportieren. Selbst bei aller Eile hätte dies aber eine viel zu lange Auszeit für das Social Network bedeutet.

Eine andere Option war die komplette Einrichtung des neuen Datenzentrums und die Spiegelung des vorhandenen Speicher-Systems. Wie Yang ausführte, ist dies aber eine ungleich komplexere Aufgabe, da der Abgleich von 30 Petabyte einige Zeit dauert und sich im gesamten System auch ständig an allen möglichen Stellen neue Änderungen ergaben.

Trotz der Schwierigkeiten entschied man sich für diese Option und wickelte sie in zwei Schritten ab. Zuerst wurde der größte Teil der Daten direkt in das neue Datenzentrum kopiert. Anschließend sorgte ein speziell entwickeltes System dafür, dass die zahlreichen kleineren Änderungen - die einen vergleichsweise kleinen Teil des gesamten Datenbestandes ausmachten - abgeglichen wurden. Als dies erledigt war, konnten schließlich die DNS-Einträge auf das neue Datenzentrum umgeleitet werden.

Yangs Fazit des Umzuges: Das Projekt sei nicht nur erfolgreich abgeschlossen worden, sondern auch sehr lehrreich gewesen, was die Replikation eines Speicher-Clusters in dieser Größenordnung angeht. Ausgehend davon dürfte man sich bereits jetzt Gedanken darüber machen, wie das neue System so weiterentwickelt wird, dass die nächste notwendig werdende Erweiterung des Speicherplatzes leichter und schneller über die Bühne geht.

WinFuture.de bei Facebook: Facebook.com/WinFuture