Facebook: Speicher voll - aber Umzug geglückt

Server, Datenzentrum, AT&T Bildquelle: David Jones / Flickr
Da die zahlreichen Facebook-Nutzer immer größere Datenmengen generieren, lief der verfügbare Speicherplatz in den Storage-Systemen des Social Networks im Frühjahr langsam aber sicher voll. Nun konnten die Betreiber allerdings einen erfolgreichen Umzug in ein größeres Datenzentrum vermelden.
Zur Speicherung der zahlreichen Fotos, Links und Nachrichten, die Facebook-Nutzer untereinander austauschen, setzt man bei dem Social Network auf Hadoop. Dabei handelt es sich um ein komplettes Open Source-Framework für den Umgang mit großen Datenmengen. Bereits im vergangenen Jahr wurde Facebook als Betreiber des bisher größten Hadoop-Clusters weltweit benannt.

20 Petabyte hielt das Unternehmen damals vor - Tendenz: Schnell steigend. Wie Facebook-Mitarbeiter Paul Yang ausführte, war der Datenbestand bis zum März dieses Jahres auf 30 Petabyte angewachsen, was der 3.000-fachen Menge an Informationen entspricht, die in der Library of Congress, der vom Bücherbestand her größten Bibliothek der Welt, vorgehalten werden. Zu diesem Zeitpunkt war es nicht mehr möglich, noch mehr Storage-Systeme ins Datenzentrum zu stellen, und der Umzug in eine größere Anlage musste durchgeführt werden, so Yang.

Facebook: WarroomFacebook-Techniker in ihrem 'War Room' Die Facebook-Techniker mussten im Vorfeld verschiedene Strategien abwägen, wie man dabei vorgehen sollte. Der einfachste Weg wäre es sicher gewesen, die vorhandenen Storage-Systeme einfach abzuschalten und schnellstmöglich ins neue Datenzentrum zu transportieren. Selbst bei aller Eile hätte dies aber eine viel zu lange Auszeit für das Social Network bedeutet.

Eine andere Option war die komplette Einrichtung des neuen Datenzentrums und die Spiegelung des vorhandenen Speicher-Systems. Wie Yang ausführte, ist dies aber eine ungleich komplexere Aufgabe, da der Abgleich von 30 Petabyte einige Zeit dauert und sich im gesamten System auch ständig an allen möglichen Stellen neue Änderungen ergaben.

Trotz der Schwierigkeiten entschied man sich für diese Option und wickelte sie in zwei Schritten ab. Zuerst wurde der größte Teil der Daten direkt in das neue Datenzentrum kopiert. Anschließend sorgte ein speziell entwickeltes System dafür, dass die zahlreichen kleineren Änderungen - die einen vergleichsweise kleinen Teil des gesamten Datenbestandes ausmachten - abgeglichen wurden. Als dies erledigt war, konnten schließlich die DNS-Einträge auf das neue Datenzentrum umgeleitet werden.

Yangs Fazit des Umzuges: Das Projekt sei nicht nur erfolgreich abgeschlossen worden, sondern auch sehr lehrreich gewesen, was die Replikation eines Speicher-Clusters in dieser Größenordnung angeht. Ausgehend davon dürfte man sich bereits jetzt Gedanken darüber machen, wie das neue System so weiterentwickelt wird, dass die nächste notwendig werdende Erweiterung des Speicherplatzes leichter und schneller über die Bühne geht.

WinFuture.de bei Facebook: Facebook.com/WinFuture Server, Datenzentrum, AT&T Server, Datenzentrum, AT&T David Jones / Flickr
Diese Nachricht empfehlen
Kommentieren71
Jetzt einen Kommentar schreiben


Alle Kommentare zu dieser News anzeigen
Kommentar abgeben Netiquette beachten!

Jetzt als Amazon Blitzangebot

Ab 00:00 Uhr Bis zu -72% auf Kopfhörer
Bis zu -72% auf Kopfhörer
Original Amazon-Preis
55,32
Im Preisvergleich ab
?
Blitzangebot-Preis
22,00
Ersparnis zu Amazon 0% oder 33,32

Facebooks Aktienkurs in Euro

Facebooks Aktienkurs - 6 Monate
Zeitraum: 6 Monate

Der Facebook-Film im Preis-Check

WinFuture Mobil

WinFuture.mbo QR-Code Auch Unterwegs bestens informiert!
Nachrichten und Kommentare auf
dem Smartphone lesen.

Folgt uns auf Twitter

WinFuture bei Twitter

Interessante Artikel & Testberichte

WinFuture wird gehostet von Artfiles

Tipp einsenden