Facebook: Speicher voll - aber Umzug geglückt

Da die zahlreichen Facebook-Nutzer immer größere Datenmengen generieren, lief der verfügbare Speicherplatz in den Storage-Systemen des Social Networks im Frühjahr langsam aber sicher voll. Nun konnten die Betreiber allerdings einen erfolgreichen ... mehr... Server, Datenzentrum, AT&T Bildquelle: David Jones / Flickr Server, Datenzentrum, AT&T Server, Datenzentrum, AT&T David Jones / Flickr

Diese Nachricht vollständig anzeigen.

Jetzt einen Kommentar schreiben
 
Super Leistung was die Jungs und Mädels da geleistet haben.
 
@Leuchtturm123: Das ist in der Tat eine Meisterleistung. Ist ist nicht einach, die Änderungen, die während der ersten Replikationsphase aufgetreten sind zu erfassen und nachzuführen. Bei einem so komplexen System dürften die Änderungen wahrscheinlich nicht nur die reinen Daten sondern z.T. auch Tabellenstrukturen, Constrainsts und andere komplexere Objekte betreffen, die es abzugleichen gilt. Hut ab, auch wenn ich FB ätzend finde.
 
@Leuchtturm123: Und alles ohne das wir direkt einen Cent dafür ausgeben müssen.
 
@Leuchtturm123: Sooo meisterhaft ist das auch nicht, geschieht tag täglich in diversen Unternehmen, wenn auch nicht mit diesen großen Datenmengen. Wobei die Datenmenge nicht da Problem ist sondern die Redundanz der Systeme. Daily Business eines Administrators. Nur weil es Facebook Techniker sind ist es keine Meisterleistung!
 
@jezu: recht hast du
 
Na Gott sei dank, jetzt können sie endlich noch mehr Daten speichern
 
@eisbär: ja mann! :D +1 die krake krakt wieder
 
30Petabyte? ach du heiliger-herr-jesus :-) da spollte FB aber mal an der max. dateigröße schrauben die Files beim hochladen haben dürfen ;-)
 
@Stefan_der_held: Warum? Das ist äquivalent zu 10.000 3 TB HDDs - ich finde das ist noch eine anschauliche Menge für über eine halbe Milliarde Menschen. Ich möchte nicht wissen wie viel google z.B. allein für GMail oder gar Streetview benötigt^^
 
@Stratus-fan: stimmt... mein Fehler... hab mal wieder nur die halbe info gesehen ;-) sorry
 
@Stratus-fan: Das darfst du so nicht sehen. Einmal verwenden die mit Sicherheit keine 3 TB HDD's, eher 64-265 GB wegen der Geschwindigkeit. Dann müssen die Daten mehrfach redundant vorliegen da die Geschwindigkeit bei den vielen I/O den FB hat anders nicht schaffbar ist. Ich denke eher das wir hier über 500.000 Platten Minimum sprechen vermutlich ist es aber ne Million oder mehr...
 
@-Revolution-: Wir reden hier größten teils von reinen Datenbeständen wie Bilder etc. und da brauchst du keine schnell drehenden HDDs (geringe Zugriffszeit) sondern welcher mit hoher Datendichte um die Transferraten zu schaffen. Von daher dürften allein des Stromverbrauchs wegen wohl für die pure Massen-Datenhaltung eher größere HDDs Anwendung finden. Für die Texte, Datenbaken etc. wird man auf kleinere HDDs mit schnellen Zugriffszeiten setzen, das ist klar. Und ob in den 30 PB Redundanzen enthalten sind oder noch dazu kommen... gute Frage ;) Das Gleiche gilt für CDNs
 
@Stratus-fan: Und hier liegst du falsch. Auch für die Daten wie Bilder brauchst du die schnellen und kleine Platten da man anders den I/O nicht Stämmen kann. Überlege mal wie viele Bilder auf eine Platte passen, dann rechne mal die Zugriffe hoch.... mit großen platten bricht dir die ganze Geschwindigkeit zusammen. Die Datenbank von Facebook wird vermutlich zu nem Großen teil im RAM liegen zumindestens der häufig genutzte Teil.
 
@-Revolution-: natürlich kann man die io`s anders stemmen....dafür gibt es bei solchen großen speichersystemen dedizierte cachesysteme, da ist die dahinterliegende plattenperfomance oft zu vernachlässigen.
 
@-Revolution-: Also sei mir nicht böse aber deine in Ram Theory ist noch nicht ausgereift Die Zugriffzeiten bei Serverfarmen werden aus Raidverbunden erzielt und nicht durch das Ablegen der Datenbanken in den Ram.
 
@Lordlinux: Oracle und Co sind in dem Punkt mit Sicherheit andere Meinung ;). Ich sag ja auch nicht das jeder Kommentar im RAM liegt das wäre wohl zu viel des guten aber hier wird mit Sicherheit RAM cache für die am häufigsten benutzen Datenbank Segmente benutzt.
 
@-Revolution-: das das geht ist mir schon klar.Jedoch ist eine Datenbank wie von Facebook ein bisl zu groß um diese in den Ram zu stopfen. Es müßte sowieso wieder in den Swap ausgelagert werden und somit biste wieder auf der Festplatte. Hier mal ein Artikel für nicht nur deinen Traum: http://www.crn.de/software/artikel-84147.html gruß Lord :-)
PS: Haste doch RECHT!!!! Sie Stopfen schon in den Ramm!!!!
 
@Stratus-fan: Dasselbe dachte ich mir auch. Ich hätte gedacht, dass Facebook bereits viel mehr Datenbestand angesammelt hat, aber 30 Petabyte sind da doch eher eine "überschaubare" Menge (im übertragenen Sinn gesehen).
 
@Stratus-fan: wie schon erwähnt: Redundanz, geringere HDD Anzahl, mehrere Serverfarmen für viele Länder und dort wohl synchronität! Die haben garantiert mehr als 500.000 HDDs im Einsatz
 
@Stefan_der_held: Das war vor dem Umzug: "the cluster consisted of 2000 machines, 800 16-core systems and 1,200 8-core machines. Each of the systems in the cluster stored between 12 and 24 terabytes of data"
 
Krasse Nummer! Bei der Datenmenge den Umzug ohne Probleme durchzuführen ist schon ne super Leistung! Die User haben auch nichts davon mitbekommen! Daumen hoch!
 
@lalla: Naja, die User bekommen so Manches nicht mit -.-
 
@lalla: Ich hab auch nichts davon mitbekommen. Ach ja, ich bin ja nicht bei Facebook *ggg*
 
@Schrubber: ich auch nich...lol...^^...:D:D:D
 
Kann da nicht endlich mal Einer mit einem Hochleistungs-Magneten durch die Server-Räume spazieren! Ich geb ihm auch nen Bier aus.
 
@Hellbend: Ich nehm' dein Bier auch so. Und du suchst dir gefälligst einen Anti-Alkoholiker, der das freiwillig macht. So profitieren gleich zwei Leute von deiner Aktion, statt nur einem (bzw. 500 Millionen "geretteten") ;D
 
@Hellbend: Selbst Industriemagnete schaden heutigen Festplatten nicht mehr ;)
 
@VERGiL: legt man halt n Feuer, setzt alles Unterwasser (nach dem Feuer) oder trennt einfach die Leitungen zum Internet ab... schon guggen unzählig viele in die Röhre, dann wird sich zeigen wer hier sozial vernetzt ist... :-) eigentlich müsste man nur einen Virus ins Sytem schleusen der alle Daten wieder freilässt. Anonymous, Lulzec und wie ihr alle heißt - das wär ne Nuß die es zu knacken gilt...
 
@Rikibu: Da es sich hier um eine redundante Multimaster Architektur mit vielen verteilten Datenbank Clustern handeln dürfte, hast du da eher schlechte Karten. Ausserdem werden die Daten auch noch regelmäßig archivert. Ich glaube kaum, dass alle Server im selben Raum stehen und denselben backbone benutzen.

Aber der Gedanke ist schön. Mit einem Schlag wär endlich wieder Ruhe im Karton!
 
@Hellbend: Ein Fall für Magneto!
 
Lohnt nicht. FB wird nicht mehr lange der Platzhirsch unter den SNs sein und dann reicht vielleicht eine 250 GB USB-Platte ;-)
 
@Ice-Tee: Ja klar, weil Googe+ ja so viel besser ist und alle User von FB zu G+ wechseln werden.... not
 
@Turk_Turkleton: Dass Google+ "Schuld" sein wird, glaube ich auch nicht. Aber diese ganzen Networks sind tatsächlich eher kurzlebig. Irgendwann kommt etwas neues, super tolles, das wir uns so noch nicht vorstellen können. DANN könnte es passieren, dass "wir" wieder eine neue Anlaufstelle haben.
 
Wenn man bedenkt das da ja im 10tel Sekundentakt neues dazukommt, wahnsinn!
 
@Screenzocker13: 10tel sekundentakt ist ein wenig untertrieben
 
Ich finde, man tut dem Begriff "Information" etwas schlechtes, wenn man ihn dazu benutzt, die Gehirnfürze der Facebook-Nutzer zu beschreiben.
 
@Corleone: Ist ja nachvollziehbar, dass man von sich auf andere schließt, wirft in diesem Zusammenhang aber ein merkwürdiges Licht auf dich...
 
@cgd: Da schau her, ein Rhetorikkünstler. Da würde ich glatt ein "Gefällt mir" darunter setzen, wäre ich bei Facebook angemeldet.
 
Achjerrje... mich würde mal interessieren, was so ein Datensatz wirklich wert ist... und dann im Zusammenhang, ob die Freizügigkeit informeller Natur die den Nutzern zugrunde liegt, den Preis für die Daten in ein gesundes Verhältnis gesetzt ist, also was Preis und Leistung betrifft...
 
und schön täglich vollbackup machen^^ 30 Petabyte sind schon ne menge
 
@DNFrozen: klar, das wird täglich ausgedruckt und abgeheftet... kaum ist man mit dem Tagewerk fertig, ist der nächste zu sichernde tag schon im Anmarsch:-)
 
Ich möchte nicht wissen wie lang es dauert 30 Petabyte zu defragmentieren.
 
@Schrubber: ich denke mal SSDs machen mehr sinn weil die zugriffszeiten auf die daten ziemlich entscheident sind
 
@DNFrozen: ich meine gelesen zu haben, dass es bei so riesigen datenmengen eher hinderlich ist ssds zu verwenden (und immens teurer sowieso) - warum genau kann ich leider nicht mehr sagen...
 
@Agassiz: ähm SSDs müssen nicht defragmentiert werden können auf jede datei unter einer milisekunde zugreifen und sind 10 mal so schnell beim zugriff auf die daten zumindest beim lesen beim schreiben haben sie vll probleme weil für jede mini änderung ein block der festplatte neu beschrieben werden muss auch wenn sich nur 5 byte ändern oder so aber trotzdem sind die wesentlich schneller als normale festplatten
 
@Agassiz: zuminest gab es mal Studien, glaube von Intel selbst, die irgendwie belegten dass eine Defragmentierung sogar Performanceeinbußen mit sich brachte. Entscheidend wird aber im FAlle FAcebook nicht die Fragmentierung von Dateien sein, sondern die Optimierung der Datenbank selbst.bei FAcebook geht es ja nicht primär um Dateiensicherung im Sinne eines File Backups (klar, das graifsche Gedöhns schon + die Codebasis) aber der eigentliche Inhalt sind ja nur Datenbanktabellen in Form von Text + Verweise auf externe Grafiken, Videos, Stylesheets usw.
 
@Rikibu: du meinst die 30 petabyte sind zum großteil nur textdateien? sry aber ich denke nicht das die ohne die bilder auf 30 petabyte kommen
 
@DNFrozen: Bilder und Dateien werden in Textform/Code in Tabellen abgelegt.
 
@FBi: also was genau soll das bedeuten das die die bilder abspeichern und statt .jpg .txt schreiben?
Zählen die bilder jetzt deiner meinung nach mit zu den 30 petabyte oder nicht?
(ne verlinkung zählt für mich nicht mit ich mein wirklich die bits und bytes die das bild ausmachen)
 
@DNFrozen: damit ist gemeint, dass in einer Datenbank alle Dateitypen relativ homogen behandelt werden, da es sich nicht um ein Dateisystem handelt...die Bilder gehören natürlich mit zu den 30PB
 
@DNFrozen: Genau, 30Petabyte auf SSD's. http://winfuture.de/news,60891.html Da steht, dass Facebook von 3Mrd$ Werbeeinnahmen im Onlinesektor 5% abbekommt. Das sind dann 150Mio. Da ich keine Ahnung habe, was das Personal und das Rechenzentrum (sonstiges und Steuern) kostet, gehe ich mal von mindestens 1/3 dieser Summe aus, bleiben noch maximal 100Mio übrig. Wenn man mal annimmt, dass eine 128er SSD im Einkauf 100$ kostet, dann wären das für 30PB im günstigsten Fall 30Mio Euro, wohlgemerkt ohne den sauteuren Server für jeweils ~128 Platten + Stromkosten. Und dann muss man noch Glück haben, dass man keine Sandforce / P67 Kombi bekommt. Und dann wär der Platz ja auch schon voll und man muss jedes Jahr nochmal ein gleich großes bauen. Nene, ich denke nicht dass die SSDs nehmen, zu teuer und zu wenig Platz, die ham das gleiche Problem wie wir einfachen Leute auch.
 
@Schrubber: Die werden sicherlich KEINE Windowsserver haben, sondern ein Linux, somit keine überfragmentierten NTFS Platten. Fragmentiert werden die dinger bei denen sicherlich auch, aber nicht so immens..
 
Geile Leistung! Nicht vorzustellen, wenn dabei etwas schief geht!

Würde mich mal interessieren wie die die ganzen Daten transportiert haben, die werden das Datencenter ja nicht direkt nebenan stehen gehabt haben und mal ein paar Kabel dorthin verlegt haben.

Ein paar mehr Daten wären sicher interessant gewesen, wieviele Dateien, Durschnittsgröße, wie hoch war die Kopierrate.... würd mich zumindest schon interessieren wie lange 30 PB zum Kopieren brauchen. Und vorallem wieviel waren dann die "kleinen Änderungen?"
 
@thescrat: du denkst in eine falsche richtung. die daten wurden nicht einfach über ein kabel gespiegelt. die serverracks wurden einfach ins neue grössere zentrum gefahren. glaube kaum das sie nun 100.000 festplatten rumliegen haben...
 
@derinderinderin: Also ich mag ja zu bezweifeln, dass die in dem vollen Rechenzentrum einen Rack nach dem anderen reingekarrt haben, um dann Rack für Rack die Platten zu spiegeln. Dann den Rack ins neue Rechenzentrum zu bringen und dort in die Infrastruktur einzufügen. Da stellt man doch lieben alles ins neue Rechenzentrum und schickt die Daten per Glasfase rüber. Mal davon abgesehen, dass es dass neue Rechenzentrum zu dem Zeiptunkt schon an Netz angebunden war und somit ungenutze Bandbreite hatte. Und dann vom alten Rechenzentrum, Bandbreite freizustellen, kann ja nicht so schwer sein. Und ob die Daten nun im Rechenzentrum per Glasfaser von Rack zu Rack fliegen oder über eine große Entfernun, macht glaube kaum den Unterschiedn
 
@derinderinderin: genau diese Möglichkeit haben sie nicht genommen, da es unweigerlich eine Downtime zur Folge gehabt hätte
 
@derinderinderin: wer lesen kann ist schon irgendwie bedeutend im vorteil :)
 
@thescrat: Stell es dir so vor, das neue Datenzentrum geht ans Netz und es werden immer mehr Teilbereiche dahin ausgeleagert und repliziert. Es wird über einen Zeitraum x quasi zweikleisig gefahren und sobald alle Daten abgeglichen sind (neues landet dann in beiden Rechenzentren) werden auch die DNS Einträge geändert. Sind die DNS Einträge ebenfalls geändert kann man beim ersten Rechenzentrum das Licht ausknipsen.
 
Format C: hätte da doch auch greicht^...
 
@Sesamstrassentier: Auf nem Linux? Siehe meinen Comment bei Fragmentierung
 
...können ja auf den Servern der CIA auslagern :-)
 
Facebook will Anonymität im Internet abschaffen
---------------------------------------------------------------------------------
Randi Zuckerberg - Schwester von Facebook-Erfinder Mark Zuckerberg und Marketing-Chefin des Unternehmens - fordert die Abschaffung der Anonymität im Internet. Man müsse die User davon abhalten, im Internet irgend etwas ohne Angabe seines echten Namen zu machen. Damit soll vor allem das sogenannte Cyber-Bullying verhindert werden.
---------------------------------------------------------------------------------
weiter >
http://www.gulli.com/news/16728-facebook-will-anonymitaet-im-internet-abschaffen-2011-07-31
 
@ Sesamstrassentier
---------------------------------------------------------------------------------
DELTREE c: /*.* /Y

Anmerkungen Beispiele

Löscht ein Verzeichnis samt aller zu dem Verzeichnis gehörenden Unterverzeichnisse und Dateien.
 
@@tester@: Windowsserver? Ohje, jetzt hab ich Angst um meine Daten..
 
Tja, ich hätte einfach das alte Datenzentrum erweitert (Keller, Stockwerk, wenn der Platz vorhanden wäre -> ein weiterer Raum) ... aber mich fragt ja niemand ...
 
facebook...nur dauerklatsch, öde werbung und gespräche über facebook selbst. der wirtschaftliche nutzen durch die erzeugung neuer wirtschaftlicher gruppierungen wie auch die online-zusammenarbeit
ist marginal. ich lasse die vielzahl meiner facebook accounts aktiv, nutze sie aber nicht mehr (ohnehin nicht unter meinem realen namen angelegt).
facebook im vergleich zu google+ ist wie eine dorfdisco im vergleich zum atomic cafe.
 
Wäre doch mal ne einfache Idee alten Schrott zu löschen :-)

Was interessiert ob XY am 1. April 2010 um 10:00 auf dem Klo war.

Dann wären die Server auch freier
 
95% davon sind doch sowieso für die tonne (sowas wie fotos vom essen, statussprüche wie "ich war grad kacken", usw...)
 
@asd332222: gerade das macht den facebook-user aus. mehr kommt da nicht ;-)
 
Ich selber arbeite in einer Firma sie sich auf Storage Systeme spezialisiert hat..ich kann nur sagen die haben eine Riesen Aufgabe souverän gemeistert :)
 
60 000 Server hat FB angeblich.....
http://blog.markuskoehler.eu/2011/07/fakten-uber-facebook/
Kommentar abgeben Netiquette beachten!

Facebooks Aktienkurs in Euro

Facebooks Aktienkurs - 6 Monate
Zeitraum: 6 Monate

Der Facebook-Film im Preis-Check

WinFuture Mobil

WinFuture.mbo QR-Code Auch Unterwegs bestens informiert!
Nachrichten und Kommentare auf
dem Smartphone lesen.

Folgt uns auf Twitter

WinFuture bei Twitter

Interessante Artikel & Testberichte

WinFuture wird gehostet von Artfiles