Twitter gibt seinen Datenbagger als Open Source frei

Die Betreiber des Microblogging-Dienstes Twitter hat die Bereitstellung seines Verteiler-Tools für große Datenmengen, "Crane", unter einer Open Source-Lizenz angekündigt. Die Software sorgt für die Übertragung von Daten von einer MySQL-Datenbank nach Hadoop. Bei letzterem handelt es sich um eine Plattform, die große Informationsmengen in Clustern weiterverarbeiten kann. Ihre Basis stammt von Google und Facebook setzt sie beispielsweise zur Verteilung der großen Datenmengen ein, die das Social Network generiert.

Bei Twitter sorgt Crane dafür, dass mit Hadoop die große Zahl an Postings durchsuchbar gemacht werden kann. Die Beiträge der Nutzer werden sofort analysiert und Anwender können so in Echtzeit Nachrichten zu bestimmten Schlüsselwörtern anzeigen lassen.

Dafür muss das Hadoop-System beständig mit den Daten versorgt werden, die erst einmal in verteilten MySQL-Datenbanken abgelegt werden. Crane bildet bei dem Dienst so eine wichtige Schnittstelle zwischen den Speicher- und Verarbeitungssystemen, was auch Betreibern anderer Webservices, die große Datenmengen zu verarbeiten haben, helfen könnte.

WinFuture bei Twitter: Twitter.com/WinFuture