Google verbessert JS-Benchmarks der Konkurrenz

Um die Entwicklung von JavaScript-Engine voranzutreiben, setzen die Programmierer auf verschiedene JavaScript-Benchmarks, die den Erfolg diverser Optimierungen überprüfen. Google ist mit den verfügbaren Produkten jedoch nicht zufrieden gewesen. In einem Blog-Beitrag erklärt der Chrome-Entwickler Mike Belshe, dass die Benchmarks zusammen mit den Engines weiterentwickelt werden müssen, damit auch in Zukunft noch Performance-Verbesserungen möglich sind. Die hauseigene V8 Benchmark Suite wurde beispielsweise um Tests für Regular Expressions und das Speicher-Management erweitert. Zwei weitere Benchmarks, an denen sich die Entwickler orientieren, sind SunSpider von Apple und Kraken von Mozilla.

SunSpider gilt als einer der ersten verfügbaren JavaScript-Benchmarks und Google lobt die Verantwortlichen für den geleisteten Beitrag zur Verbesserung der Surfgeschwindigkeit. Man stellte jedoch fest, dass einige der Tests, die 2007 erdacht wurden, 2011 kaum noch eine Rolle spielen. Zudem sind die relevanten Tests inzwischen innerhalb weniger Millisekunden abgearbeitet. In dieser Zeit kann kein vernünftiger Vergleich zwischen zwei JavaScript-Engines aufgestellt werden. Google nennt als Beispiel ein Rennen zwischen einem Golf-Caddy und einem Rennwagen mit Elektromotor aus dem Hause Tesla. Über eine Distanz von drei Metern würden vermutlich beide gleichauf liegen.

Um die Aussagekraft des SunSpider-Benchmarks zu erhöhen, hat man das Rennen verlängert, um es mit den Worten aus dem Beispiel zu sagen. Sämtliche Tests werden einfach 50 Mal hintereinander ausgeführt, wodurch sich neue Optimierungsmöglichkeiten ergeben. Man stellte fest, dass Chrome im Vergleich zur Konkurrenz um mehr als 30 Prozent schneller ist - in einigen ausgewählten Tests führt man sogar um den Faktor 4. Den modifizierten SunSpider-Benchmark findet man hier.

Der recht junge Benchmark Kraken der Mozilla Foundation ist laut Belshe in einem besseren Zustand. Die auf krakenbenchmark.mozilla.org zur Verfügung gestellte Ausführung ist jedoch nicht aktuell, so dass mindestens ein wichtiger Bug enthalten ist, den die Entwickler eigentlich schon behoben haben. Google hat also beschlossen, den frei verfügbar und immer aktuellen Quellcode von Kraken zu nehmen und auf einer eigenen Website in nutzbarer Form anzubieten, so dass alle Interessierten davon profitieren können.

Belshe machte eine interessante Anmerkung zur Arbeit der Chrome-Entwickler. Ein Bug im Kraken-Benchmark führte dazu, dass man einige irrelevante Optimierungen an der JavaScript-Engine des Browsers vorgenommen hat. Die benötigte Arbeitszeit war umsonst.