Vista: Microsoft bezweifelt Benchmark, Tester drohen

Windows Vista Vor einigen Wochen sorgten die selbsternannten Benchmark-Profis vom exo.performance network mit Vergleichen zwischen Windows Vista in der RTM-Version und Windows Vista mit Service Pack 1 für Aufsehen. Die mit dem Benchmark OfficeBench durchgeführten Tests sollten belegen, dass mit dem Service Pack 1 für Windows Vista keine Leistungszuwächse zu erwarten sind. Nun scheint sich ein kleiner Krieg zwischen den eifrigen Benchmark-Testern, die scheinbar viel Vertrauen in ihr Produkt haben, und Microsoft anzubahnen. Wer letztenendes Recht hat, wird wohl vorerst jeder selbst für sich entscheiden müssen. Microsoft zweifelte seinerseits die Benchmarkergebnisse als wenig aussagekräftig an, während die Tester dem Konzern eine Vertuschung der angeblich schlechten Leistung von Windows Vista vorwerfen.

In einem Blog-Eintrag erklärte das Windows Vista Team, dass aktuell durchgeführte Benchmarks mit der Vorabversion des Vista SP1 kaum Rückschlüsse auf die Leistung des endgültigen Produkts zulassen. Schließlich seien die Arbeiten noch lange nicht abgeschlossen, so dass sich die Kunden besser nicht an Vorab-Benchmarks orientieren sollten, hieß es.

Auch müsse man bei der Wahl der Benchmark-Software vorsichtig vorgehen, wenn man Ergebnisse erzielen möchte, die der tatsächlichen Nutzung im Alltag nahe kommen. Als Beispiel für kaum brauchbare Benchmarks nannte Microsoft Tests, bei denen mittels Automatisierung zahllose Aufgaben mit rasender Geschwindigkeit durchgeführt werden, was nicht dem Einsatz im Alltag der Nutzer entsprechen soll.


Um seine Thesen zu untermauern stellte Microsoft-Blogger Nick White ein Video zur Verfügung, das ein Benchmark-Script beim schnellen Öffnen von Programmen und dem Erledigen diverser Aufgaben zeigt. Zwar erwähnt White OfficeBench nicht einmal als Bezugspunkt für seine Ausführungen über Benchmarks unter Windows Vista, die zeitliche Nähe zur Veröffentlichung der Vorab-Benchmarks vom exo.performace network legt jedoch nahe, dass er sich darauf bezieht.

Dementsprechend rüde fällt auch die Reaktion der Macher von OfficeBench aus. Sie haben ihr Produkt in dem Video von White wiedererkannt und werfen Microsoft nun eine Verfälschung der Tatsachen vor. OfficeBench sei sehr wohl zur Messung der Leistung von Windows auch über mehrere Generationen hinweg geeignet. Microsoft versuche lediglich, seine Probleme schön zu reden und die Arbeit der Tester in Frage zu stellen.


OfficeBench ist nach Angaben von exo.performance network anders als von Microsoft behauptet, nicht nur ein Script das diverse Aufgaben schnell nacheinander durchführt und deshalb kaum Rückschlüsse auf die Nutzungserfahrung im Alltagsbetrieb zulässt. Stattdessen handele es sich um ein über Jahre gereiftes Produkt, das sogar im Finanzsektor zur Messung der Leistung besonders wichtiger Systeme eingesetzt werde.

Die Macher von OfficeBench gehen sogar soweit, Microsoft eine Täuschung der Kunden zu unterstellen. So soll das von White veröffentlichte Video zwar das Benchmark-Tool zeigen, es sei aber "lächerlich" stark beschleunigt worden, um die Tests unglaubwürdig erscheinen zu lassen, heißt es. Microsoft habe schlicht und ergreifend Angst vor den Ergebnissen der Tests mit dem Script.


Schließlich stünden der IT-Industrie erstmals Werkzeuge zur Verfügung, um Microsoft für seine "aufgeblasene, CPU-Zeit vernichtende" Software zur Rechenschaft zu ziehen. Statt sich der Herausforderung zu stellen, verbreite Microsoft lediglich Unsicherheit und Zweifel, so die aggressive Argumentation der Tester in ihrer Reaktion auf Microsofts Stellungnahme.

Wie vertrauenswürdig die Tests des exo.performance network tatsächlich sind, bleibt allerdings weiterhin fraglich. Kurz nach Veröffentlichung eines Vergleichs zwischen Windows XP mit Service Pack 3 und Windows Vista mit Service Pack 1 (in beiden Fällen natürlich Betaversionen) in Verbindung mit Office, bei denen man Vista eine gegenüber XP um die Hälfte reduzierte Leistung nachgewiesen haben wollte, wurden Unstimmigkeiten bekannt.

Die Tester hatten bei ihren Versuchen verschiedene Versionen von Office verwendet - unter XP war Office 2003 im Einsatz, während man bei Vista mit Office 2007 testete. In der Folge kamen Zweifel an der Glaubwürdigkeit der Tests auf, worauf man mit erneuten Tests unter Verwendung der gleichen Office-Version (2003) reagierte, die allerdings ähnliche Ergebnisse lieferten.

Zudem wurde bekannt, dass mit OfficeBench schon zu Zeiten der Markteinführung von Windows XP Tests im Vergleich mit dem Vorgänger 2000 durchgeführt wurden, die fast identische Ergebnisse lieferten wie die Vergleiche zwischen XP und Vista. Dadurch lassen sich die Tester aber offenbar nicht von ihrem Kreuzzug gegen Microsoft abbringen. Die Reaktion auf Microsofts Stellungnahme endet so auch mit dem Hinweis, dass der Konzern zwar versuchen könne, weg zu laufen, sich aber letztlich nicht vor OfficeBench verstecken könne.

Randall C. Kennedy, der OfficeBench entwickelt hat, kündigte in einer Antwort auf Microsofts Blog-Eintrag an, dass man die schlechte Leistung von Windows Vista nicht aus den Augen lassen werde. In der kommenden Zeit sei daher zu erwarten, dass "man wieder von OfficeBench hören wird".

Weitere Informationen: Microsoft Stellungnahme | Reaktion der Tester
Diese Nachricht empfehlen
Kommentieren37
Jetzt einen Kommentar schreiben


Alle Kommentare zu dieser News anzeigen
Kommentar abgeben Netiquette beachten!

Jetzt als Amazon Blitzangebot

Ab 06:20 Uhr Kans Externer Akku 2 Anschlüsse 20000mah Power Bank für iPhone, iPad, iTouch, Andriod Phone und weiteren
Kans Externer Akku 2 Anschlüsse 20000mah Power Bank für iPhone, iPad, iTouch, Andriod Phone und weiteren
Original Amazon-Preis
29,99
Im Preisvergleich ab
?
Blitzangebot-Preis
19,98
Ersparnis zu Amazon 33% oder 10,01
Im WinFuture Preisvergleich
Derzeit keine Angebote im Preisvergleich

Video-Empfehlungen

WinFuture Mobil

WinFuture.mbo QR-Code Auch Unterwegs bestens informiert!
Nachrichten und Kommentare auf
dem Smartphone lesen.

Folgt uns auf Twitter

WinFuture bei Twitter

Interessante Artikel & Testberichte

WinFuture wird gehostet von Artfiles

Tipp einsenden