Futuremark: 3DMark-03-Werte durch Nvidia-Treiber verfälscht

Die 3DMark 03 Build 330 wurde von Futuremark auch mit anderen Grafikkarten und deren aktuellen Treibern getestet - deren Benchmarkwerte sollen nur Abweichungen innerhalb eines Toleranzbereiches von 3 Prozent gezeigt haben. Eine Ausnahme gab es allerdings, die Futuremark derzeit überprüft: ATIs Radeon 9800 Pro erzielte insgesamt 1,9 Prozentpunkte weniger, doch im Mother Nature Test fällt ein 8,2-prozentiger Leistungsabfall ins Auge.

Futuremark hofft darauf, dass derartige Fälle nicht wieder vorkommen, will aber weiter ein Auge offen halten, da der 3DMark 03 auch in Zukunft ein wertvolles Tool für Leistungsmessungen und Hilfe zur Kaufentscheidung sein soll. Die Programmierer sind der Ansicht, dass Treiber-Cheats in synthetischen Benchmarks deutlich leichter zu erkennen sind als in zum Benchmark herangezogenen Spielen. Zudem betonte man, dass man nicht ohne Grund namhafte Mitglieder im eigenen Beta-Programm habe, eben um das Vertrauen zu stärken, Schwächen im Benchmark schneller aufzuspüren und damit der Industrie und Kunden ein verlässliches Instrument zur Leistungsermittlung zu bieten. Eine Stellungnahme von Nvidia zu dem Thema steht noch aus, Golem.de wartet seit den Berichten von ExtremeTech und Beyond3D auf eine Antwort.

Ein rund 5 MByte großes Update von der 3DMark 03 Build 320 auf die Build 330 steht ab sofort zum Download auf Futuremark.com und dessen Partner-Sites zur Verfügung. Ein Dokument mit dem Titel "Audit Report: Alleged NVIDIA Driver Cheating on 3DMark03" findet sich ebenfalls auf Futuremarks Server.

Kommentar:
Fälle, in denen Hardwareherstellern vorgeworfen wurde, mit präparierten Treibern Benchmark-Ergebnisse zu verbessern, gab es schon des Öfteren in der Geschichte des PCs. Der aktuelle Fall ist nicht nur deshalb pikant, weil Nvidia sehr starke Konkurrenz durch ATI erfährt, sondern selber zuvor im 3DMark-03-Beta-Programm vertreten war, allerdings vor Vollendung des Benchmarks ausstieg. Nach dessen Fertigstellung griff Nvidia Futuremark öffentlich an, da man der Meinung sei, der Benchmark würde die in der Realität von Spieleentwicklern angewendete Programmiertechnik ignorieren und wäre damit ohne Aussagekraft. Das Futuremark-Team widersprach dieser Ansicht in einer öffentlichen, sehr detaillierten und recht plausiblen Klarstellung. Der Konflikt zwischen den ehemaligen Partnern scheint also noch nicht beendet, wobei Futuremark deutlich darauf hinweist, dass man keinen Kreuzzug gegen Nvidia führe, weil diese das Beta-Programm verlassen hätten.

Nachtrag vom 27. Mai 2003:
"Da Nvidia nicht am Beta-Programm von Futuremark teilnimmt (ein Programm, das zur Teilnahme hunderttausende von Dollar kostet), hatten wir keine Chance, mit Futuremark an der Entwicklung der Shader zu arbeiten, wie wir es mit einem echten Anwendungsentwickler getan hätten. Wir wissen nicht, was sie gemacht haben, aber es sieht so aus, als hätten sie absichtlich versucht ein Szenario zu schaffen, das unsere Produkte schlecht aussehen lässt", heißt es offiziell von Nvidia. Dies sei offensichtlich, da die relative Leistung der GeForceFX 5900 in Spielen wie Unreal Tournament 2003 und Doom3 - das allerdings auch über einen eigenen Render-Pfad nur für GeForceFX verfügt - mit Abstand die schnellste Grafik auf dem Markt liefern würde. Zur Anschuldigung von Futuremark sagt Nvidia offiziell nur wenig, eine neue Treiberversion, mit der die "Fehler" beseitigt würden, soll sich bereits in Arbeit befinden.