Original-URL des Artikels: https://www.golem.de/0305/25645.html    Veröffentlicht: 23.05.2003 18:15    Kurz-URL: https://glm.io/25645

Futuremark: 3DMark-03-Werte durch Nvidia-Treiber verfälscht

Patch verhindert 3DMark-03-Erkennung durch GeForceFX-Treiber

Nachdem Nvidias aktuelle GeForceFX-Treiber mit einer 30-prozentigen Leistungssteigerung im 3DMark 03 aufwarteten, hatten die US-Websites ExtremeTech und Beyond3D bei einer Analyse eigenartige Unstimmigkeiten und im sonst nicht sichtbaren Bereich der 3DMark-03-Szenerie auffällige Bildfehler entdeckt. Nachdem auch Golem.de daraufhin Futuremark und Nvidia kontaktiere, gab es nun zumindest von Futuremark eine interessante, für Nvidia allerdings blamable Antwort: Die Treiber würden den 3DMark 03 erkennen und mittels verschiedener Methoden das Ergebnis deutlich verfälschen, was in diesem Ausmaß bei der Konkurrenz nicht der Fall sei.

Laut Futuremarks Untersuchung habe man bei aktuellen Detonator-FX-Treiber mit den Versionsnummern 44.03 und 43.51 WHQL insgesamt acht verschiedene Methoden entdeckt, mit denen Nvidia aktiv die Benchmark-Ergebnisse verfälsche. So würden die Treiber schon den 3DMark-03-Ladebildschirm erkennen und danach das "back buffer clear"-Kommando ignorieren, um die Last des Benchmarks inkorrekt zu verringern. Wenn der Ladebildschirm in einer anderen Art und Weise gerendert werde, erkenne der Treiber den 3DMark 03 nicht mehr und führt das "back buffer clear"-Kommando wieder ordnungsgemäß aus.

Doch die Erkennung endet nicht beim Ladebildschirm, sondern es werden bestimmte Vertex- und Pixel-Shader-Programme direkt erkannt und zur Laufzeit durch Nvidia-eigene, optimierte Versionen ausgetauscht, deren Ergebnis zwar nah dran am Original, jedoch eben nicht mit diesem identisch sein sollen. Auch ältere GeForceFX-Treiber sollen nicht frei von Tadel sein, jedoch nur einige der Betrugsmethoden nutzen.

Behindert man einige der potenziellen Erkennungs- und Cheatroutinen, würden die Ergebnisse mal mehr, mal weniger stark absinken, so Futuremark. Mittels verschiedener Techniken und minimaler Code-Veränderungen, die in der neuen 3DMark 03 Build 330 zu finden sind, könnten die bisher entdeckten fragwürdigen Nvidia-Treiberroutinen jedoch ausgetrickst werden. Das Ergebnis spricht eine deutliche Sprache: Auf einem Futuremark-Testsystem mit GeForceFX 5900 Ultra und den Detonator-FX-44.03-Treibern sei man im 3DMark 03 Build 320 auf beachtliche 5.806 Punkte gekommen, mit der Build 330 nur auf 4.679 Punkte - das reale Ergebnis liegt also deutliche 24,1 Prozent unter dem offenbar verfälschten Wert.

In der Golem.de-Redaktion erzielten wir mit einer gerade zum Test verfügbaren GeForceFX-5900-Ultra-Referenzgrafikkarte bei 1.600 x 1.200 Bildpunkten mit 4-Sample-Anti-Aliasing anstelle von zuvor knapp über 2.300 nur noch rund 1.800 3DMark; das Ergebnis fällt also rund 22 Prozent geringer aus und bestätigt in etwa den von Futuremark erlebten Leistungseinbruch.

Die 3DMark 03 Build 330 wurde von Futuremark auch mit anderen Grafikkarten und deren aktuellen Treibern getestet - deren Benchmarkwerte sollen nur Abweichungen innerhalb eines Toleranzbereiches von 3 Prozent gezeigt haben. Eine Ausnahme gab es allerdings, die Futuremark derzeit überprüft: ATIs Radeon 9800 Pro erzielte insgesamt 1,9 Prozentpunkte weniger, doch im Mother Nature Test fällt ein 8,2-prozentiger Leistungsabfall ins Auge.

Futuremark hofft darauf, dass derartige Fälle nicht wieder vorkommen, will aber weiter ein Auge offen halten, da der 3DMark 03 auch in Zukunft ein wertvolles Tool für Leistungsmessungen und Hilfe zur Kaufentscheidung sein soll. Die Programmierer sind der Ansicht, dass Treiber-Cheats in synthetischen Benchmarks deutlich leichter zu erkennen sind als in zum Benchmark herangezogenen Spielen. Zudem betonte man, dass man nicht ohne Grund namhafte Mitglieder im eigenen Beta-Programm habe, eben um das Vertrauen zu stärken, Schwächen im Benchmark schneller aufzuspüren und damit der Industrie und Kunden ein verlässliches Instrument zur Leistungsermittlung zu bieten. Eine Stellungnahme von Nvidia zu dem Thema steht noch aus, Golem.de wartet seit den Berichten von ExtremeTech und Beyond3D auf eine Antwort.

Ein rund 5 MByte großes Update von der 3DMark 03 Build 320 auf die Build 330 steht ab sofort zum Download auf Futuremark.com und dessen Partner-Sites zur Verfügung. Ein Dokument mit dem Titel "Audit Report: Alleged NVIDIA Driver Cheating on 3DMark03" findet sich ebenfalls auf Futuremarks Server.

Kommentar:
Fälle, in denen Hardwareherstellern vorgeworfen wurde, mit präparierten Treibern Benchmark-Ergebnisse zu verbessern, gab es schon des Öfteren in der Geschichte des PCs. Der aktuelle Fall ist nicht nur deshalb pikant, weil Nvidia sehr starke Konkurrenz durch ATI erfährt, sondern selber zuvor im 3DMark-03-Beta-Programm vertreten war, allerdings vor Vollendung des Benchmarks ausstieg. Nach dessen Fertigstellung griff Nvidia Futuremark öffentlich an, da man der Meinung sei, der Benchmark würde die in der Realität von Spieleentwicklern angewendete Programmiertechnik ignorieren und wäre damit ohne Aussagekraft. Das Futuremark-Team widersprach dieser Ansicht in einer öffentlichen, sehr detaillierten und recht plausiblen Klarstellung. Der Konflikt zwischen den ehemaligen Partnern scheint also noch nicht beendet, wobei Futuremark deutlich darauf hinweist, dass man keinen Kreuzzug gegen Nvidia führe, weil diese das Beta-Programm verlassen hätten.

Nachtrag vom 27. Mai 2003:
"Da Nvidia nicht am Beta-Programm von Futuremark teilnimmt (ein Programm, das zur Teilnahme hunderttausende von Dollar kostet), hatten wir keine Chance, mit Futuremark an der Entwicklung der Shader zu arbeiten, wie wir es mit einem echten Anwendungsentwickler getan hätten. Wir wissen nicht, was sie gemacht haben, aber es sieht so aus, als hätten sie absichtlich versucht ein Szenario zu schaffen, das unsere Produkte schlecht aussehen lässt", heißt es offiziell von Nvidia. Dies sei offensichtlich, da die relative Leistung der GeForceFX 5900 in Spielen wie Unreal Tournament 2003 und Doom3 - das allerdings auch über einen eigenen Render-Pfad nur für GeForceFX verfügt - mit Abstand die schnellste Grafik auf dem Markt liefern würde. Zur Anschuldigung von Futuremark sagt Nvidia offiziell nur wenig, eine neue Treiberversion, mit der die "Fehler" beseitigt würden, soll sich bereits in Arbeit befinden.  (ck)


© 1997–2020 Golem.de, https://www.golem.de/