Futuremark's 3D-Mark 03

3D-Mark 03

Nachdem Futuremark die neue Version von 3D-Mark 03 veröffentlicht hat, wollen wir nun ein paar Fragen klären, ob und wie gut er sich als Benchmark eignent. Hier sei noch auf ein Dokument hingewiesen, welches die Tests detailiert erklärt.

UPDATE: Artikel und Benchmarks wurden am 16.02.2003 aktualisiert.


Ist 3D-Mark 03 wirklich mehr VPU als CPU abhängig ?

Links sehen wir einen normalen Renderingdurchlauf, recht mit deaktiviertem Renderer, die Aufrufe gelangen nicht bis zu DirectX 9.0.

Resultate

Es wird deutlich, dass ohne Grafikkarte die Reultate wesentlich größer sind, bis zm Faktor 7 bei den Gesamtpunkten. Lediglich der Vertex Shader Test macht keine so gute Figur, da er im Vergleich zum Pixel Shader Test doch wesenltich mehr CPU Abhängig ist.


Die Unterschiede der Pixel Shader 1.1 und 1.4 in den jeweiligen Tests

Pixel Shader 1.4 benötigen bei den Tests 2 und 3 weniger Renderdurchläufe, als die Pixel Shader der Version 1.1. Dies hängt mit ihrer Möglichkeit zusammen, mehr und flexiblere Befehel ausführen zu können, wohingegen die Pixel Shader 1.1 - 1.3 einen reht bescheidenen Umfang bieten. Hier soll nun die Frage geklärt werden, ob es gerecht ist, Karten mit 1.4'er Shadern(Radeon 8500-9700) gegen Karten welche lediglich den 1.1'er Shader(GeForce3/4 Ti, Parhelia, Xabre) besitzen antreten zu lassen.


Die Werte wurden mittels 3D-Analyze 2.0 bestimmt. Der Overdraw ist der effektive Overdraw, welcher nach allen HSR und Z-Test übrig bleibt.


Hier wird deutlich, dass Karten mit einem 1.4'er Pixel Shader deutlich bessere Werte liefern.



Hier wurden die Polygone pro Frame gemessen.


Durch die leistungsfähigeren Pixel Shader sind weniger Renderingdurchläufe für einzelne Lichtquellen nötig. Dadurch sinkt natürlich auch die Anzahl der Polygone, welche jedesmal durch den Vertex und Pixel Shader müssen.



Durch Verwendung des 1.1'er Pixel Shaders steigt der Overdraw enorm an.


Etwas mehr Leben kommt durch die 1.4'er Pixel Shader in diesen Test. Man sollte sich jedoch vor Augen führen, dass wir hier mit einer Radeon 9700 Pro getestet haben. Spiele mit solcher Grafikgewalt werden wohl erst erscheinen, wenn die Performance der Radeon 9700 im Value Markt angekommen ist.



Die Polygonanzahl pro Frame ist etwas mehr als doppelt so hoch, wie bei den Pixel Shader der Version 1.4. Bis zu 10 Mio. Polygone pro Sekunde werden auf der Radeon 9700 Pro mit den Pixel Shadern 1.1 durch den Vertex Shader gejagt.


Bis zu 19 Mio. Polygone pro Sekunde werden auf der Radeon 9700 Pro mit den Pixel Shadern 1.1 durch den Vertex Shader gejagt.


Two Sided Stencil Test

Mit diesem neuen Verfahren wird bei der Berechnung der Stencilschatten nur noch 1 Renderingdurchlauf benötigt.




Die Framerate wird durch den Mehraufwand nur wenig gedrückt.




Die Anzahl der maxiimalen Polygone pro Frame steigt von ca. 550000 auf ca. 700000.




Auch hier kaum Veränderungen bei der Framerate.




Die Maximale Anzahl der Polygone steigt von 1,25 Mio. auf 1,35 Mio. pro Frame.


Eine Karte - Viele Werte

Hier kann man sehen, welche Resultate die Radeon 9700 Pro liefert, unter Verwendung der jeweiligen Optionen.

Möchte man also eine GeForce 4 Ti mit einer Radeon 9700 vergleichen, so hat man als Tester die Asuwahl, ob man die Karten unter Verwendung der gleichen Features, oder unter Verwendung jeweils aller möglichen Features testet. Deutlich ist auch zu sehen, dass der Test 4 mit ca. 22 % in die Gesamtpunktzahl eingeht, somit eignet sich diese, wie auch schon bei 3D-Mark 2001, nicht zur Beurteilung der reinen 3D-Leistung bei unterschiedlichen Möglichkeiten der Karten.


Einfluss der Pixel Shader auf die Resultate

Einer der Hauptbestandteile von DirectX 9.0 sind neben den neuen Vertex Shadern 2.0 auch die Pixel Shader 2.0. Hier möchte ich zeigen, welchen Einfluss diese auf die verschiedenen Benchmarks haben.


Diese Resultate waren zu erwarten. Die Deaktivierung der Pixel Shader bringt hier jeweils den grössten Leistungsgewinn.


Unter 320x200 bringt die Deaktivierung der Pixel Shader recht wenig, deaktiviert man die Texturen hat man einen höheren Leistungsgewinn. Die Pixel Shader der Radeon 9700 Pro werden hier zu wenig gefordert. Bei Test 1 liegt eine Vertex Shader Limitierung vor, Pixel Shader machen sich nur schwach bemerkbar, bei Test 3 fast nicht. Die Füllrate limitiert die Tests 2, 3 und 4 am entscheidensten, wobei Test 4 schon wieder in Richtung Vertex Shader Limitierung neigt.


Bei höheren Auflösungen machen sich die Pixel Shader in den Tests 2, 3 und 4 stärker bemerkbar. Test 1 verwendet keine, deswegen bleibt die Vertex Shader Limitierung. Die Tests 2, 3 und 4 müssen nun mehr Pixel durch den Pixel Shader berechnen lassen, deshalb verschiebt sich die Limitierung von der Füllrate hin zu den Pixel Shadern.


Fazit

3D-Mark 03 bietet ein schönes Demo von DirectX 8/9 Technologien. Ein wenig mehr hätte da sicherlich nicht geschadet, wie z.B etwas komplexere Pixel Shader, wenn schon nicht in den Spieletests, dann doch wenigstens bei den synthetischen. Ebenso fehlt jeglicher Multimonitor-Support. 3D Mark 03 ist unserer Meinung zu Vertex Shader lastig um ein vollständiges Leistungsbild einer Grafikkarte zu zeichnen. Die Pixel Shader gehen fast unter, bei dem gewaltigen Overdraw den dieser Benchmark hat. Die Füllrate und die Vertex Shader werden also zu 90 % getestet.

Hinzu kommt die ungleiche Behandlung Karten verschiedener Generationen. Das 3D-Mark 03 auch auf nicht DirectX 9 Karten läuft ist sicherlich eine schöne Zugabe an alle, die keine DirectX 9 Karte besitzen. Es schadet jedoch dem Benchmark, weil somit Äpfel mit Birnen verglichen werden können. Letztlich müssen die Menschen die diesen Benchmark verwenden halt zu Hilfsprogrammen greifen um saubere Vergleiche zu bekommen. Diesbezüglich hat man bei Futuremark leider nichts aus 3D-Mark 2001 gelernt

Futuremark weisen in ihrem Kommentar ausdrücklich darauf hin, dass man für Karten der DirectX 8 Generation 3D-Mark 2001 SE verwenden soll und 3D-Mark 03 nur für Karten der DirectX 9 Generation.

Die Bildqualitätstests sind recht gut gelungen und die Demo macht Lust auf mehr. 3D-Mark 03 ist ein guter synthetischer Benchmark, welcher von uns auch verwendet wird, genau wie ATi's und NVIDIA's DirectX 8/9 Demos, soweit diese auf den Testkarten laufen. Gepaart mit praktischen Spielebenchmarks z.B. UT2003 und Doom 3 dürften wir somit in der Lage sein, einen Leistungseindruck der jeweiligen 3D-Karte zu bekommen. Noch ein Hinweis zu den Benchmarks, es hängt natürlich auch von der jeweiligen Grafikhardware, wie stark der Einfluss von Pixel und Vertex Shadern in den einzelnen Tests ist. Die Radeon 9700 Pro sollte hier nur als Beispiel für kommende DirectX 9 Karten angesehen werden.
Noch einige Bemerkungen zu NVIDIA's Kommentaren:
Man kann doch den Eindruck erhalten, NVIDIA fühlt sich ein wenig überfahren von 3D-Mark 03. Man beschwerd sich über fehlende Pixel Shader 1.3 Tests und über den "nicht Doom 3" Schattenalgorithmus, welcher ein paar Bildfehler produziert und zu aufwendig ist, weil er einfach nicht optimiert wurde. Das ist zwar NVIDIA's gutes Recht, jedoch kann ich mich an keine Beschwerde von ATi zu 3D-Mark 2001 erinnern. Dann noch die Anmerkungen von Seiten NVIDIA's, dass kein Spiel solch einen Algorithmus verwenden würde, genau wie die Pixel Shader 1.4. Zum Schluß zog NVIDIA noch die Mitgliedschaft im Futurmark Betaprogramm zurück. Klingt irgendwie nach einem trotzigen Kind und nicht nach professioneller Kritik. Da NVIDIA im Betaprogramm war, wird Futuremark schon Gründe haben manche Dinge so zu machen, wie sie letztlich im Benchmark zu finden sind. Wenn NVIDIA also etwas zu bemängeln hatte, warum haben sie dies nicht im Betaprogramm eingebracht? Was jetzt wie eine Erleuchtung auf manchen Seiten zu lesen ist, können wir nicht nachvollziehen. Man kann von keinem synthetischen Benchmark direkte Leistungsbezüge auf bestimmte Spiele machen, deshalb verwendet man ja auch aktuelle Spiele als Benchmarks. Die synthetischen Ableger können lediglich eine grobe Richtung anzeigen. Nicht mehr und nicht weniger. Auch der Punkt, dass man im Treiber für spezielle Shader Optimierungen vornehmen kann ist schon so alt wie die Geschichte der Grafikkarte. Dies gab es schon bei 2D-Benchmarks. Wenn aber letztlich alle Hersteller wie wild ihre Treiber auf 3D-Mark 03 optimieren bleibt am Ende wieder die Hardware als limiterender Faktor. Somit ist der Benchmark zu Leistungsmessung wieder sinnvoll, auch wenn man damit keine Rückschlüsse auf Spieleleistung ziehen kann. Natürlich könnte man jetzt auf eine ATi-Futuremark Beziehung spekulieren, dafür ist mir aber die Zeit zu schade und Beweise können wir leider auch nicht anbieten. NVIDIA wird doch nicht ernsthaft davon ausgehen, ausgegangen sein, dass die Kaufentscheidung einer Grafikkarte allein durch einen Benchmark gefällt wird, oder?