Virenscanner: Kritik am Test der Stiftung Warentest
Acht Hersteller von Sicherheitsanwendungen haben zusammen mit dem deutschen AV-Test einen offenen Brief an die Stiftung Warentest verfasst. Zu den Herstellern gehören Symantec, McAfee, Panda und Trend Micro, die im Test nicht gut abgeschnitten haben. Aber auch Kaspersky Lab haben den offenen Brief unterzeichnet, die vergleichsweise gut abgeschnitten haben. Zudem gehören Checkpoint, F-Secure und Ikarus zu den Unterzeichnern des offenen Briefs.
Die Unterzeichner werfen der Stiftung Warentest vor, dass die Testmethoden für den aktuellen Virenscannertest nur unzureichend dokumentiert seien und der Eindruck entstanden sei, dass veraltete Testmethoden genutzt wurden, die heutzutage keine Aussagekraft mehr haben würden. Es wird kritisiert, dass damit nicht "die Funktionsweise moderner Sicherheitssoftware" geprüft werden könne. Außerdem könne damit nicht das Verhalten der Benutzer oder der Umgang mit Infektionen beurteilt werden.
Test einzelner Sicherheitsfunktionen ist sinnlos
Im Test der Stiftung Warentest sei vor allem die signaturbasierte Erkennung von Schadsoftware untersucht worden. Dabei wurden gezielt einzelne Funktionen der Sicherheitsanwendungen ausgeschaltet. Das sei aber nach Angaben der Kritiker nicht sinnvoll. Eine Sicherheitsanwendung werde sinnvollerweise mit allen zur Verfügung stehenden Schutzfunktionen untersucht. So könne sichergestellt werden, dass Produkte nicht benachteiligt werden, weil sie eine bestimmte Technik nicht nutzen, aber in der gleichen Situation mit einer anderen Technik ebenfalls erfolgreich sind.
Die Stiftung Warentest hatte einige Sicherheitsanwendungen kritisiert, weil sie ohne bestehende Internetverbindung weniger Schadsoftware erkennen würden. Für den Testfall wurde ein USB-Stick auf einer Reise mit einem Notebook verbunden. Auf dem USB-Stick befand sich Schadsoftware und die hätte laut Stiftung Warentest die Rechner befallen können, weil die Sicherheitsanwendung diese teilweise nicht erkannt habe. Nach Ansicht der Kritiker sei es nicht sinnvoll, heutzutage Sicherheitsprodukte ohne bestehende Internetverbindung zu testen. Denn das Internet sei die "Hauptinfektionsquelle" und Schadsoftware benötige "das Internet, um Schaden anzurichten" . Denn moderne Schadsoftware sei darauf ausgerichtet, Daten via Internet zu stehlen.
Tests ohne Internetanbindung nicht zeitgemäß
Für das Testszenario bemängeln die Kritiker, dass die betroffenen Sicherheitsanwendungen die Schadsoftware hätten erkennen können, sobald die Internetverbindung wieder bestehe. Dann hätten Sicherheitsanwendungen den Anwender immer noch davor schützen können, dass Schaden angerichtet wird. Außerdem würden die Sicherheitsanwendungen die Schadsoftware auf dem USB-Stick mit verhaltensbasierten Methoden erkennen können, was die Stiftung aber nicht untersucht habe.
Virtuelle Maschinen können das Testergebnis verfälschen
Die Stiftung Warentest hat alle Sicherheitsprodukte in einer virtuellen Maschine getestet. Allerdings könne das zu verfälschten Ergebnissen führen, weil Schadsoftware sich in virtuellen Maschinen anders verhalten könne oder dann nicht funktioniert, meinen die Kritiker. In dem offenen Brief heißt es weiter, dass keine Fehlalarmtests durchgeführt worden seien und eben die dynamische Erkennung oder Reputationsprüfung gar nicht gewürdigt worden sei.
Auch bleibe die Frage offen, ob die Stiftung Warentest auch getestet habe, wie die Sicherheitssoftware bei der Ausführung einer Schadanwendung reagiert und ob sie den Nutzer vor Schaden bewahren kann. Aus dem Test gehe zudem nicht hervor, ob auch geprüft wurde, ob die Anwendungen ein System im Falle einer Infektion wieder reparieren kann.
Stiftung Warentest soll Klarstellung drucken
In dem offenen Brief wird die Stiftung Warentest dazu aufgefordert, im kommenden Testheft deutlich darauf hinzuweisen, dass die Testergebnisse mit den Unterzeichnern des Briefs durchgesprochen werden. Zudem sollen die Leser informiert werden, "dass die verwendeten Testszenarien, die bei vielen Produkten zu schwachen Ergebnissen geführt haben, in Alltagssituationen nicht auftreten" .
Die Unterzeichner des offenen Briefs rufen die Stiftung Warentest mehrfach dazu auf, mit ihnen zusammenzuarbeiten, um künftige Tests von Sicherheitsanwendungen praxisnäher durchführen zu können. Damit soll erreicht werden, dass die Testaussagen für die Verbraucher mehr Aussagekraft erhalten.