Virenscanner: Stiftung Warentest widerspricht Kritik am Testverfahren
Die Stiftung Warentest hat im April-Testheft einen Vergleichstest von Virenscannern für Windows-Systeme veröffentlicht. Darauf reagierten acht Hersteller von Sicherheitsanwendungen mit dem deutschen AV-Test mit einem offenen Brief und beklagten sich darüber, dass der Test mit veralteten Methoden durchgeführt wurde und somit keine Relevanz für den Praxiseinsatz von Sicherheitsanwendungen habe. Auf die Vorwürfe auch von Lesern des Heftes hat die Stiftung Warentest nun reagiert(öffnet im neuen Fenster) .
Ein Vorwurf lautet, dass die Anbieter von Sicherheitsanwendungen die genauen Testmethoden nicht kennen würden. Dem widerspricht die Stiftung Warentest: Für jeden Test lade sie die betroffenen Hersteller, Verbraucherschützer und unabhängige Sachverständige ein, die dann in einem Fachbeirat das Prüfprogramm und das spätere Bewertungsschema diskutieren. Das war laut Stiftung Warentest auch im Fall der Virenscanner der Fall und seitens der Anbieter habe es "keinen Widerspruch zum Prüfprogramm" gegeben.
Stiftung: Eine gute Sicherheitssoftware sollte auch ohne Internetverbindung funktionieren
Ein weiterer Vorwurf betrifft das Testverfahren, das nicht mehr zeitgemäß sei. Laut Stiftung erfolgte der Test jedoch nach aktuellen Erkenntnissen. Gelegentlich wurde kritisiert, dass die Virenscanner ausschließlich ohne Internetverbindung getestet worden seien. Laut Stiftung Warentest wurde allerdings sowohl mit als auch ohne bestehende Internetverbindung getestet. Auf diese Unterschiede geht der Testbericht auch ein. Im Test wurden dann die Produkte kritisiert, die ohne bestehende Internetverbindung deutlich weniger Schadsoftware erkannt haben.
Nach Auffassung der Stiftung sollte eine Sicherheitssoftware sowohl mit als auch ohne Internetverbindung funktionieren. "Schließlich sind nicht alle Rechner pausenlos online – zum Beispiel in der Bahn, im Flugzeug oder im Ausland" , heißt es von der Stiftung. Das Internet sei zwar der wichtigste, aber nicht der einzige Infektionsweg auf Computern.
Stiftung Warentest hat Reparaturfunktionen bewusst nicht getestet
Eine weitere Behauptung betraf die Menge der verwendeten Schadanwendungen, die laut Kritikern zu gering gewesen sei. Nach Ansicht der Stiftung Warentest spiele die Menge der Schadprogramme "nicht die entscheidende Rolle" . Zwar würden täglich Tausende neuer Schadprogramme auftauchen, aber die meisten davon seien Abwandlungen bekannter Schadsoftware. Im Test sei darauf geachtet worden, "möglichst unterschiedliche, aktuelle Schadprogramme zu verwenden – und nicht nur Varianten einer Schadanwendung" .
Insgesamt 1.800 Schadprogramme mussten die Sicherheitsanwendungen im Test erkennen und beseitigen, erklärt die Stiftung. Die Schadsoftware wurde aus dem Internet bezogen und teilweise manuell ausgeführt, heißt es weiter. Zudem seien Webseiten geöffnet worden, über die Schadcode verteilt wird. Damit will die Stiftung dem Vorwurf widersprechen, dass die Quellen der Schadsoftware nicht genannt worden seien.
Virenscanner wurden mit den empfohlenen Einstellungen getestet
Ein weiterer Vorwurf lautete, dass die Sicherheitsanwendungen einseitig auf die Erkennung von Schadsoftware mittels Signaturen geprüft worden seien. Auch dieser Behauptung widerspricht die Stiftung Warentest und betont, dass sich der Test an Computernutzer ohne Expertenwissen richte. Alle Produkte seien anonym online gekauft und mit den vom Anbieter empfohlenen Einstellungen installiert worden. In den Anwendungen seien dann keine weiteren Einstellungen vorgenommen worden. Nach Auffassung der Tester wurden die Anwendungen somit so geprüft, wie sie viele Anwender nutzen würden.
Alle Sicherheitsanwendungen hat die Stiftung Warentest in einer virtuellen Maschine unter Windows 7 getestet. Die Stiftung begründet diese Vorgehensweise damit, dass sich die Systeme so leicht nach einer Infektion durch Schadsoftware in den ursprünglichen Zustand versetzen lassen. Dabei hätten Stichproben auf realen Computern das Vorgehen bestätigt. Die Tester gehen damit nicht direkt auf den Vorwurf ein, dass sich manche Schadsoftware in virtuellen Maschinen anders verhalten würde und Sicherheitssoftware daher nicht in virtuellen Maschinen getestet werden sollte.
Fehlalarme wurden nicht getestet
Zwei andere Vorwürfe kann die Stiftung Warentest nicht entkräften. So wurden weder Fehlalarme bewertet noch die Reparaturfunktionen der Sicherheitsanwendungen getestet. Fehlalarme blieben laut Stiftung Warentest unberücksichtigt, weil Tests in den vergangenen Jahren ergeben hätten, dass es bezüglich der Fehlalarme "kaum Unterschiede zwischen den Produkten" gegeben habe.
Die Reparaturfunktionen von Sicherheitsanwendungen habe die Stiftung Warentest ebenfalls bewusst unberücksichtigt gelassen. Laut der Stiftung ist ein "einmal befallenes System [...] nicht mehr uneingeschränkt sicher" . Daher empfiehlt die Stiftung in einem solchen Fall, "ein befallenes System entweder durch ein Backup auf einen älteren Stand zurückzusetzen oder neu zu installieren" . Aktuelle Schadprogramme seien so komplex, dass eine Infektionsentfernung meist sehr aufwendig sei. "Wegen dieser Komplexität kann ein Test nur sehr schwer zu einem gültigen Urteil für alle denkbaren Szenarien führen" , meint die Stiftung.