Abo
  • Services:
Anzeige
Statistik ohne Aussagekraft - das Hasso-Plattner-Institut zählt Sicherheitslücken.
Statistik ohne Aussagekraft - das Hasso-Plattner-Institut zählt Sicherheitslücken. (Bild: Hasso-Plattner-Institut)

Sicherheitslücken: Pseudowissenschaftliche Zahlenspiele

Statistik ohne Aussagekraft - das Hasso-Plattner-Institut zählt Sicherheitslücken.
Statistik ohne Aussagekraft - das Hasso-Plattner-Institut zählt Sicherheitslücken. (Bild: Hasso-Plattner-Institut)

Sicherheitslücken in öffentlichen Datenbanken zu zählen, ist keine seriöse Methode, um etwas über die Sicherheit von Produkten auszusagen. Trotzdem wird das immer wieder gemacht - zuletzt vom Hasso-Plattner-Institut anlässlich der Cebit.

Die "Zahl der Software-Schwachstellen hat sich stark erhöht", meldete das Hasso-Plattner-Institut anlässlich der Cebit auf seiner Webseite. Ob das stimmt, ist unklar - aus den Zahlen, die dazu vorgelegt werden, geht es nicht hervor.

Anzeige

Was ist der Hintergrund dieser Meldung? Das Hasso-Plattner-Institut hat Informationen aus öffentlichen Datenbanken über Sicherheitslücken ausgewertet. Es wurden also schlicht die in Datenbanken veröffentlichten Sicherheitslücken gezählt und daraus - ohne weitere Begründung - geschlossen, dass diese Zahl auch etwas über tatsächliche Sicherheitslücken aussage. Dazu wurden die Zahlen nach Betriebssystemen und Browsern aufgeschlüsselt.

Weiterhin, so die Meldung, "nahmen vor allem die mittelschweren Software-Schwachstellen deutlich zu und erreichten 2014 ihren absoluten Höchststand. Die Sicherheitslücken von höchstem Schweregrad nehmen hingegen seit 2008 beständig ab." Was mittelschwere und Sicherheitslücken von besonderem Schweregrad sind, erfährt der Leser nicht. Es gibt auch keine wissenschaftliche Publikation, die der Meldung zugrunde liegt und in der man sich über die genaue Methodik der Zählung informieren könnte.

Unseriöse Statistiken

Das simple Zählen von Sicherheitslücken - und das Ableiten von Schlussfolgerungen daraus - gilt eigentlich schon lange als unseriös. Trotzdem tauchen immer wieder Statistiken auf, in denen etwa behauptet wird, ein bestimmtes Produkt sei besonders sicher oder unsicher, weil im Vergleich zu Konkurrenzprodukten in einem bestimmten Zeitraum mehr oder weniger Sicherheitslücken gemeldet wurden.

Die Probleme eines derartigen Ansatzes sind zahlreich. So kann eine hohe Anzahl von gefundenen Sicherheitslücken auch bedeuten, dass der Hersteller der entsprechenden Software besonders intensiv nach Lücken gesucht hat, die Software also nach heutigem Stand als besonders sicher gelten sollte.

Daher sind derartige Statistiken nicht nur wenig aussagekräftig; wenn sie ernst genommen werden, können sie sogar schaden. Denn Hersteller, die besonders vorsichtig mit Sicherheitslücken umgehen, haben dadurch in der Statistik nur Nachteile. Wer mit Sicherheitslücken transparent umgeht, schneidet schlechter ab als jemand, der Sicherheitslücken, wo immer es möglich ist, verschweigt. Viele Anbieter proprietärer Software veröffentlichen nur spärlich Details über behobene Sicherheitslücken und erwähnen es überhaupt nicht, wenn Lücken in internen Audits gefunden wurden. Bei freier Software ist der Umgang mit Sicherheitslücken meist transparenter, leider gibt es auch hier einzelne Projekte, die lieber versuchen, Sicherheitslücken herunterzuspielen oder zu vertuschen.

Wer vorsichtig handelt, meldet mehr Sicherheitslücken

Bedenken muss man auch, dass es in vielen Fällen alles andere als klar ist, ob ein Fehler in einer Software wirklich ein Sicherheitsrisiko darstellt. Ein Hersteller, der in solchen Fällen besonders vorsichtig ist und auch solch unklare Fehler als Sicherheitslücken behandelt, schneidet ebenfalls in der Statistik schlechter ab. Typische Beispiele sind Memory-Corruption-Fehler. Hier ist oft eine ausführliche Analyse durch Sicherheitsspezialisten notwendig, um zu beurteilen, ob sich ein Fehler für Angriffe ausnutzen lässt.

Der Chrome-Entwickler Justin Schuh hat dieses Problem kürzlich anhand von Chrome erläutert. In vielen Fällen sparen sich die Chrome-Entwickler eine genauere Analyse möglicher Sicherheitslücken, da es einfacher ist, den Fehler schlicht schnell zu beheben und das Schlimmste anzunehmen. Für die Nutzer ist das gut, denn es ist extrem unwahrscheinlich, dass ein sicherheitskritischer Fehler übersehen wird. In schlecht gemachten Statistiken erscheint Chrome dadurch jedoch als unsicherer.

Auch diejenigen, die Datenbanken über Sicherheitslücken pflegen, wehren sich gegen einen Missbrauch ihrer Daten. 2013 hatten Steve Christey, verantwortlich für die CVE-Datenbank, und Brian Martin, verantwortlich für die Open Source Vulnerability Database (OSVDB), auf der Black-Hat-Konferenz in einem sehr sehenswerten Vortrag vor dem unseriösen Zählen von Sicherheitslücken gewarnt. "Als Maintainer von zwei bekannten Archiven von Sicherheitslücken haben wir genug davon, von schlechter Forschung zu hören, nachdem sie veröffentlicht wurde", schrieben die beiden damals in ihrer Ankündigung. Der Vortrag geht ausführlich auf die zahlreichen Probleme ein, die beim sturen Zählen von Sicherheitslücken auftauchen.

CVE-Datenbank hat heute mehr Personal

Besonders interessant dürfte aber eine Anmerkung von Steve Christey über die CVE-Datenbank sein, denn sie erklärt vermutlich, warum das Hasso-Plattner-Institut im vergangenen Jahr einen vermeintlichen Anstieg der Sicherheitslücken gemessen hat: Der Betreuer der CVE-Datenbank hatte für 2014 die Einstellung von mehr Personal angekündigt. Sprich: mehr Menschen, die dafür zuständig sind, öffentlich bekannte Sicherheitslücken in die CVE-Datenbank einzutragen. Vermutlich hat das Hasso-Plattner-Institut schlicht indirekt gemessen, dass die Betreuer der wichtigsten Datenbank für Sicherheitslücken mehr Arbeitsplätze geschaffen haben.

Wir hatten dem Hasso-Plattner-Institut einige Fragen zur Methodik der Auswertung seiner Statistik gestellt. Eine Antwort haben wir bislang nicht erhalten.

Nachtrag vom 19. März 2015, 15:38 Uhr

Das Hasso-Plattner-Institut hat uns inzwischen geantwortet und einige Informationen zu seinen Zahlen und deren Interpretationen geliefert. "Wir betreiben an unserem Institut eine Schwachstellendatenbank, die sogenannte HPI-VDB, die Informationen aus mehreren frei verfügbaren Schwachstellendatenbanken (z. B. National Vulnerability Database [NVD]) sammelt und in maschinenlesbarer Form zur Abfrage bereitstellt", schreibt uns Hans-Joachim Allgaier vom Hasso-Plattner-Institut. Weiter heißt es: "In dem Presseartikel erläutern wir, dass sich die Anzahl von öffentlich bekannten Schwachstellen in den letzten Jahren fortlaufend erhöht hat, insbesondere bei den mittelschweren Schwachstellen."

Dieser Schluss ist für uns nicht nachvollziehbar, denn die öffentlichen Schwachstellendatenbanken sind immer unvollständig. Wie im Artikel bereits erläutert, hängt die Zahl der dort erfassten Schwachstellen in hohem Maße davon ab, wie viel Aufwand die entsprechenden Schwachstellendatenbanken betreiben.

Das Hasso-Plattner-Institut stellt außerdem klar: "Der Anstieg der veröffentlichten Schwachstellen hat vermutlich wenig bzw. gar nichts damit zu tun, dass Software unsicherer geworden ist. Es ist sogar eher wahrscheinlich, dass Software sicherer geworden ist (z. B. durch Sandboxing oder ASLR)." Diese Einschätzung teilen wir, sie geht allerdings aus der vom Hasso-Plattner-Institut veröffentlichten Pressemeldung nicht hervor.

Weiterhin erläutert uns das Hasso-Plattner-Institut, nach welchen Kriterien es Schwachstellen als schwer oder mittelschwer eingeschätzt hat: "Die Einstufung der Schwachstellen nach Kritikalität basiert auf dem freien und offenen Industriestandard CVSS (Common Vulnerability Scoring System). Da der Standard in der Sicherheitsgemeinde weit verbreitet ist, findet man diesen auch in vielen Schwachstellendatenbanken wieder. Die Kritikalität wird beispielsweise durch den Einfluss einer Schwachstelle auf Integrität, Verfügbarkeit und Vertraulichkeit berechnet. Jedoch fließt ebenfalls mit ein, ob z. B. die Schwachstelle entfernt ausnutzbar ist und ob bereits ein Exploit existiert."

Es wäre sicher hilfreich für die Beurteilung gewesen, wenn dies bereits in der Pressemeldung erläutert worden wäre. Dass der CVSS-Wert kein brauchbarer Indikator für derartige Statistiken ist, hat allerdings Steve Christey, der selbst an den Kriterien hierfür mitgearbeitet hat, ausführlich auf dem bereits im Text erwähnten Vortrag auf der Black Hat 2013 erläutert. So wird beispielsweise für Sicherheitslücken, zu denen keine näheren Informationen verfügbar sind, oft automatisch der Maximalscore vergeben.

IMHO ist der Kommentar von Golem.de. IMHO = In My Humble Opinion (Meiner bescheidenen Meinung nach)


eye home zur Startseite
bstea 20. Mär 2015

Eigentlich schon. Man vergleiche LibreSSL und OpenSSL. Die Codequalität von OpenSSL ist...

benji83 19. Mär 2015

Tschuldige, dann habe ich dich komplett missverstanden. Wollte nur eine Lanze für Golem...

Atalanttore 19. Mär 2015

Zum Beispiel die Computerzeitschrift CHIP in einer der letzten Ausgaben. (Anmerkung...



Anzeige

Stellenmarkt
  1. eins energie in sachsen GmbH & Co. KG, Chemnitz
  2. Elektronische Fahrwerksysteme GmbH, Ingolstadt
  3. Hermes Germany GmbH, Hamburg
  4. Digital Performance GmbH, Berlin


Anzeige
Blu-ray-Angebote
  1. 12,99€
  2. (u. a. Vier Fäuste für ein Halleluja, Zwei bärenstarke Typen,Vier Fäuste gegen Rio)
  3. 17,97€

Folgen Sie uns
       


  1. Raspberry Pi

    Schutz gegen Übernahme durch Hacker und Botnetze verbessert

  2. UHD-Blu-ray

    PowerDVD spielt 4K-Discs

  3. Raumfahrt

    Europa bleibt im All

  4. Nationale Sicherheit

    Obama verhindert Aixtron-Verkauf nach China

  5. Die Woche im Video

    Telekom fällt aus und HPE erfindet den Computer neu - fast

  6. Hololens

    Microsoft holoportiert Leute aus dem Auto ins Büro

  7. Star Wars

    Todesstern kostet 6,25 Quadrilliarden britische Pfund am Tag

  8. NSA-Ausschuss

    Wikileaks könnte Bundestagsquelle enttarnt haben

  9. Transparenzverordnung

    Angaben-Wirrwarr statt einer ehrlichen Datenratenangabe

  10. Urteil zu Sofortüberweisung

    OLG empfiehlt Verbrauchern Einkauf im Ladengeschäft



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Nach Angriff auf Telekom: Mit dem Strafrecht Router ins Terrorcamp schicken oder so
Nach Angriff auf Telekom
Mit dem Strafrecht Router ins Terrorcamp schicken oder so
  1. 0-Day Tor und Firefox patchen ausgenutzten Javascript-Exploit
  2. Pornoseite Xhamster spricht von Fake-Leak
  3. Mitfahrgelegenheit.de 640.000 Ibans von Mitfahrzentrale-Nutzern kopiert

Digitalcharta: Operation am offenen Herzen der europäischen Demokratie
Digitalcharta
Operation am offenen Herzen der europäischen Demokratie
  1. EU-Kommission Mehrwertsteuer für digitale Medien soll sinken
  2. Vernetzte Geräte Verbraucherminister fordern Datenschutz im Haushalt
  3. Neue Richtlinie EU plant Netzsperren und Staatstrojaner

Garamantis: Vorsicht Vitrine, anfassen erwünscht!
Garamantis
Vorsicht Vitrine, anfassen erwünscht!
  1. Gentechnik Mediziner setzen einem Menschen Crispr-veränderte Zellen ein
  2. Zarm Zehn Sekunden schwerelos
  3. Mikroelektronik Wie eine Vakuumröhre - nur klein, stromsparend und schnell

  1. Re: Alter Hut

    DerSkeptiker | 18:22

  2. Re: Angriffs Szenario

    fuzzy | 18:19

  3. Re: Das diabolische Microsoft mal wieder...

    My1 | 18:17

  4. Re: Port umlenken

    EWCH | 18:15

  5. Re: Hinweis wäre nett gewesen ...

    FlorianP | 18:14


  1. 15:33

  2. 14:43

  3. 13:37

  4. 11:12

  5. 09:02

  6. 18:27

  7. 18:01

  8. 17:46


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel