Abo
  • Services:
Anzeige
Statistik ohne Aussagekraft - das Hasso-Plattner-Institut zählt Sicherheitslücken.
Statistik ohne Aussagekraft - das Hasso-Plattner-Institut zählt Sicherheitslücken. (Bild: Hasso-Plattner-Institut)

Sicherheitslücken: Pseudowissenschaftliche Zahlenspiele

Statistik ohne Aussagekraft - das Hasso-Plattner-Institut zählt Sicherheitslücken.
Statistik ohne Aussagekraft - das Hasso-Plattner-Institut zählt Sicherheitslücken. (Bild: Hasso-Plattner-Institut)

Sicherheitslücken in öffentlichen Datenbanken zu zählen, ist keine seriöse Methode, um etwas über die Sicherheit von Produkten auszusagen. Trotzdem wird das immer wieder gemacht - zuletzt vom Hasso-Plattner-Institut anlässlich der Cebit.
Von Hanno Böck

Die "Zahl der Software-Schwachstellen hat sich stark erhöht", meldete das Hasso-Plattner-Institut anlässlich der Cebit auf seiner Webseite. Ob das stimmt, ist unklar - aus den Zahlen, die dazu vorgelegt werden, geht es nicht hervor.

Anzeige

Was ist der Hintergrund dieser Meldung? Das Hasso-Plattner-Institut hat Informationen aus öffentlichen Datenbanken über Sicherheitslücken ausgewertet. Es wurden also schlicht die in Datenbanken veröffentlichten Sicherheitslücken gezählt und daraus - ohne weitere Begründung - geschlossen, dass diese Zahl auch etwas über tatsächliche Sicherheitslücken aussage. Dazu wurden die Zahlen nach Betriebssystemen und Browsern aufgeschlüsselt.

Weiterhin, so die Meldung, "nahmen vor allem die mittelschweren Software-Schwachstellen deutlich zu und erreichten 2014 ihren absoluten Höchststand. Die Sicherheitslücken von höchstem Schweregrad nehmen hingegen seit 2008 beständig ab." Was mittelschwere und Sicherheitslücken von besonderem Schweregrad sind, erfährt der Leser nicht. Es gibt auch keine wissenschaftliche Publikation, die der Meldung zugrunde liegt und in der man sich über die genaue Methodik der Zählung informieren könnte.

Unseriöse Statistiken

Das simple Zählen von Sicherheitslücken - und das Ableiten von Schlussfolgerungen daraus - gilt eigentlich schon lange als unseriös. Trotzdem tauchen immer wieder Statistiken auf, in denen etwa behauptet wird, ein bestimmtes Produkt sei besonders sicher oder unsicher, weil im Vergleich zu Konkurrenzprodukten in einem bestimmten Zeitraum mehr oder weniger Sicherheitslücken gemeldet wurden.

Die Probleme eines derartigen Ansatzes sind zahlreich. So kann eine hohe Anzahl von gefundenen Sicherheitslücken auch bedeuten, dass der Hersteller der entsprechenden Software besonders intensiv nach Lücken gesucht hat, die Software also nach heutigem Stand als besonders sicher gelten sollte.

Daher sind derartige Statistiken nicht nur wenig aussagekräftig; wenn sie ernst genommen werden, können sie sogar schaden. Denn Hersteller, die besonders vorsichtig mit Sicherheitslücken umgehen, haben dadurch in der Statistik nur Nachteile. Wer mit Sicherheitslücken transparent umgeht, schneidet schlechter ab als jemand, der Sicherheitslücken, wo immer es möglich ist, verschweigt. Viele Anbieter proprietärer Software veröffentlichen nur spärlich Details über behobene Sicherheitslücken und erwähnen es überhaupt nicht, wenn Lücken in internen Audits gefunden wurden. Bei freier Software ist der Umgang mit Sicherheitslücken meist transparenter, leider gibt es auch hier einzelne Projekte, die lieber versuchen, Sicherheitslücken herunterzuspielen oder zu vertuschen.

Wer vorsichtig handelt, meldet mehr Sicherheitslücken

Bedenken muss man auch, dass es in vielen Fällen alles andere als klar ist, ob ein Fehler in einer Software wirklich ein Sicherheitsrisiko darstellt. Ein Hersteller, der in solchen Fällen besonders vorsichtig ist und auch solch unklare Fehler als Sicherheitslücken behandelt, schneidet ebenfalls in der Statistik schlechter ab. Typische Beispiele sind Memory-Corruption-Fehler. Hier ist oft eine ausführliche Analyse durch Sicherheitsspezialisten notwendig, um zu beurteilen, ob sich ein Fehler für Angriffe ausnutzen lässt.

Der Chrome-Entwickler Justin Schuh hat dieses Problem kürzlich anhand von Chrome erläutert. In vielen Fällen sparen sich die Chrome-Entwickler eine genauere Analyse möglicher Sicherheitslücken, da es einfacher ist, den Fehler schlicht schnell zu beheben und das Schlimmste anzunehmen. Für die Nutzer ist das gut, denn es ist extrem unwahrscheinlich, dass ein sicherheitskritischer Fehler übersehen wird. In schlecht gemachten Statistiken erscheint Chrome dadurch jedoch als unsicherer.

Auch diejenigen, die Datenbanken über Sicherheitslücken pflegen, wehren sich gegen einen Missbrauch ihrer Daten. 2013 hatten Steve Christey, verantwortlich für die CVE-Datenbank, und Brian Martin, verantwortlich für die Open Source Vulnerability Database (OSVDB), auf der Black-Hat-Konferenz in einem sehr sehenswerten Vortrag vor dem unseriösen Zählen von Sicherheitslücken gewarnt. "Als Maintainer von zwei bekannten Archiven von Sicherheitslücken haben wir genug davon, von schlechter Forschung zu hören, nachdem sie veröffentlicht wurde", schrieben die beiden damals in ihrer Ankündigung. Der Vortrag geht ausführlich auf die zahlreichen Probleme ein, die beim sturen Zählen von Sicherheitslücken auftauchen.

CVE-Datenbank hat heute mehr Personal

Besonders interessant dürfte aber eine Anmerkung von Steve Christey über die CVE-Datenbank sein, denn sie erklärt vermutlich, warum das Hasso-Plattner-Institut im vergangenen Jahr einen vermeintlichen Anstieg der Sicherheitslücken gemessen hat: Der Betreuer der CVE-Datenbank hatte für 2014 die Einstellung von mehr Personal angekündigt. Sprich: mehr Menschen, die dafür zuständig sind, öffentlich bekannte Sicherheitslücken in die CVE-Datenbank einzutragen. Vermutlich hat das Hasso-Plattner-Institut schlicht indirekt gemessen, dass die Betreuer der wichtigsten Datenbank für Sicherheitslücken mehr Arbeitsplätze geschaffen haben.

Wir hatten dem Hasso-Plattner-Institut einige Fragen zur Methodik der Auswertung seiner Statistik gestellt. Eine Antwort haben wir bislang nicht erhalten.

Nachtrag vom 19. März 2015, 15:38 Uhr

Das Hasso-Plattner-Institut hat uns inzwischen geantwortet und einige Informationen zu seinen Zahlen und deren Interpretationen geliefert. "Wir betreiben an unserem Institut eine Schwachstellendatenbank, die sogenannte HPI-VDB, die Informationen aus mehreren frei verfügbaren Schwachstellendatenbanken (z. B. National Vulnerability Database [NVD]) sammelt und in maschinenlesbarer Form zur Abfrage bereitstellt", schreibt uns Hans-Joachim Allgaier vom Hasso-Plattner-Institut. Weiter heißt es: "In dem Presseartikel erläutern wir, dass sich die Anzahl von öffentlich bekannten Schwachstellen in den letzten Jahren fortlaufend erhöht hat, insbesondere bei den mittelschweren Schwachstellen."

Dieser Schluss ist für uns nicht nachvollziehbar, denn die öffentlichen Schwachstellendatenbanken sind immer unvollständig. Wie im Artikel bereits erläutert, hängt die Zahl der dort erfassten Schwachstellen in hohem Maße davon ab, wie viel Aufwand die entsprechenden Schwachstellendatenbanken betreiben.

Das Hasso-Plattner-Institut stellt außerdem klar: "Der Anstieg der veröffentlichten Schwachstellen hat vermutlich wenig bzw. gar nichts damit zu tun, dass Software unsicherer geworden ist. Es ist sogar eher wahrscheinlich, dass Software sicherer geworden ist (z. B. durch Sandboxing oder ASLR)." Diese Einschätzung teilen wir, sie geht allerdings aus der vom Hasso-Plattner-Institut veröffentlichten Pressemeldung nicht hervor.

Weiterhin erläutert uns das Hasso-Plattner-Institut, nach welchen Kriterien es Schwachstellen als schwer oder mittelschwer eingeschätzt hat: "Die Einstufung der Schwachstellen nach Kritikalität basiert auf dem freien und offenen Industriestandard CVSS (Common Vulnerability Scoring System). Da der Standard in der Sicherheitsgemeinde weit verbreitet ist, findet man diesen auch in vielen Schwachstellendatenbanken wieder. Die Kritikalität wird beispielsweise durch den Einfluss einer Schwachstelle auf Integrität, Verfügbarkeit und Vertraulichkeit berechnet. Jedoch fließt ebenfalls mit ein, ob z. B. die Schwachstelle entfernt ausnutzbar ist und ob bereits ein Exploit existiert."

Es wäre sicher hilfreich für die Beurteilung gewesen, wenn dies bereits in der Pressemeldung erläutert worden wäre. Dass der CVSS-Wert kein brauchbarer Indikator für derartige Statistiken ist, hat allerdings Steve Christey, der selbst an den Kriterien hierfür mitgearbeitet hat, ausführlich auf dem bereits im Text erwähnten Vortrag auf der Black Hat 2013 erläutert. So wird beispielsweise für Sicherheitslücken, zu denen keine näheren Informationen verfügbar sind, oft automatisch der Maximalscore vergeben.

IMHO ist der Kommentar von Golem.de. IMHO = In My Humble Opinion (Meiner bescheidenen Meinung nach)


eye home zur Startseite
bstea 20. Mär 2015

Eigentlich schon. Man vergleiche LibreSSL und OpenSSL. Die Codequalität von OpenSSL ist...

benji83 19. Mär 2015

Tschuldige, dann habe ich dich komplett missverstanden. Wollte nur eine Lanze für Golem...

Atalanttore 19. Mär 2015

Zum Beispiel die Computerzeitschrift CHIP in einer der letzten Ausgaben. (Anmerkung...



Anzeige

Stellenmarkt
  1. Zürich Beteiligungs-Aktiengesellschaft, Köln
  2. Daimler AG, Leinfelden-Echterdingen
  3. Landeshauptstadt München, München
  4. ENERCON GmbH, Aurich


Anzeige
Blu-ray-Angebote
  1. 65,00€
  2. (u. a. Hobbit Trilogie Blu-ray 44,97€, Batman Dark Knight Trilogy Blu-ray 17,99€)
  3. 29,99€ (Vorbesteller-Preisgarantie)

Folgen Sie uns
       


  1. Prozessoren

    AMD bringt Ryzen mit 12 und 16 Kernen und X390-Chipsatz

  2. Spark Room Kit

    Cisco bringt KI in Konferenzräume

  3. Kamera

    Facebook macht schicke Bilder und löscht sie dann wieder

  4. Tapdo

    Das Smart Home mit Fingerabdrücken steuern

  5. 17,3-Zoll-Notebook

    Razer aktualisiert das Blade Pro mit THX-Zertifizierung

  6. Mobilfunk

    Tschechien versteigert Frequenzen für 5G-Netze

  7. Let's Encrypt

    Immer mehr Phishing-Seiten beantragen Zertifikate

  8. E-Mail-Lesen erlaubt

    Koalition bessert Gesetz zum automatisierten Fahren nach

  9. Ransomware

    Scammer erpressen Besucher von Porno-Seiten

  10. Passwort-Manager

    Lastpass fällt mit gleich drei Sicherheitslücken auf



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
NZXT: Lüfter auch unter Linux steuern
NZXT
Lüfter auch unter Linux steuern
  1. Creoqode 2048 Tragbare Spielekonsole zum Basteln erhältlich
  2. FluoWiFi Arduino-kompatibles Board bietet WLAN und Bluetooth
  3. Me Arm Pi Roboterarm zum Selberbauen

Forensik Challenge: Lust auf eine Cyber-Stelle beim BND? Golem.de hilft!
Forensik Challenge
Lust auf eine Cyber-Stelle beim BND? Golem.de hilft!
  1. Reporter ohne Grenzen Verfassungsklage gegen BND-Überwachung eingereicht
  2. Selektorenaffäre BND soll ausländische Journalisten ausspioniert haben
  3. Ex-Verfassungsgerichtspräsident Papier Die Politik stellt sich beim BND-Gesetz taub

Hannover: Die Sommer-Cebit wird teuer
Hannover
Die Sommer-Cebit wird teuer
  1. Hannover Pavillons für die Sommer-Cebit sind schon ausgebucht
  2. Ab 2018 Cebit findet künftig im Sommer statt
  3. Modell 32UD99 LGs erster HDR-Monitor mit USB-C kommt nach Deutschland

  1. Re: Finde den Fehler

    LSB_im_T | 19:45

  2. Re: Kleinstrechner Einmalundniemehrwieder

    ArcherV | 19:39

  3. Re: Wenn man kein Amazonkonto hat?

    quineloe | 19:38

  4. Re: Das Problem ist nur...

    Dragon Of Blood | 19:37

  5. Re: Regel #1 des Internet

    Graveangel | 19:35


  1. 18:51

  2. 18:32

  3. 18:10

  4. 17:50

  5. 17:28

  6. 17:10

  7. 16:45

  8. 16:43


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel