Abo
  • Services:
Anzeige
Statistik ohne Aussagekraft - das Hasso-Plattner-Institut zählt Sicherheitslücken.
Statistik ohne Aussagekraft - das Hasso-Plattner-Institut zählt Sicherheitslücken. (Bild: Hasso-Plattner-Institut)

Sicherheitslücken: Pseudowissenschaftliche Zahlenspiele

Statistik ohne Aussagekraft - das Hasso-Plattner-Institut zählt Sicherheitslücken.
Statistik ohne Aussagekraft - das Hasso-Plattner-Institut zählt Sicherheitslücken. (Bild: Hasso-Plattner-Institut)

Sicherheitslücken in öffentlichen Datenbanken zu zählen, ist keine seriöse Methode, um etwas über die Sicherheit von Produkten auszusagen. Trotzdem wird das immer wieder gemacht - zuletzt vom Hasso-Plattner-Institut anlässlich der Cebit.
Von Hanno Böck

Die "Zahl der Software-Schwachstellen hat sich stark erhöht", meldete das Hasso-Plattner-Institut anlässlich der Cebit auf seiner Webseite. Ob das stimmt, ist unklar - aus den Zahlen, die dazu vorgelegt werden, geht es nicht hervor.

Anzeige

Was ist der Hintergrund dieser Meldung? Das Hasso-Plattner-Institut hat Informationen aus öffentlichen Datenbanken über Sicherheitslücken ausgewertet. Es wurden also schlicht die in Datenbanken veröffentlichten Sicherheitslücken gezählt und daraus - ohne weitere Begründung - geschlossen, dass diese Zahl auch etwas über tatsächliche Sicherheitslücken aussage. Dazu wurden die Zahlen nach Betriebssystemen und Browsern aufgeschlüsselt.

Weiterhin, so die Meldung, "nahmen vor allem die mittelschweren Software-Schwachstellen deutlich zu und erreichten 2014 ihren absoluten Höchststand. Die Sicherheitslücken von höchstem Schweregrad nehmen hingegen seit 2008 beständig ab." Was mittelschwere und Sicherheitslücken von besonderem Schweregrad sind, erfährt der Leser nicht. Es gibt auch keine wissenschaftliche Publikation, die der Meldung zugrunde liegt und in der man sich über die genaue Methodik der Zählung informieren könnte.

Unseriöse Statistiken

Das simple Zählen von Sicherheitslücken - und das Ableiten von Schlussfolgerungen daraus - gilt eigentlich schon lange als unseriös. Trotzdem tauchen immer wieder Statistiken auf, in denen etwa behauptet wird, ein bestimmtes Produkt sei besonders sicher oder unsicher, weil im Vergleich zu Konkurrenzprodukten in einem bestimmten Zeitraum mehr oder weniger Sicherheitslücken gemeldet wurden.

Die Probleme eines derartigen Ansatzes sind zahlreich. So kann eine hohe Anzahl von gefundenen Sicherheitslücken auch bedeuten, dass der Hersteller der entsprechenden Software besonders intensiv nach Lücken gesucht hat, die Software also nach heutigem Stand als besonders sicher gelten sollte.

Daher sind derartige Statistiken nicht nur wenig aussagekräftig; wenn sie ernst genommen werden, können sie sogar schaden. Denn Hersteller, die besonders vorsichtig mit Sicherheitslücken umgehen, haben dadurch in der Statistik nur Nachteile. Wer mit Sicherheitslücken transparent umgeht, schneidet schlechter ab als jemand, der Sicherheitslücken, wo immer es möglich ist, verschweigt. Viele Anbieter proprietärer Software veröffentlichen nur spärlich Details über behobene Sicherheitslücken und erwähnen es überhaupt nicht, wenn Lücken in internen Audits gefunden wurden. Bei freier Software ist der Umgang mit Sicherheitslücken meist transparenter, leider gibt es auch hier einzelne Projekte, die lieber versuchen, Sicherheitslücken herunterzuspielen oder zu vertuschen.

Wer vorsichtig handelt, meldet mehr Sicherheitslücken

Bedenken muss man auch, dass es in vielen Fällen alles andere als klar ist, ob ein Fehler in einer Software wirklich ein Sicherheitsrisiko darstellt. Ein Hersteller, der in solchen Fällen besonders vorsichtig ist und auch solch unklare Fehler als Sicherheitslücken behandelt, schneidet ebenfalls in der Statistik schlechter ab. Typische Beispiele sind Memory-Corruption-Fehler. Hier ist oft eine ausführliche Analyse durch Sicherheitsspezialisten notwendig, um zu beurteilen, ob sich ein Fehler für Angriffe ausnutzen lässt.

Der Chrome-Entwickler Justin Schuh hat dieses Problem kürzlich anhand von Chrome erläutert. In vielen Fällen sparen sich die Chrome-Entwickler eine genauere Analyse möglicher Sicherheitslücken, da es einfacher ist, den Fehler schlicht schnell zu beheben und das Schlimmste anzunehmen. Für die Nutzer ist das gut, denn es ist extrem unwahrscheinlich, dass ein sicherheitskritischer Fehler übersehen wird. In schlecht gemachten Statistiken erscheint Chrome dadurch jedoch als unsicherer.

Auch diejenigen, die Datenbanken über Sicherheitslücken pflegen, wehren sich gegen einen Missbrauch ihrer Daten. 2013 hatten Steve Christey, verantwortlich für die CVE-Datenbank, und Brian Martin, verantwortlich für die Open Source Vulnerability Database (OSVDB), auf der Black-Hat-Konferenz in einem sehr sehenswerten Vortrag vor dem unseriösen Zählen von Sicherheitslücken gewarnt. "Als Maintainer von zwei bekannten Archiven von Sicherheitslücken haben wir genug davon, von schlechter Forschung zu hören, nachdem sie veröffentlicht wurde", schrieben die beiden damals in ihrer Ankündigung. Der Vortrag geht ausführlich auf die zahlreichen Probleme ein, die beim sturen Zählen von Sicherheitslücken auftauchen.

CVE-Datenbank hat heute mehr Personal

Besonders interessant dürfte aber eine Anmerkung von Steve Christey über die CVE-Datenbank sein, denn sie erklärt vermutlich, warum das Hasso-Plattner-Institut im vergangenen Jahr einen vermeintlichen Anstieg der Sicherheitslücken gemessen hat: Der Betreuer der CVE-Datenbank hatte für 2014 die Einstellung von mehr Personal angekündigt. Sprich: mehr Menschen, die dafür zuständig sind, öffentlich bekannte Sicherheitslücken in die CVE-Datenbank einzutragen. Vermutlich hat das Hasso-Plattner-Institut schlicht indirekt gemessen, dass die Betreuer der wichtigsten Datenbank für Sicherheitslücken mehr Arbeitsplätze geschaffen haben.

Wir hatten dem Hasso-Plattner-Institut einige Fragen zur Methodik der Auswertung seiner Statistik gestellt. Eine Antwort haben wir bislang nicht erhalten.

Nachtrag vom 19. März 2015, 15:38 Uhr

Das Hasso-Plattner-Institut hat uns inzwischen geantwortet und einige Informationen zu seinen Zahlen und deren Interpretationen geliefert. "Wir betreiben an unserem Institut eine Schwachstellendatenbank, die sogenannte HPI-VDB, die Informationen aus mehreren frei verfügbaren Schwachstellendatenbanken (z. B. National Vulnerability Database [NVD]) sammelt und in maschinenlesbarer Form zur Abfrage bereitstellt", schreibt uns Hans-Joachim Allgaier vom Hasso-Plattner-Institut. Weiter heißt es: "In dem Presseartikel erläutern wir, dass sich die Anzahl von öffentlich bekannten Schwachstellen in den letzten Jahren fortlaufend erhöht hat, insbesondere bei den mittelschweren Schwachstellen."

Dieser Schluss ist für uns nicht nachvollziehbar, denn die öffentlichen Schwachstellendatenbanken sind immer unvollständig. Wie im Artikel bereits erläutert, hängt die Zahl der dort erfassten Schwachstellen in hohem Maße davon ab, wie viel Aufwand die entsprechenden Schwachstellendatenbanken betreiben.

Das Hasso-Plattner-Institut stellt außerdem klar: "Der Anstieg der veröffentlichten Schwachstellen hat vermutlich wenig bzw. gar nichts damit zu tun, dass Software unsicherer geworden ist. Es ist sogar eher wahrscheinlich, dass Software sicherer geworden ist (z. B. durch Sandboxing oder ASLR)." Diese Einschätzung teilen wir, sie geht allerdings aus der vom Hasso-Plattner-Institut veröffentlichten Pressemeldung nicht hervor.

Weiterhin erläutert uns das Hasso-Plattner-Institut, nach welchen Kriterien es Schwachstellen als schwer oder mittelschwer eingeschätzt hat: "Die Einstufung der Schwachstellen nach Kritikalität basiert auf dem freien und offenen Industriestandard CVSS (Common Vulnerability Scoring System). Da der Standard in der Sicherheitsgemeinde weit verbreitet ist, findet man diesen auch in vielen Schwachstellendatenbanken wieder. Die Kritikalität wird beispielsweise durch den Einfluss einer Schwachstelle auf Integrität, Verfügbarkeit und Vertraulichkeit berechnet. Jedoch fließt ebenfalls mit ein, ob z. B. die Schwachstelle entfernt ausnutzbar ist und ob bereits ein Exploit existiert."

Es wäre sicher hilfreich für die Beurteilung gewesen, wenn dies bereits in der Pressemeldung erläutert worden wäre. Dass der CVSS-Wert kein brauchbarer Indikator für derartige Statistiken ist, hat allerdings Steve Christey, der selbst an den Kriterien hierfür mitgearbeitet hat, ausführlich auf dem bereits im Text erwähnten Vortrag auf der Black Hat 2013 erläutert. So wird beispielsweise für Sicherheitslücken, zu denen keine näheren Informationen verfügbar sind, oft automatisch der Maximalscore vergeben.

IMHO ist der Kommentar von Golem.de. IMHO = In My Humble Opinion (Meiner bescheidenen Meinung nach)


eye home zur Startseite
bstea 20. Mär 2015

Eigentlich schon. Man vergleiche LibreSSL und OpenSSL. Die Codequalität von OpenSSL ist...

benji83 19. Mär 2015

Tschuldige, dann habe ich dich komplett missverstanden. Wollte nur eine Lanze für Golem...

Atalanttore 19. Mär 2015

Zum Beispiel die Computerzeitschrift CHIP in einer der letzten Ausgaben. (Anmerkung...



Anzeige

Stellenmarkt
  1. Schaeffler Technologies AG & Co. KG, Herzogenaurach
  2. T-Systems International GmbH, verschiedene Standorte
  3. T-Systems International GmbH, Leinfelden-Echterdingen
  4. Robert Bosch GmbH, Abstatt


Anzeige
Hardware-Angebote
  1. täglich neue Deals
  2. (reduzierte Überstände, Restposten & Co.)

Folgen Sie uns
       


  1. Cortex-A75

    ARM bringt CPU-Kern für Windows-10-Geräte

  2. Cortex-A55

    ARMs neuer kleiner Lieblingskern

  3. Mali-G72

    ARMs Grafikeinheit für Deep-Learning-Smartphones

  4. Service

    Telekom verspricht kürzeres Warten auf Techniker

  5. BVG

    Fast alle U-Bahnhöfe mit offenem WLAN

  6. Android-Apps

    Rechtemissbrauch ermöglicht unsichtbare Tastaturmitschnitte

  7. Electro Fluidic Technology

    Schnelles E-Paper-Display für Video-Anwendungen

  8. Heiko Maas

    "Kein Wunder, dass Facebook seine Vorgaben geheim hält"

  9. Virtual Reality

    Oculus Rift unterstützt offiziell Roomscale-VR

  10. FTP-Client

    Filezilla bekommt ein Master Password



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Asus B9440 im Test: Leichtes Geschäftsnotebook liefert zu wenig Business
Asus B9440 im Test
Leichtes Geschäftsnotebook liefert zu wenig Business
  1. ROG-Event in Berlin Asus zeigt gekrümmtes 165-Hz-Quantum-Dot-Display und mehr

Elektromobilität: Wie kommt der Strom in die Tiefgarage?
Elektromobilität
Wie kommt der Strom in die Tiefgarage?
  1. Elektroauto Tesla gewährt rückwirkend Supercharger-Gratisnutzung
  2. Elektroautos Merkel hofft auf Bau von Batteriezellen in Deutschland
  3. Strategische Entscheidung Volvo setzt voll auf Elektro und trennt sich vom Diesel

In eigener Sache: Die Quanten kommen!
In eigener Sache
Die Quanten kommen!
  1. id Software "Global Illumination ist derzeit die größte Herausforderung"
  2. In eigener Sache Golem.de führt kostenpflichtige Links ein
  3. In eigener Sache Golem.de sucht Marketing Manager (w/m)

  1. Re: eigentlich müssten nun alle Hersteller...

    maverick1977 | 06:00

  2. Re: 1400W... für welche Hardware?

    Ach | 05:04

  3. Wie passt das mit der Vorratsdatenspeicherung...

    GaliMali | 04:38

  4. Re: Für was verwendet man den noch im Jahr 2017?

    GaliMali | 03:52

  5. Re: Siri und diktieren

    Proctrap | 02:15


  1. 06:00

  2. 06:00

  3. 06:00

  4. 12:31

  5. 12:15

  6. 11:33

  7. 10:35

  8. 12:54


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel