Object Storage: Object-Storage-Protokoll könnte Posix ablösen

Durch die Implementierung einer mmap-Funktion legen Objektspeicher ihre größte Schwäche ab.

Artikel veröffentlicht am 5. Oktober 2020, 9:10 Uhr, Boris Mayer

Organisierte Bits (Bild: Flickr)

Das Portable Operating System Interface (Posix) hat ein Skalierungsproblem. Bei großen Datenspeichern kann der mehr als 30 Jahre alte Standard zum Flaschenhals werden. Bei Supercomputern und anderen Big-Data-Anwendungen wird deshalb zunehmend auf Object Storage gesetzt. Daten werden dabei nicht mehr hierarchisch in einem Filesystem abgelegt, sondern flach als Objekt in einem Datensee. Die Objekte bestehen dabei aus den Daten selbst, einem globalen Identifier und Metadaten zur Organisation. Bisher gab es mit den Objektspeichern allerdings ein Problem, es gab keine Zugriffsart, die vergleichbar mit dem memory-mapped file aus Posix ist.

Auf eine per mmap in den Speicher gemappte Datei lässt sich wie auf RAM aus dem Userspace zugreifen, was deutlich schneller ist, als bei jeder Anfrage einzeln über den Kernel zu gehen. Insbesondere durch die Entwicklung von SSD-Speichern ist dies zu einem noch größeren Vorteil geworden, da die Zugriffszeiten sehr viel schneller sind, insbesondere durch NVMe-Anbindung.

Das Zusammenspiel von Non-Volatile Memory Express over Fabrics (NVMeOF), Object Storage und memory-mapping könnte die Art und Weise, wie Einzelpersonen bis hin zu Rechenzentren Daten speichern, völlig verändern, weg von einer Posix-Schnittstelle und hin zu einem REST-Interface und von hierarchischer Ordnung von Dateien hin zu metadatenbasierten Suchzugriffen.

Was allerdings noch fehlt, ist eine munmap-Funktion, um die memory-mappings auch aus dem User-Space wieder loswerden zu können. Das geben die Entwickler auch zu.

Posix selbst ist eine vom IEEE und der Open Group entwickelte standardisierte Programmierschnittstelle und bietet die Grundlage der Single Unix Specification. Der Name selbst stammt von Richard Stallman, der den einprägsameren Begriff wählte statt des unhandlichen IEEE-IX, wie der Standard ursprünglich bezeichnet wurde.