Object Storage: Object-Storage-Protokoll könnte Posix ablösen

Durch die Implementierung einer mmap-Funktion legen Objektspeicher ihre größte Schwäche ab.

Artikel veröffentlicht am ,
Organisierte Bits
Organisierte Bits (Bild: Flickr)

Das Portable Operating System Interface (Posix) hat ein Skalierungsproblem. Bei großen Datenspeichern kann der mehr als 30 Jahre alte Standard zum Flaschenhals werden. Bei Supercomputern und anderen Big-Data-Anwendungen wird deshalb zunehmend auf Object Storage gesetzt. Daten werden dabei nicht mehr hierarchisch in einem Filesystem abgelegt, sondern flach als Objekt in einem Datensee. Die Objekte bestehen dabei aus den Daten selbst, einem globalen Identifier und Metadaten zur Organisation. Bisher gab es mit den Objektspeichern allerdings ein Problem, es gab keine Zugriffsart, die vergleichbar mit dem memory-mapped file aus Posix ist.

Stellenmarkt
  1. Techniker*in / Meister*in der Fachrichtung Elektrotechnik (w/m/d)
    Landeshauptstadt München, München
  2. DevOps Engineer Online Services (m/w/d)
    Anstalt für Kommunale Datenverarbeitung in Bayern (AKDB), Bayreuth, München
Detailsuche

Auf eine per mmap in den Speicher gemappte Datei lässt sich wie auf RAM aus dem Userspace zugreifen, was deutlich schneller ist, als bei jeder Anfrage einzeln über den Kernel zu gehen. Insbesondere durch die Entwicklung von SSD-Speichern ist dies zu einem noch größeren Vorteil geworden, da die Zugriffszeiten sehr viel schneller sind, insbesondere durch NVMe-Anbindung.

Das Zusammenspiel von Non-Volatile Memory Express over Fabrics (NVMeOF), Object Storage und memory-mapping könnte die Art und Weise, wie Einzelpersonen bis hin zu Rechenzentren Daten speichern, völlig verändern, weg von einer Posix-Schnittstelle und hin zu einem REST-Interface und von hierarchischer Ordnung von Dateien hin zu metadatenbasierten Suchzugriffen.

Was allerdings noch fehlt, ist eine munmap-Funktion, um die memory-mappings auch aus dem User-Space wieder loswerden zu können. Das geben die Entwickler auch zu.

Golem Karrierewelt
  1. Jira für Systemadministratoren: virtueller Zwei-Tage-Workshop
    14./15.02.2023, virtuell
  2. Hands-on C# Programmierung: virtueller Zwei-Tage-Workshop
    06./07.02.2023, virtuell
Weitere IT-Trainings

Posix selbst ist eine vom IEEE und der Open Group entwickelte standardisierte Programmierschnittstelle und bietet die Grundlage der Single Unix Specification. Der Name selbst stammt von Richard Stallman, der den einprägsameren Begriff wählte statt des unhandlichen IEEE-IX, wie der Standard ursprünglich bezeichnet wurde.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


the_crow 26. Aug 2021

Danke, für die ausführliche Erklärung und Einordnung, die hätte ich mir im Artikel gewünscht!

Dystopinator 06. Okt 2020

An sich interessiert es die aller meisten Entwickler wenig was da wo wie unter der Haube...

blbm9 05. Okt 2020

Man kann auch ein normales Filesystem wie einen See nutzen. Das POSIX-API - ich gehe mal...

MarcusK 05. Okt 2020

Wenn man "/etc/irgendwas.conf" als Objekt-ID ansieht. Dann ist es doch egal ob es...



Aktuell auf der Startseite von Golem.de
Urheberrechtsverletzung
US-Marine muss Strafe an deutsche Firma bezahlen

Noch während der Lizenzverhandlungen installierte die US-Marine eine Software auf über 500.000 Rechnern. Sechs Jahre später muss sie dafür bezahlen.

Urheberrechtsverletzung: US-Marine muss Strafe an deutsche Firma bezahlen
Artikel
  1. Karmesin und Purpur: Nintendo entschuldigt sich für Probleme mit Pokémon
    Karmesin und Purpur
    Nintendo entschuldigt sich für Probleme mit Pokémon

    Schwache Grafik und trotzdem Ruckler: Viele Spieler ärgern sich über den technischen Zustand von Pokémon Karmesin/Purpur.

  2. Bayern: Arbeitszeit von mehr als 10 Stunden am Tag gefordert
    Bayern
    Arbeitszeit von mehr als 10 Stunden am Tag gefordert

    Die bayerische Arbeitsministerin plädiert für mehr Flexibilität am Arbeitsplatz und will mehr als zehn Stunden Arbeit pro Tag erlauben.

  3. EuGH: Google legt erneut Einspruch gegen Milliardenstrafe ein
    EuGH
    Google legt erneut Einspruch gegen Milliardenstrafe ein

    Google will keine 4,125 Milliarden Euro zahlen und zieht mit dem Fall vor den Europäischen Gerichthof. Es geht um Android.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • PS5 jetzt bestellbar • LG OLED TV (2022) 55" 120Hz 949€ • Mindstar: Geforce RTX 4080 1.449€ • Tiefstpreise: G.Skill 32GB Kitt DDR5-7200 • 351,99€ Crucial SSD 4TB 319€, HTC Vive Pro 2 659€ • Samsung Cyber Week • Top-TVs (2022) LG & Samsung über 40% günstiger [Werbung]
    •  /