Storage: AWS Mountpoint hängt S3-Buckets in Dateisystem ein
Der Datenspeicher S3 von AWS soll explizit kein Dateisystem abbilden. Manchmal sind die Funktionen dennoch nötig.
Der Cloudhoster AWS hat einen selbstgeschriebenen Dateisystem-Client für seinen Daten- und Dateihostingdienst Simple Storage Service (S3) vorgestellt. Mithilfe von Mountpoint, das in Rust geschrieben ist und als Open Source bereitsteht, sollen sich die in S3 gespeicherten Objekte direkt über übliche Dateisystemoperationen verarbeiten lassen.
Das mag zunächst ungewöhnlich erscheinen, denn eigentlich machen eine schnelle und speziell zugeschnittene API sowie darauf aufbauende native Anbindungen an Analyseplattformen wie Apache Spark, Hadoop oder andere den S3-Dienst aus. Ein klassischer Dateisystemzugriff ist darauf normalerweise nicht direkt vorgesehen.
Doch wie AWS selbst in der Vorstellung schreibt, seien viele Softwareprojekte nicht direkt auf die Objekt-API von S3 zugeschnitten. Das gelte etwa für die Forschung an Genen oder Machine-Learning-Anwendungen, die ein übliches Linux-Dateisystem voraussetzen, um auf Daten zugreifen zu können. Mountpoint soll diese Lücke überwinden. Mit S3FS existiert seit Jahren ein Open-Source-Projekt mit vergleichbaren Zielen, das allerdings nicht vom Amazon selbst stammt.
Mountpoint sei dabei für Anwendungsszenarien optimiert, bei denen besonders viele Daten mit hohem Durchsatz gelesen werden. Explizit nicht unterstützt werden zahlreiche Einzelheiten des Posix-Standards, wie es in der Projektbeschreibung heißt. Details dazu liefert eine gesonderte Erklärung. Das Projekt ähnele dabei eher dem HDFS aus Hadoop als etwa NFS oder anderen Systemen mit Posix-Semantik.
Bei der nun verfügbaren Software handele sich aber noch um eine Alpha-Version, die nicht für den produktiven Einsatz gedacht sei. Das zuständige Team möchte noch Feedback zu Funktionen und Leistungsfähigkeiten sammeln.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
- ohne Werbung
- mit ausgeschaltetem Javascript
- mit RSS-Volltext-Feed
Bei einer Milliarde lists im Monat sind das knapp 400 pro Sekunde 24/7. Das scheint mir...
Kommentieren