S3 Files: Amazons Dateisystem für den größten Cloudspeicher der Welt
AWS hat einen neuen Dienst für Amazon S3 vorgestellt. S3 Files(öffnet im neuen Fenster) ist ein Dateisystem für die Cloud, das Rechenressourcen und Dienste direkt mit den in der Cloud gespeicherten Daten verbindet. Kunden müssen also ihre Daten nicht über spezialisierte Cloudbefehle abrufen und können dafür stattdessen Standard-Operationen eines herkömmlichen Dateisystems nutzen.
S3 Files basiert auf dem Elastic File System von Amazon, das bereits seit 2019 innerhalb der AWS-Cloud genutzt werden kann. Der Zugriff auf Daten über ein solches Dateisystem soll vor allem schneller und einfacher ablaufen und könnte deshalb für das Training von Machine-Learning-Software von Vorteil sein. Statt große Datenmengen zunächst von einem S3-Objekt auf ein durch KI nutzbares Dateisystem kopieren zu müssen, können Dienste direkt darauf zugreifen, etwa von einem Linux-Client aus.
Zwischenspeicher mit S3-Anbindung
Die Objektstruktur von S3 wird dabei nicht ersetzt, da mittlerweile auch viele Applikationen darauf ausgelegt sind. S3 Files dient eher als Zwischenebene: Es lädt benötigte Metadaten aus S3-Objekten und verwendet dabei Hochgeschwindigkeitsspeicher als Zwischenablage. Auch Schreibvorgänge werden auf dem Zwischenspeicher abgelegt und im Nachhinein mit dem S3-Langzeitspeicher synchronisiert.
Kunden bezahlen am Ende für diese zwischengespeicherten Daten Geld. Dabei werden alle Daten, die in einem einstellbaren Fenster zwischen einem und 365 Tagen nicht genutzt werden, vom Zwischenspeicher gelöscht. Dafür müssen Kunden dann kein Geld mehr bezahlen. Zudem werden Dateien, die größer als 1 MByte sind, weiterhin automatisch von S3 direkt und ohne Zwischenspeicherung gelesen.