Big Data: Microsoft legt Graph Engine offen

Das jüngste Open-Source-Projekt von Microsoft ist dessen Graph Engine. Damit sollen sehr große Datenmengen schnell und effizient in einem verteilten Speicherpool verarbeitet werden. Ein Linux-Port der Graph Engine erscheint möglich.

Artikel veröffentlicht am ,
Die Graph Engine von Microsoft hieß früher Trinity.
Die Graph Engine von Microsoft hieß früher Trinity. (Bild: Michael Dorausch, flickr.com/CC-BY-SA 2.0)

Microsoft hat mit der Graph Engine eines seiner langjährigen internen Forschungsprojekte als Open-Source-Software auf Github veröffentlicht. Bei der Graph Engine handelt es sich um eine Big-Data-Analyseplattform, die eine integrierte Abfragesprache enthält (Language Integrated Knowledge Query, LIKQ). Letztere nutzt Microsoft auch für seine Cloud-API der sogenannten Cognitive Services.

Stellenmarkt
  1. IT Consultant Category Management (w/m/d)
    dmTECH GmbH, Karlsruhe
  2. SAP-Inhouse Senior Consultants (m/w/d) mit dem Schwerpunkt Betriebswirtschaft
    Landschaftsverband Rheinland, Köln
Detailsuche

Wie zu erwarten, enthält die Graph Engine ein Modell zur Repräsentation der Graphen sowie Schnittstellen für Nutzer, um auf diese zuzugreifen. Der wohl wichtigste Teil der Graph Engine ist allerdings der Speicherpool, der den Arbeitsspeicher verschiedener Cluster von Maschinen zu einem global adressierbaren Adressraum zusammenfasst, um die eigentlichen Daten zu speichern.

Diese Speicher-Cloud genannte Verknüpfung der Server nutzt einen verteilten Key-Value-Store sowie ein eigens implementiertes Framework, um zwischen den beteiligten Servern kommunizieren zu können. Die Server selbst speichern aber nicht nur die Daten, sondern führen auch direkt Berechnungen auf diesen durch. Über Proxy- und Client-Systeme, die selbst keine Daten vorhalten, kann auf die Daten beziehungsweise Ergebnisse der Berechnungen zugegriffen werden.

Zur einfachen Verwendung der Graph Engine bietet Microsoft eine Erweiterung für Visual Studio an, die das Team als SDK zum Entwickeln von Anwendungen bezeichnet. Der Code für die Engine selbst ist in C# mit .Net geschrieben und folgerichtig als Nuget-Paket über die entsprechende Paketverwaltung zu beziehen. Da das neue .Net Core ebenfalls Open Source ist und eine Linux-Unterstützung bietet, könnte die Graph Engine künftig wohl auch auf Linux portiert werden. Noch gibt es hierzu aber keine konkreten Pläne.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Kitty Lixo
Nach Sex mit Mitarbeitern Instagram-Account zurückerhalten

Laut einer Sexdarstellerin muss man nur die richtigen Leute bei Facebook sehr intim kennen, um seinen Instagram-Account immer wieder zurückzubekommen.

Kitty Lixo: Nach Sex mit Mitarbeitern Instagram-Account zurückerhalten
Artikel
  1. Ebay-Kleinanzeigen: Im Chat mit den Phishing-Betrügern
    Ebay-Kleinanzeigen
    Im Chat mit den Phishing-Betrügern

    Wenn man bestimmte Anzeigen in Kleinanzeigenportalen aufgibt, hat man sofort einen Betrüger an der Backe. Die Polizei kann kaum etwas dagegen tun.
    Ein Bericht von Friedhelm Greis

  2. Autos: Mercedes' Luxuskurs könnte das Aus für A- und B-Klasse sein
    Autos
    Mercedes' Luxuskurs könnte das Aus für A- und B-Klasse sein

    Mercedes definiert sich neu als Luxuskonzern. Das könnte auch das Ende für die Einsteiger-Modelle bedeuten, weil mit diesen kaum Geld zu verdienen ist.

  3. Ericsson und Telia Norway: Fast 4 GBit/s in 26-GHz-Netz erreicht
    Ericsson und Telia Norway
    Fast 4 GBit/s in 26-GHz-Netz erreicht

    26-GHz-Netz-Antennen erreichen in Norwegen Höchstwerte bei der Datenübertragung. Die 5G-Ausrüstung kommt von Ericsson.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Cyber Week: Bis zu 87€ Rabatt auf SSDs • PNY RTX 3080 12GB günstig wie nie: 974€ • Razer Basilisk V3 Gaming-Maus 44,99€ • PS5-Controller + Samsung SSD 1TB 176,58€ • MindStar (u. a. MSI RTX 3090 24GB Suprim X 1.790€) • Gigabyte Waterforce Mainboard günstig wie nie: 464,29€ [Werbung]
    •  /