• IT-Karriere:
  • Services:

Die Technik hinter der Auswertung

Für den Zwischenbericht haben wir noch eine Vielzahl von Werkzeugen benutzt, darunter auch reine GUI-Programme. Diesmal haben wir alles komplett mit Hilfe von Python, SQL und R geskriptet. Alle Skripte sind in einem Git-Repository verfügbar und auch dort ausführlich dokumentiert. Im Gegensatz zu unserer ursprünglichen Planung sind alle Skripte neu entstanden. Von unserer Zwischenauswertung haben wir lediglich Konzepte und Wissen mitgenommen. Wohl deshalb haben wir trotzdem deutlich weniger Zeit in die Auswertung gesteckt als in unsere Zwischenauswertung.

Stellenmarkt
  1. Kommunale Versorgungskassen Westfalen-Lippe, Münster
  2. Bürgerschaft der Freien und Hansestadt Hamburg, Hamburg

Zuerst werden die Ortsinformationen mit Hilfe einer Geo-Datenbank validiert. Um eine möglichst gleichmäßige Datenbasis zu schaffen, wird die Geo-Datenbank auch benutzt, um zum Beispiel Ortsnamen oder GPS-Koordination nachzutragen. Die Python-Skripte lesen dabei zwar direkt aus der Datenbank, tragen die Änderungen aber nicht selbst ein. Stattdessen werden SQL-Skripte generiert. Wenn die ermittelten Daten, zum Beispiel aufgrund doppelter Ortsdaten, nicht eindeutig sind, werden sie in CSV-Dateien ausgegeben oder in auskommentierten Zeilen in einem SQL-Skript. Diese müssten wir dann kontrollieren. Derart generierte SQL-Statements haben wir in eine händisch gepflegte SQL-Datei eingefügt.

Im nächsten Schritt werden die Temperaturdaten aus Deutschland mit den Daten des DWD verknüpft, wenn die notwendigen Ortsinformationen vorliegen. Dabei haben wir jedem Messteilnehmer eine DWD-Wetterstation zugeordnet. Es flossen auch nur diejenigen DWD-Daten in den DWD-Durchschnitt ein, die wir einer Messstation zuordnen konnten.

Für den Download und das korrekte Entpacken der Geo-Datenbank und der DWD-Daten stehen entsprechende Skripte zur Verfügung.

Golem Akademie
  1. PostgreSQL Fundamentals
    15.-18. Juni 2021, online
Weitere IT-Trainings

Die eigentliche Analyse und Generierung der Grafiken erfolgt mit R. Üblicherweise generiert jedes Skript eine Grafik. Auf der Kommandozeile werden teilweise auch noch zusätzliche statistische Kennziffern ausgegeben, wir leiten die Ausgabe jeweils in eine Textdatei um.

Ein Raspberry Pi reicht nicht

Alle Skripte auszuführen, dauert auf einem besseren Desktopsystem mit 16 GByte RAM rund einen Arbeitstag und erfordert circa 25 GByte Festplattenspeicher. Die meisten Skripte benötigen zwischen 1 und 10 Minuten. Lediglich die Zuordnung der DWD-Stationen zu den Teilnehmern kann im Extremfall mehr als 10 Stunden dauern, wenn die MySQL-Installation mit den konservativen Standardwerten läuft und das System nicht auf die I/O-Geschwindigkeit optimiert wurde. Sinnvolle Einstellungen für MySQL haben wir ebenfalls in Github dokumentiert.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed
 Alte Probleme bleibenEin Fehler, weil es zu gut läuft 
  1.  
  2. 1
  3. 2
  4. 3
  5. 4
  6.  


Anzeige
Top-Angebote
  1. (u. a. Surviving Mars - First Colony Edition für 5,29€, Monopoly - Nintendo Switch Download Code...
  2. (u. a. Patriot Viper 4 8-GB-Kit DDR4-3000 für 38,99€ + 6,99€ Versand statt 55,14€ inkl...
  3. 139,90€ (Bestpreis mit Cyberport. Vergleichspreis ca. 160€)
  4. 279,99€ (Vergleichspreis 332,19€)

DoMeLe 22. Aug 2017

Also ich glaube, da ist ein geheimer hinweis versteckt, dass Sie intern schon 3 Monate...

Hugo 11. Aug 2017

Das mit den fehlenden Infos war bei mir auch ein Problem. Ich habe schon bemerkt, dass...

SZ 11. Aug 2017

Hmm, bei den DWD Stationen würde ich den Temperaturwert der Koordinaten X und Y einfach...

am (golem.de) 10. Aug 2017

Mit "kalibrieren" meine ich: 1.) Lass ein paar Kollegen so laut sprechen, dass du es als...


Folgen Sie uns
       


Geforce RTX 3060 - Test

Schneller als eine Geforce RTX 2070, so günstig wie die Geforce GTX 1060 (theoretisch).

Geforce RTX 3060 - Test Video aufrufen
Programm für IT-Jobeinstieg: Hoffen auf den Klebeeffekt
Programm für IT-Jobeinstieg
Hoffen auf den Klebeeffekt

Aktuell ist der Jobeinstieg für junge Ingenieure und Informatiker schwer. Um ihnen zu helfen, hat das Land Baden-Württemberg eine interessante Idee: Es macht sich selbst zur Zeitarbeitsfirma.
Ein Bericht von Peter Ilg

  1. Arbeitszeit Das Sechs-Stunden-Experiment bei Sipgate
  2. Neuorientierung im IT-Job Endlich mal machen!
  3. IT-Unternehmen Die richtige Software für ein Projekt finden

Weclapp-CTO Ertan Özdil: Wir dürfen nicht in Schönheit und Perfektion untergehen!
Weclapp-CTO Ertan Özdil
"Wir dürfen nicht in Schönheit und Perfektion untergehen!"

Der CTO von Weclapp träumt von smarter Software, die menschliches Eingreifen in der nächsten ERP-Generation reduziert. Deutschen Perfektionismus hält Ertan Özdil aber für gefährlich.
Ein Interview von Maja Hoock


    Fiat 500 als E-Auto im Test: Kleinstwagen mit großem Potenzial
    Fiat 500 als E-Auto im Test
    Kleinstwagen mit großem Potenzial

    Fiat hat einen neuen 500er entwickelt. Der Kleine fährt elektrisch - und zwar richtig gut.
    Ein Test von Peter Ilg

    1. Vierradlenkung Elektrischer GMC Hummer SUV fährt im Krabbengang seitwärts
    2. MG Cyberster MG B Roadster mit Lasergürtel und Union Jack
    3. Elektroauto E-Auto-Prämie übersteigt in 2021 schon Vorjahressumme

      •  /