Abo
  • Services:
Anzeige
Ösi-Tux mit Thermometer
Ösi-Tux mit Thermometer (Bild: Alexander Merz/Golem.de)

Die Technik hinter der Auswertung

Für den Zwischenbericht haben wir noch eine Vielzahl von Werkzeugen benutzt, darunter auch reine GUI-Programme. Diesmal haben wir alles komplett mit Hilfe von Python, SQL und R geskriptet. Alle Skripte sind in einem Git-Repository verfügbar und auch dort ausführlich dokumentiert. Im Gegensatz zu unserer ursprünglichen Planung sind alle Skripte neu entstanden. Von unserer Zwischenauswertung haben wir lediglich Konzepte und Wissen mitgenommen. Wohl deshalb haben wir trotzdem deutlich weniger Zeit in die Auswertung gesteckt als in unsere Zwischenauswertung.

Anzeige

Zuerst werden die Ortsinformationen mit Hilfe einer Geo-Datenbank validiert. Um eine möglichst gleichmäßige Datenbasis zu schaffen, wird die Geo-Datenbank auch benutzt, um zum Beispiel Ortsnamen oder GPS-Koordination nachzutragen. Die Python-Skripte lesen dabei zwar direkt aus der Datenbank, tragen die Änderungen aber nicht selbst ein. Stattdessen werden SQL-Skripte generiert. Wenn die ermittelten Daten, zum Beispiel aufgrund doppelter Ortsdaten, nicht eindeutig sind, werden sie in CSV-Dateien ausgegeben oder in auskommentierten Zeilen in einem SQL-Skript. Diese müssten wir dann kontrollieren. Derart generierte SQL-Statements haben wir in eine händisch gepflegte SQL-Datei eingefügt.

Im nächsten Schritt werden die Temperaturdaten aus Deutschland mit den Daten des DWD verknüpft, wenn die notwendigen Ortsinformationen vorliegen. Dabei haben wir jedem Messteilnehmer eine DWD-Wetterstation zugeordnet. Es flossen auch nur diejenigen DWD-Daten in den DWD-Durchschnitt ein, die wir einer Messstation zuordnen konnten.

Für den Download und das korrekte Entpacken der Geo-Datenbank und der DWD-Daten stehen entsprechende Skripte zur Verfügung.

Die eigentliche Analyse und Generierung der Grafiken erfolgt mit R. Üblicherweise generiert jedes Skript eine Grafik. Auf der Kommandozeile werden teilweise auch noch zusätzliche statistische Kennziffern ausgegeben, wir leiten die Ausgabe jeweils in eine Textdatei um.

Ein Raspberry Pi reicht nicht

Alle Skripte auszuführen, dauert auf einem besseren Desktopsystem mit 16 GByte RAM rund einen Arbeitstag und erfordert circa 25 GByte Festplattenspeicher. Die meisten Skripte benötigen zwischen 1 und 10 Minuten. Lediglich die Zuordnung der DWD-Stationen zu den Teilnehmern kann im Extremfall mehr als 10 Stunden dauern, wenn die MySQL-Installation mit den konservativen Standardwerten läuft und das System nicht auf die I/O-Geschwindigkeit optimiert wurde. Sinnvolle Einstellungen für MySQL haben wir ebenfalls in Github dokumentiert.

 Alte Probleme bleibenEin Fehler, weil es zu gut läuft 

eye home zur Startseite
gaym0r 15. Aug 2017

"Nach 18 Monaten findet unser Leserprojekt schließlich ein Ende. Vom 19. April 2016 bis...

Themenstart

Hugo 11. Aug 2017

Das mit den fehlenden Infos war bei mir auch ein Problem. Ich habe schon bemerkt, dass...

Themenstart

SZ 11. Aug 2017

Hmm, bei den DWD Stationen würde ich den Temperaturwert der Koordinaten X und Y einfach...

Themenstart

am (golem.de) 10. Aug 2017

Mit "kalibrieren" meine ich: 1.) Lass ein paar Kollegen so laut sprechen, dass du es als...

Themenstart

Kommentieren



Anzeige

Stellenmarkt
  1. qSkills GmbH & Co. KG, Nürnberg
  2. Teambank AG, Nürnberg
  3. Daimler AG, Stuttgart
  4. Woodmark Consulting AG, Düsseldorf


Anzeige
Top-Angebote
  1. 10% Rabatt auf ausgewählte Top Gaming Artikel mit dem Gutscheincode: PICKYOURLOOT
  2. (-72%) 16,99€
  3. (-47%) 31,99€

Folgen Sie uns
       


  1. Search Light

    Google testet schlanke Such-App

  2. 3D-Drucker

    Neues Verfahren erkennt Manipulationen beim 3D-Druck

  3. AVS Device SDK

    Amazon bringt Alexa auf Raspberry Pi und andere Boards

  4. Adblock Plus

    OLG München erklärt Werbeblocker für zulässig

  5. Streaming

    Netflix plant 7 Milliarden US-Dollar für eigenen Content ein

  6. Coffee Lake

    Core i3 als Quadcores und Core i5 als Hexacores

  7. Starcraft Remastered im Test

    Klick, klick, klick, klick, klick als wär es 1998

  8. KB4034658

    Anniversary-Update-Update macht Probleme mit WSUS

  9. Container

    Githubs Kubernetes-Cluster überlebt regelmäßige Kernel-Panic

  10. Radeon RX Vega

    Mining-Treiber steigert MH/s deutlich



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Starcraft Remastered: "Mit den Protoss kann man seinen Gegner richtig nerven!"
Starcraft Remastered
"Mit den Protoss kann man seinen Gegner richtig nerven!"
  1. Blizzard Der Name Battle.net bleibt
  2. Blizzard Overwatch bekommt Deathmatches
  3. E-Sport Blizzard nutzt Gamescom für europäische WoW-Finalspiele

Game of Thrones: Die Kunst, Fiktion mit Wirklichkeit zu verschmelzen
Game of Thrones
Die Kunst, Fiktion mit Wirklichkeit zu verschmelzen
  1. HBO Nächste Episode von Game of Thrones geleakt
  2. Hack Game-of-Thrones-Skript von HBO geleakt
  3. Game of Thrones "Der Winter ist da und hat leider unsere Server eingefroren"

Radeon RX Vega 64 im Test: Schnell und durstig mit Potenzial
Radeon RX Vega 64 im Test
Schnell und durstig mit Potenzial
  1. Workstation AMD bringt Radeon Pro WX 9100
  2. Grafikkarte Radeon RX Vega 64 kostet 500 US-Dollar
  3. Grafikkarte Erste Tests der Radeon Vega FE durchwachsen

  1. Re: wurde bekannt, dass der Streamingdienst 20,5...

    ubuntu_user | 07:00

  2. Re: Warum ich die Golem Werbung blocke ..

    otraupe | 06:53

  3. Deswegen hat man sich damals unterhalten

    Klausens | 06:50

  4. Re: sieht trotzdem ...

    ArcherV | 06:45

  5. Re: Ich habe einfach kein Interesse an Werbung

    otraupe | 06:44


  1. 17:02

  2. 15:55

  3. 15:41

  4. 15:16

  5. 14:57

  6. 14:40

  7. 14:26

  8. 13:31


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel