Abo
  • Services:
Anzeige
Ösi-Tux mit Thermometer
Ösi-Tux mit Thermometer (Bild: Alexander Merz/Golem.de)

Die Technik hinter der Auswertung

Für den Zwischenbericht haben wir noch eine Vielzahl von Werkzeugen benutzt, darunter auch reine GUI-Programme. Diesmal haben wir alles komplett mit Hilfe von Python, SQL und R geskriptet. Alle Skripte sind in einem Git-Repository verfügbar und auch dort ausführlich dokumentiert. Im Gegensatz zu unserer ursprünglichen Planung sind alle Skripte neu entstanden. Von unserer Zwischenauswertung haben wir lediglich Konzepte und Wissen mitgenommen. Wohl deshalb haben wir trotzdem deutlich weniger Zeit in die Auswertung gesteckt als in unsere Zwischenauswertung.

Anzeige

Zuerst werden die Ortsinformationen mit Hilfe einer Geo-Datenbank validiert. Um eine möglichst gleichmäßige Datenbasis zu schaffen, wird die Geo-Datenbank auch benutzt, um zum Beispiel Ortsnamen oder GPS-Koordination nachzutragen. Die Python-Skripte lesen dabei zwar direkt aus der Datenbank, tragen die Änderungen aber nicht selbst ein. Stattdessen werden SQL-Skripte generiert. Wenn die ermittelten Daten, zum Beispiel aufgrund doppelter Ortsdaten, nicht eindeutig sind, werden sie in CSV-Dateien ausgegeben oder in auskommentierten Zeilen in einem SQL-Skript. Diese müssten wir dann kontrollieren. Derart generierte SQL-Statements haben wir in eine händisch gepflegte SQL-Datei eingefügt.

Im nächsten Schritt werden die Temperaturdaten aus Deutschland mit den Daten des DWD verknüpft, wenn die notwendigen Ortsinformationen vorliegen. Dabei haben wir jedem Messteilnehmer eine DWD-Wetterstation zugeordnet. Es flossen auch nur diejenigen DWD-Daten in den DWD-Durchschnitt ein, die wir einer Messstation zuordnen konnten.

Für den Download und das korrekte Entpacken der Geo-Datenbank und der DWD-Daten stehen entsprechende Skripte zur Verfügung.

Die eigentliche Analyse und Generierung der Grafiken erfolgt mit R. Üblicherweise generiert jedes Skript eine Grafik. Auf der Kommandozeile werden teilweise auch noch zusätzliche statistische Kennziffern ausgegeben, wir leiten die Ausgabe jeweils in eine Textdatei um.

Ein Raspberry Pi reicht nicht

Alle Skripte auszuführen, dauert auf einem besseren Desktopsystem mit 16 GByte RAM rund einen Arbeitstag und erfordert circa 25 GByte Festplattenspeicher. Die meisten Skripte benötigen zwischen 1 und 10 Minuten. Lediglich die Zuordnung der DWD-Stationen zu den Teilnehmern kann im Extremfall mehr als 10 Stunden dauern, wenn die MySQL-Installation mit den konservativen Standardwerten läuft und das System nicht auf die I/O-Geschwindigkeit optimiert wurde. Sinnvolle Einstellungen für MySQL haben wir ebenfalls in Github dokumentiert.

 Alte Probleme bleibenEin Fehler, weil es zu gut läuft 

eye home zur Startseite
DoMeLe 22. Aug 2017

Also ich glaube, da ist ein geheimer hinweis versteckt, dass Sie intern schon 3 Monate...

Hugo 11. Aug 2017

Das mit den fehlenden Infos war bei mir auch ein Problem. Ich habe schon bemerkt, dass...

SZ 11. Aug 2017

Hmm, bei den DWD Stationen würde ich den Temperaturwert der Koordinaten X und Y einfach...

am (golem.de) 10. Aug 2017

Mit "kalibrieren" meine ich: 1.) Lass ein paar Kollegen so laut sprechen, dass du es als...



Anzeige

Stellenmarkt
  1. D. Kremer Consulting, Paderborn
  2. Robert Bosch GmbH, Schwieberdingen
  3. Haufe Group, Freiburg
  4. GIGATRONIK München GmbH, München


Anzeige
Spiele-Angebote
  1. (-50%) 14,99€
  2. (-80%) 4,99€
  3. 0,00€ USK 18

Folgen Sie uns
       


  1. Raumfahrt

    Falsch abgebogen wegen Eingabefehler

  2. Cloud

    AWS bringt den Appstore für Serverless-Software

  3. Free-to-Play-Strategie

    Total War Arena beginnt den Betabetrieb

  4. Funkchip

    US-Grenzbeamte können Pass-Signaturen nicht prüfen

  5. Telekom-Chef

    "Sorry! Da ist mir der Gaul durchgegangen"

  6. WD20SPZX

    Auch Western Digital bringt flache 2-TByte-HDD

  7. Metal Gear Survive im Test

    Himmelfahrtskommando ohne Solid Snake

  8. Cloud IoT Core

    Googles Cloud verwaltet weltweit IoT-Anlagen

  9. Schweden

    Netzbetreiber bietet 10 GBit/s für 45 Euro

  10. Reverse Engineering

    Das Xiaomi-Ökosystem vom Hersteller befreien



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Homepod im Test: Smarter Lautsprecher für den Apple-affinen Popfan
Homepod im Test
Smarter Lautsprecher für den Apple-affinen Popfan
  1. Rückstände Homepod macht weiße Ringe auf Holzmöbeln
  2. Smarter Lautsprecher Homepod schwer reparierbar
  3. Smarter Lautsprecher Homepod-Reparaturen kosten fast so viel wie ein neues Gerät

Indiegames-Rundschau: Tiefseemonster, Cyberpunks und ein Kelte
Indiegames-Rundschau
Tiefseemonster, Cyberpunks und ein Kelte
  1. Indiegames-Rundschau Krawall mit Knetmännchen und ein Mann im Fass
  2. Games 2017 Die besten Indiespiele des Jahres

HP Omen X VR im Test: VR auf dem Rücken kann nur teils entzücken
HP Omen X VR im Test
VR auf dem Rücken kann nur teils entzücken
  1. 3D Rudder Blackhawk Mehr Frags mit Fußschlaufen
  2. Kreativ-Apps für VR-Headsets Austoben im VR-Atelier
  3. Apps und Games für VR-Headsets Der virtuelle Blade Runner und Sport mit Sparc

  1. Re: An alle Schreihälse die meinen gucken reicht

    superdachs | 23:03

  2. Re: OT: In Deutschland derweil: Radweg in NRW um...

    Apfelbrot | 22:51

  3. Re: klar Fehler passieren

    mathew | 22:49

  4. Re: und lidl & co. bekommen nix auf die kette

    plutoniumsulfat | 22:46

  5. Re: "Ohne Smart Funktion" ist für mich ein Kaufgrund

    Phantom | 22:45


  1. 17:17

  2. 16:50

  3. 16:05

  4. 15:45

  5. 15:24

  6. 14:47

  7. 14:10

  8. 13:49


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel