Große Daten analysieren mit dplyr

Was machen wir heute? Und warum?

WAS:

• Vertraut machen mit einem schönem Werkzeug zur praktischen Datenanalyse (dplyr)
• Einüben von explorativer ("praktischer") Analyse von ziemlich großen Daten
  

WARUM:

• Datenanalyse in Wissenschaft und Praxis besteht zum großen Teil im Aufbereiten und Explorieren des Datensatzes
• Die Größe von Datensätzen steigt schnell
• Wer den Schritt vom Gelegenheitsspieler zum Routinetäter gehen will, braucht Profi-Werkzeug

Quelle: https://github.com/rstudio/RStartHere/blob/master/data-science.png?raw=true

Mit einer handvoll Verben lassen sich die meisten Aufgaben der Datenanalyse erfassen:

• Zeilen filtern -- filter
• Spalten wählen -- select
• Sortieren -- arrange
• Zusammenfassen -- summarise
• Verändern -- mutate
• Gruppieren -- group_by

Cheatsheet

• R

# packages müssen einmalig installiert sein, bevor Sie sie laden können
# update.packages()  # zur Sicherheit auf den neuesten Stand kommen
# install.packages(c("dplyr", "ggplot2", "nycflights13"))

library(dplyr)
library(ggplot2)
library(nycflights13)
data(flights)  # lädt Datensatz
?flights  # Beschreibung des Datensatzes

• Installieren Sie RStudio.

• Alternativ kann man den Datensatz flights auch hier herunterladen.

• Excel-Freaks: Verfolgt die Analyse parallel in Excel mit!

## Observations: 336,776
## Variables: 19
## $ year           (int) 2013, 2013, 2013, 2013, 2013, 20...
## $ month          (int) 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,...
## $ day            (int) 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,...
## $ dep_time       (int) 517, 533, 542, 544, 554, 554, 55...
## $ sched_dep_time (int) 515, 529, 540, 545, 600, 558, 60...
## $ dep_delay      (dbl) 2, 4, 2, -1, -6, -4, -5, -3, -3,...
## $ arr_time       (int) 830, 850, 923, 1004, 812, 740, 9...
## $ sched_arr_time (int) 819, 830, 850, 1022, 837, 728, 8...
## $ arr_delay      (dbl) 11, 20, 33, -18, -25, 12, 19, -1...
## $ carrier        (chr) "UA", "UA", "AA", "B6", "DL", "U...
## $ flight         (int) 1545, 1714, 1141, 725, 461, 1696...
## $ tailnum        (chr) "N14228", "N24211", "N619AA", "N...
## $ origin         (chr) "EWR", "LGA", "JFK", "JFK", "LGA...
## $ dest           (chr) "IAH", "IAH", "MIA", "BQN", "ATL...
## $ air_time       (dbl) 227, 227, 160, 183, 116, 150, 15...
## $ distance       (dbl) 1400, 1416, 1089, 1576, 762, 719...
## $ hour           (dbl) 5, 5, 5, 5, 6, 5, 6, 6, 6, 6, 6,...
## $ minute         (dbl) 15, 29, 40, 45, 0, 58, 0, 0, 0, ...
## $ time_hour      (time) 2013-01-01 05:00:00, 2013-01-01...

• Ein Datensatz zu technischen Merkmalen von Autos aus der US-Zeitschrift Motor Trends.

• Wir benutzen den Datensatz als "Spielzeug-Datensatz" (XXS-Data).

• Der Datensatz ist in R schon enthalten.

Sehen Sie sich die Hilfe zu dem Datensatz an:

?mtcars

Hilfe zu Logik-Operatoren

Entschlüsseln Sie diese Filter (Datensatz flights):

filter(mtcars, hp > 100)
filter(mtcars, cyl %in% c(4, 6))
filter(mtcars, gear == 3 | gear == 4)
filter(mtcars, hp > 300 & cyl == 8)

Identifizieren Sie folgende Flüge:

1. von JFK nach PWM (Portland)
2. von JFK nach PWM (Portland) im Januar
3. von JFK nach PWM (Portland) im Januar mit mehr als einer Stunde Verspätung
4. von JFK nach PWM (Portland) im Januar zwischen Mitternach und 5 Uhr
5. von JFK deren Ankunftsverspätung doppelt so groß war wie die Abflugverspätung, und die nach Atlanta geflogen sind

filter(flights, origin == "JFK", dest == "PWM")  #1

filter(flights, origin == "JFK", month == 1, dest == "PWM")  #2

filter(flights, origin == "JFK", month == 1, dest == "PWM", dep_delay >= 60)  #3

filter(flights, origin == "JFK" & month == 1, dest == "PWM", dep_time < 500)  #4

filter(flights, origin == "JFK", arr_delay > 2 * dep_delay, month == 1, dest == "ATL")  #5

select(mtcars, mpg, cyl, hp)

• Lesen Sie die Hilfe zu select(). Auf welche Arten kann man noch Spalten (Variablen) auswählen?

• Schreiben Sie 3 Arten auf, um die Spalten mit den Verzögerungen auszuwählen.

• Stellen Sie sich vor, Sie haben einen Datensatz mit 1000 Spalten: V1 .. V1000. Inwiefern ist das mit Excel noch praktibel?

select(flights, arr_delay, dep_delay)

select(flights, arr_delay:dep_delay)

select(flights, contains("delay"))

select(flights, ends_with("delay"))

select(flights, c(6, 9))

auswahl <- c("dep_delay", "arr_delay")
select(flights, one_of(auswahl))

arrange(mtcars, cyl)

arrange(mtcars, desc(cyl)) ("descending": engl. für absteigend)

1. Ordnen Sie die Flüge nach Datum und Uhrzeit.
2. Welche Flüge hatten die größte Verspätung?

3. Welche Flüge holten die meiste Verspätung während des Fluges auf?

4. Welche Airlines hatten die größte Verspätung? Hm.

arrange(flights, month, day, sched_dep_time)  #1

flights2 <- select(flights, dep_delay, arr_delay, tailnum, flight, dest)  

arrange(flights2, desc(dep_delay))  #2

arrange(flights2, desc(dep_delay - arr_delay))  #3

mutate(flights, wt_kg = wt / 1000 * 2, wt_per_ps = wt_kg / hp)

1. Berechnen Sie die Geschwindigkeit (mph) jedes Fluges. Welche Flüge flogen am schnellsten?
2. Erzeugen Sie eine neue Variable, die angibt, wieviel Zeit ein Flug verloren oder aufgeholt hat.
3. Berechnen Sie die Flugdistanz in km.

# 1. Berechnen Sie die Geschwindigkeit (mph) jedes Fluges. Welche Flüge flogen am schnellsten?
mutate(flights, speed = distance / air_time)  
arrange(flights, speed)

# 2. Erzeugen Sie eine neue Variable, die angibt, wieviel Zeit ein Flug verloren oder aufgeholt hat.
mutate(flights, delay = dep_delay - arr_delay)

# 3. Berechnen Sie die Flugdistanz in km.
mutate(flights, dist_km = distance / 1.6)

summarise(flights, hp_mean = mean(hp))

mtcars_by_cyl = group_by(mtcars, cyl)

summarise(mtcars_by_cyl, p_cyl_mean = mean(hp, na.rm = TRUE))

• min(), max(), median(), quantile()
• mean(), sd(), sum()
• n(), n_distinct()
• Jede Funktion, die eine Spalte als Input nimmt und einen einzelnen Wert ausgibt

1. Berechnen Sie die mittlere Verspätung pro Flughafen!
2. Ermitteln Sie pro Monat den Flug mit der größten Verspätung!
3. Geben Sie die Airlines mit der geringsten mittleren Verspätung an!

1. Berechnen Sie die mittlere Verspätung pro Flughafen!

f2 <-  group_by(flights, origin)
f3 <- mutate(f2, delay = dep_delay - arr_delay)
summarise(f3, delay_mean = mean(delay, na.rm = TRUE))

2. Ermitteln Sie pro Monat den Flug mit der größten Verspätung!

f2 <- group_by(flights, month)
f3 <- mutate(f2, delay = dep_delay - arr_delay)
summarise(f3, delay_max = max(delay, na.rm = T))

3. Geben Sie die Airlines mit der geringsten mittleren Verspätung an!

f2 <- group_by(flights, carrier)
f3 <- mutate(f2, delay = dep_delay - arr_delay)
f4 <- filter(f3, !is.na(delay))
f5 <- summarise(f4, delay_min = mean(delay))
arrange(f5, delay_min) 

hourly_delay <- filter(
  summarise(
    group_by(
      filter(
             flights, !is.na(dep_delay)
            ),
      day, hour),
    delay = mean(dep_delay),
  n = n() ),
n > 10 ) 

• Das ist keine Pfeife {magrittr}
• x %>% f(y) ist dasselbe wie f(x, y)

flights %>%
  filter(!is.na(dep_delay)) %>%
  group_by(day, hour) %>%
  summarise(delay = mean(dep_delay), n = n()) %>%
  filter(n > 10) 

• Tipp: %>% kann man lesen als "und dann"

1. Was sind die oberen 10% der Airlines bei der Verspätung?
2. Berechnen Sie die mittlere Verspätung aller Flüge mit deutlicher Verspätung (> 1 Stunde)!

Was sind die oberen 10% der Airlines bei der Verspätung?

flights %>%
  group_by(carrier) %>% na.omit() %>%
  mutate(delay = dep_delay - arr_delay) %>%
  summarise(delay_mean = mean(delay, na.rm = TRUE)) %>%
  mutate(delay_mean_decile = ntile(delay_mean, 10)) %>% 
  filter(delay_mean_decile == 1) %>%   # vgl. == 10
  arrange(delay_mean) 

Berechnen Sie die mittlere Verspätung aller Flüge mit deutlicher Verspätung (> 1 Stunde)!

flights %>%  na.omit() %>%  mutate(delay = dep_delay - arr_delay) %>%
  filter(delay > 60) %>%
  summarise(delay_mean = mean(delay),
            n = n()) %>%  # Anzahl
  arrange(delay_mean)

f2 <- flights %>% 
   na.omit() %>% mutate(delay = dep_delay - arr_delay) 

  qplot(data = f2, x = delay,
        main = paste("Delays [min]; Min: ", min(f2$delay), "; Max: ", max(f2$delay),
                     "; Md: ", median(f2$delay), sep = ""))

flights %>%
  mutate(delay = dep_delay - arr_delay) %>%
  na.omit() %>% qplot(x = distance, y = delay, data = ., geom = c("point", "smooth")) 

flights %>%
  group_by(carrier) %>% na.omit() %>% mutate(delay = dep_delay - arr_delay) %>%
  ungroup() %>% filter(min_rank(delay) < 11) %>%
  arrange(delay) %>% qplot(data = ., x = reorder(carrier, delay), y = delay,
        geom = "point")

• Danke an Hadley Wickham für dplyr, ggplot2 und das Hadleyverse
• Dieser Kurs basiert auf diesem Tutorial von Hadley Wickham
• Kontakt: Sebastian Sauer
• Die Folien (inkl. Syntax) findet sich hier