1 Hintergrund und Forschungsfrage

Wir untersuchen die Forschungsfrage Was sind Prädiktoren von Flugverspätungen. Dazu nutzen wir lineare Modelle als Modellierungsmethoden.

Dieser Post knüpft an den Post zur explorativen Datenanalyse der Flugverspätungen an (es gibt auch hier, Teil 1 und hier, Teil 2 ein Video zu diesem EDA-Post).

2 Pakete laden

library("tidymodels")  # Datenmodellierung
library("tidyverse")  # data wrangling
library("conflicted")  # Name clashes finden
library("leaps")  # Rohe Gewalt
library("skimr")  # deskriptive Statistiken komfortabel
library("ggfortify")  # Modellannahmen grafisch prüfen
library("tictoc")  # Rechenzeit messen

3 Daten laden

library("nycflights13")
data(flights)

4 flights2: Nicht benötigte Variablen entfernen und ID hinzufügen

flights2 <-
  flights %>% 
  select(-c(year, arr_delay)) %>% 
  drop_na(dep_delay) %>% 
  mutate(id = row_number()) %>% 
  select(id, everything())  # id nach vorne ziehen

5 Aufteilung in Train- und Testsample

Der Hintergrund zur Idee der Aufteilung in Train- und Test-Stichprobe kann z.b. hier oder hier, Kapitel 15, nachgelesen werden.

flights_split <- initial_split(flights2, 
                               strata = dep_delay,
                               na.rm = TRUE)

6 flights_train2, flights_test2

set.seed(42)  # Reproduzierbarkeit
flights_train2 <- training(flights_split)
flights_test2 <- testing(flights_split)

Die “wirkliche Welt” (was immer das ist) besorgt die Aufteilung von Train- und Test-Sampel für Sie automatisch. Sagen wir, Sie arbeiten für die Flughafen-Aufsicht von New York. Dann haben Sie einen Erfahrungsschatz an Flügen aus der Vergangenheit in Ihrer Datenbank (Train-Sample). Einige Tages kommt Ihr Chef zu Ihnen und sagt: “Rechnen Sie mir mal die zu erwartende Verspätung der Flüge im nächsten Monat aus!”. Da heute nicht klar ist, wie die Verspätung der Flüge in der Zukunft (nächsten Monat) sein wird, stellen die Flüge des nächsten Monats das Test-Sample dar.

Übrigens: In der Prüfung besorgt das Aufteilen von Train- und Test-Sample netterweise Ihr Dozent…

7 lm0: Nullmodell

Eigentlich nicht nötig, das Nullmodell, primär aus didaktischen Gründen berechnet, um zu zeigen, dass in diesem Fall \(R^2\) wirklich gleich Null ist.

lm0 <- lm(dep_delay ~ 1, data = flights_train2)
glance(lm0)

Mit glance bekommt man das \(R^2\) (neben einem Haufen anderen Zeugs, was wir jetzt nicht brauchen). Man könnte z.B. auch summary(lm1) out arm::display(lm1). Es gibt verschiedene Möglichkeiten.

8 lm1: origin

lm1 <- lm(dep_delay ~ origin, data = flights_train2)

tidy(lm1)  # tidy zeit die (geschätzten) Regressionsgewichte (Betas)

Man vergleiche:

flights_train2 %>% 
  drop_na(dep_delay) %>% 
  group_by(origin) %>% 
  summarise(delay_avg = mean(dep_delay)) %>% 
  mutate(delay_delta = delay_avg - delay_avg[1])

Der Mittelwertsvergleich und das Modell lm1 sind faktisch informationsgleich.

Aber leider ist es um die Modellgüte nicht so gut bestellt (eigentlich eher “grottenschlecht”):

glance(lm1)[1]

Die eckigen Klammern erlauben in R ein bestimmtes Element von mehreren auszuwählen. glance(lm1) liefert eine Tabelle mit mehreren Spalten (und einer Zeile) zurück; mit glance(lm1)[1] bekommt man das erste Element dieser Tabelle, das heißt die erste Spalte. Natürlich können Sie einfach glance(lm1) eingeben, wenn Sie das lieber mögen.

9 lm2: All in

# NICHT AUSFÜHREN
#lm2_all_in <- lm(dep_delay ~ ., data = flights_train2)

Modell lm2_all_in ist hier keine gute Idee, da nominale Prädiktoren in Indikatorvariablen umgewandelt werden. Hat ein nominaler Prädiktor sehr viele Stufen (wie hier), so resultieren sehr viele Indikatorvariablen, was dem Regressionsmodell Probleme bereiten kann (bei mir hängt sich R auf). Besser ist es in dem Fall, die Anzahl der Stufen von nominalskalierten Variablen vorab zu begrenzen.

Bei kleineren Datensätzen (weniger Variablen, weniger Fälle) lohnt es sich aber oft, das “All-in-Modell” auszuprobieren, als Referenzmaßstab für andere Modelle.

10 flights_train3: Textvariablen in Faktorvariablen umwandeln

Begrenzen wir zunächst die Anzahl der Stufen der nominal skalierten Variablen:

flights_train3 <- 
  flights_train2 %>% 
  mutate(across(
    .cols = where(is.character),
    .fns = as.factor))

Wem das across zu kompliziert ist, der kann auch alternativ (synonym) jede Variable einzeln in einen Faktor umwandeln und zwar so:

flights_train3a <- 
  flights_train2 %>% 
  mutate(tailnum = as.factor(tailnum),
         origin = as.factor(origin),
         dest = as.factor(dest),
         carrier = as.factor(carrier)
      )

Das ist einfacher als mit across, aber dafür mehr Tipperei.

Wir müssen die Transformationen, die wir auf das Train-Sample anwenden, auch auf das Test-Sample anwenden:

flights_test3 <- 
  flights_test2 %>% 
  mutate(across(
    .cols = where(is.character),
    .fns = as.factor))

flights_train3 %>% 
  select(where(is.factor)) %>% 
  names()
#> [1] "carrier" "tailnum" "origin"  "dest"

flights_train3 %>% 
  count(dest, sort = TRUE)

flights_train3 %>%
  count(dest) %>%
  ggplot() +
  aes(y = fct_reorder(dest, n), x = n) +
  geom_col()

11 flights_train4: Faktorstufen zusammenfassen

flights_train4 <-
  flights_train3 %>% 
  mutate(across(
    .cols = where(is.factor),
    .fns = fct_lump_prop, prop = .025
  ))

flights_train4a <-
  flights_train3 %>% 
  mutate(dest  = fct_lump_prop(f = dest, 
                               prop = .025))

flights_train4a %>% 
  count(dest)

flights_train4 %>%
  count(dest) %>%
  ggplot() +
  aes(y = fct_reorder(dest, n), x = n) +
  geom_col()

Check:

flights_train4 %>% 
  select(where(is.factor)) %>% 
  summarise(nlevels_dest = nlevels(dest))

Oder alle Faktorvariablen auf einmal:

flights_train4 %>% 
  select(where(is.factor)) %>% 
  map_dfc(nlevels)

Das sind jetzt Zahlen von Faktorstufen, mit denen wir arbeiten können.

flights_test4 <-
  flights_test3 %>% 
  mutate(across(
    .cols = where(is.factor),
    .fns = fct_lump_prop, prop = .025
  ))

12 lm3: Alle zusammengefassten Faktorvariablen

lm3 <- flights_train4 %>% 
  select(dep_delay, where(is.factor), -tailnum, -id) %>% 
  lm(dep_delay ~ ., data = .)

Der Punkt bei dep_delay ~ . meint “nimm alle Variablen im Datensatz (bis auf dep_delay)”.

Der Punkt bei data = . nimm die Tabelle, wie sie dir im letzten Schritt mundgerecht aufbereitet wurde. Man hätte hier auch flights_train4 schreiben können, aber dann hätten wir noch tailnum etc. entfernen müssen.

Eigentlich brauchen wir nicht so viele Dezimalstellen …

options(digits = 2)

glance zeigt das R-Quadrat (und einiges mehr, was hier jetzt nicht brauchen).

glance(lm3)  # R^2

tidy(lm3)  # Modellkoeffizienten, also die Beta-Gewichte ("estimate")

Ein mageres R-Quadrat.

13 lm4: Alle metrischen Variablen

Was sind noch mal unsere metrischen Variablen:

flights_train4 %>% 
  select(where(is.numeric)) %>% 
  names()
#>  [1] "id"             "month"          "day"            "dep_time"      
#>  [5] "sched_dep_time" "dep_delay"      "arr_time"       "sched_arr_time"
#>  [9] "flight"         "air_time"       "distance"       "hour"          
#> [13] "minute"

Ok, jetzt eine Regression mit diesen Variablen (ober ohne die ID-Variable):

lm4 <- 
  flights_train4 %>% 
  select(dep_delay, where(is.numeric), -id) %>% 
  lm(dep_delay ~ ., data = .)

glance(lm4)

Tja, das \(R^2\) hat einen nicht gerade um …

14 lm5: Alle metrischen und alle (zusammengefassten) nominalen Variablen

Welche Variablen sind jetzt alle an Bord?

flights_train4 %>% 
  names()
#>  [1] "id"             "month"          "day"            "dep_time"      
#>  [5] "sched_dep_time" "dep_delay"      "arr_time"       "sched_arr_time"
#>  [9] "carrier"        "flight"         "tailnum"        "origin"        
#> [13] "dest"           "air_time"       "distance"       "hour"          
#> [17] "minute"         "time_hour"

time_hour nehmen wir noch einmal raus, da es zum einen redundant ist zu hour etc. und zum anderen noch zusätzlicher Aufbereitung bedarf.

flights_train4 %>% 
  select(minute) %>% 
  skim()

Variable type: numeric

lm5 <- 
  flights_train4 %>% 
  select(-time_hour, -tailnum, -id, -minute) %>%   # "minute" machte Probleme, besser rausnehmen
  lm(dep_delay ~ ., data = .)

glance(lm5)

Der Vorhersage-Gott ist nicht mit uns. Vielleicht sollten wir zu einem ehrlichen Metier als Schuhverkäufer umsatteln …

15 Wetter-Daten ergänzen

data("weather")

glimpse(weather)
#> Rows: 26,115
#> Columns: 15
#> $ origin     <chr> "EWR", "EWR", "EWR", "EWR", "EWR", "EWR", "EWR", "EWR", "EW…
#> $ year       <int> 2013, 2013, 2013, 2013, 2013, 2013, 2013, 2013, 2013, 2013,…
#> $ month      <int> 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,…
#> $ day        <int> 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,…
#> $ hour       <int> 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 13, 14, 15, 16, 17, 18, …
#> $ temp       <dbl> 39.02, 39.02, 39.02, 39.92, 39.02, 37.94, 39.02, 39.92, 39.…
#> $ dewp       <dbl> 26.06, 26.96, 28.04, 28.04, 28.04, 28.04, 28.04, 28.04, 28.…
#> $ humid      <dbl> 59.37, 61.63, 64.43, 62.21, 64.43, 67.21, 64.43, 62.21, 62.…
#> $ wind_dir   <dbl> 270, 250, 240, 250, 260, 240, 240, 250, 260, 260, 260, 330,…
#> $ wind_speed <dbl> 10.35702, 8.05546, 11.50780, 12.65858, 12.65858, 11.50780, …
#> $ wind_gust  <dbl> NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, 20.…
#> $ precip     <dbl> 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,…
#> $ pressure   <dbl> 1012.0, 1012.3, 1012.5, 1012.2, 1011.9, 1012.4, 1012.2, 101…
#> $ visib      <dbl> 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10,…
#> $ time_hour  <dttm> 2013-01-01 01:00:00, 2013-01-01 02:00:00, 2013-01-01 03:00…

skim(weather)

flights_train5 <- 
  flights_train4 %>% 
  left_join(weather) %>%  # "verheiraten"
  select(-wind_gust)

by = c("origin", "month" , "day", "hour")

flights_test5 <- 
  flights_test4 %>% 
  left_join(weather) %>% 
  select(-wind_gust)

16 flights_train6

Bei der Gelegenheit löschen wir noch zwei Variablen, die wir bisher nicht benötigt haben.

flights_train6 <- 
  flights_train5 %>% 
  select(-time_hour, -tailnum, -minute)

flights_test6 <- 
  flights_test5 %>% 
  select(-time_hour, -tailnum, -minute)

17 lm6: Plus Wetterdaten

lm6 <- update(lm5, . ~ . + humid + wind_speed + precip + pressure + visib,
              data = flights_train6)

glance(lm6)

Ah. Etwas besser. Wettervorhersage macht’s möglich.

\(R^2\) kann man auch so berechnen:

flights_train6_pred <- 
  flights_train6 %>% 
  mutate(lm6_pred = predict(lm6, newdata = .))

flights_train6_pred %>% 
  rsq(truth = dep_delay,
      estimate = lm6_pred)

flights_test6_pred <-
  flights_test6 %>% 
  mutate(pred_lm6 = predict(lm6, newdata = flights_test6))

flights_test6_pred %>% 
  select(id, dep_delay, pred_lm6) %>%
  head()

test_rsq <- 
 tibble(model = "lm6") %>% 
  mutate(rsq = rsq_vec(truth = flights_test6_pred$dep_delay,
                       estimate = flights_test6_pred$pred_lm6))

test_rsq

flights_test6_pred %>% 
  summarise(pred_isna = sum(is.na(pred_lm6)),
            pred_isna_prop = pred_isna / nrow(flights_test6_pred))  # prop wie "proportion" (Anteil)

flights_test6_pred2 <- 
flights_test6_pred %>% 
  mutate(pred_lm6 = replace_na(pred_lm6, mean(pred_lm6, na.rm = TRUE)))

flights_test6_pred2 %>% 
  summarise(sum(is.na(pred_lm6)))

flights_test6_pred2 %>% 
  rsq(truth = dep_delay, estimate = pred_lm6)

18 lm7: Rohe Gewalt

Wir könnten einfach, etwas stumpfsinnig, alle Regressionsmodelle ausprobieren: Jeder der \(p\) Prädiktoren könnte also entweder enthalten sein oder nicht. Natürlich würde das schnell zu Arbeit auswachsen, wenn man so viele Regressionsmodelle – \(2^p\) – durchprobieren würde. Außerdem wird die Gefahr von Zufallsbefunden schnell riesig. Aber gut, man kann stumpfsinnige Arbeiten ja gut an den Computer delegieren. Und zum Schutz vor Überanpassung gibt es ein paar Behelfe. Probieren wir es aus; dazu nutzen wir das Paket {leaps}.

tic()  # Zeitmessung t1
lm7 <- regsubsets(dep_delay ~ ., 
                  nvmax = 15,  # max. Anzahl von Prädiktoren
                  data = flights_train6)
#> Reordering variables and trying again:
toc()  # Zeitmessung t2
#> 41.618 sec elapsed

Der Punkt in der Regressionsformel

dep_delay ~ .,

bedeutet “nimm alle übrigen Variablen” (also alle außer der abhängigen Variablen).

Je größer nvmax, desto länger die Rechenzeit, z.B. \(2^{15}=32768\) Modelle, die berechnet werden müssen.

Achtung: Einige Statistiker (siehe auch hier) stehen solchen automatischen Verfahren kritisch gegenüber, sind also der Meinung, das sei Quatsch (andere wiederum nutzen diese Verfahren).

n_preds <- 1:20
exec_time <- c(1, 2, 5)

exec_time_df <-
  expand_grid(n_preds = n_preds,
              exec_time_per_run = exec_time)

exec_time_df <- 
  exec_time_df %>% 
  mutate(exec_time = 2^n_preds * exec_time_per_run) %>% 
  group_by(exec_time_per_run) %>% 
  mutate(exec_time_cum = cumsum(exec_time) / 60 / 60 / 60)

head(exec_time_df)
#> # A tibble: 6 x 4
#> # Groups:   exec_time_per_run [3]
#>   n_preds exec_time_per_run exec_time exec_time_cum
#>     <int>             <dbl>     <dbl>         <dbl>
#> 1       1                 1         2    0.00000926
#> 2       1                 2         4    0.0000185 
#> 3       1                 5        10    0.0000463 
#> 4       2                 1         4    0.0000278 
#> 5       2                 2         8    0.0000556 
#> 6       2                 5        20    0.000139

exec_time_df %>% 
  ggplot() +
  aes(x = n_preds, 
      y = exec_time_cum, 
      color = factor(exec_time_per_run)) +
  geom_line() +
  labs(y = "GesamtRechenzeit in Stunden",
       x = "Anzahl von Prädiktoren pro Modell",
       col = "Rechenzeit pro Modell",
       title = "Schätzung der Rechenzeit für eine Best-Subset-Regression") +
  theme(legend.position = "bottom")

lm7_summary <- summary(lm7)

tibble(adjr2 = lm7_summary$adjr2,
       r2 = lm7_summary$rsq,
       bic = lm7_summary$bic,
       id = 1:length(lm7_summary$adjr2)) %>% 
  pivot_longer(-id) %>% 
  ggplot() +
  aes(x = id, y = value, color = name) +
  geom_point() +
  geom_line() +
  facet_wrap(~ name, scales = "free", nrow = 3) +
  scale_x_continuous(breaks = 1:16)

coef(lm7, 7) %>% names()
#> [1] "(Intercept)"    "dep_time"       "sched_dep_time" "arr_time"      
#> [5] "sched_arr_time" "carrierEV"      "wind_dir"       "visib"

lm7a <- regsubsets(dep_delay ~ ., 
           method = "forward",  # Vorwärts-Schrittweise-Regression
           nvmax = 15,  # max. Anzahl von Prädiktoren
           data = flights_train6)
#> Reordering variables and trying again:

coef(lm7a, 1)
#>  (Intercept)     dep_time 
#> -15.31028825   0.01944815

coef(lm7a, 2)
#> (Intercept)    dep_time    arr_time 
#> -6.10576901  0.03280038 -0.01805599

19 lm8: Bestes Modell aus der Best-Subset-Analyse

flights_train7 <-
  flights_train6 %>% 
  mutate(carrierEV = fct_other(carrier, 
                                  keep = "EV")) 

flights_test7 <-
  flights_test6 %>% 
  mutate(carrierEV = fct_other(carrier, 
                                  keep = "EV")) 

lm8 <- 
  lm(dep_delay ~ dep_time + sched_dep_time + arr_time + carrierEV + wind_dir + sched_arr_time + visib,
          data = flights_train7)

glance(lm8)

Hm; nicht so gut.

flights_test7_pred <-
  flights_test7 %>% 
  mutate(pred_lm8 = predict(lm8, newdata = flights_test7)) %>% 
  select(id, dep_delay, pred_lm8)

test_rsq <- 
  test_rsq %>% 
  bind_rows(tibble(
    model = "lm8",
    rsq = rsq_vec(truth = flights_test7_pred$dep_delay,
                  estimate = flights_test7_pred$pred_lm8)))

test_rsq

20 Prüfen der Modellqualität

autoplot(lm6, which = 1)

Abweichungen von der Linearität finden sich besonders bei sehr kleinen und sehr großen Werten; das ist ein Hinweise, dass unser Modell nicht-lineare Zusammenhänge nicht erkannt. Das ist kein Wunder, schließlich besteht unser Modell nur aus linearen Termen. Interaktionen, Polynome oder logarithmische Transformationen könnten das Modell verbessern und eröffnen Raum für weitere Analysen.

21 Einreichen

Das beste Modell im Trainsample reichen wir ein; in diesem Fall lm6. Wenn die Maßgabe ist, für alle Fälle des Datensatzes eine Vorhersage einzureichen, tun wir das natürlich:

flights6 <- 
flights_train6 %>% 
  bind_rows(flights_test6) 

flights6_pred <- 
  flights6 %>% 
  mutate(pred = predict(lm6, newdata = .)) %>% 
  select(id, pred)

head(flights6_pred)

Wie viele vorhergesagte Werte haben wir, bzw. welchen Anteil?

flights6_pred %>% 
  drop_na() %>% 
  nrow() / nrow(flights6_pred)
#> [1] 0.8862143

write_csv(flights6_pred, file = "Sauer_Sebastian_0123456_Prognose.csv")

22 Was noch?

Ein nächster Schritt könnte sein, sich folgende Punkte anzuschauen:

• Interaktionen
• Polynome
• Voraussetzungen

Eine Faustregel zu Interaktionen lautet: Wenn zwei Variablen jeweils einen starken Haupteffekt haben, lohnt es sich u.U., den Interaktionseffekt anzuschauen (vgl. Gelman & Hill, 2007, S. 69).

23 Tidymodels

Das ständige Updaten des Test-Datensatzes nervt; mit tidymodels wird es komfortabler und man hat Zugang zu leistungsfähigeren Prognosemodellen. Hier findet sich ein Einstieg und hier eine Fallstudie mit Tutorial.

24 Reproducibility

#> ─ Session info ───────────────────────────────────────────────────────────────────────────────────────────────────────
#>  setting  value                       
#>  version  R version 4.1.0 (2021-05-18)
#>  os       macOS Big Sur 10.16         
#>  system   x86_64, darwin17.0          
#>  ui       X11                         
#>  language (EN)                        
#>  collate  en_US.UTF-8                 
#>  ctype    en_US.UTF-8                 
#>  tz       Europe/Berlin               
#>  date     2021-06-24                  
#> 
#> ─ Packages ───────────────────────────────────────────────────────────────────────────────────────────────────────────
#>  package      * version    date       lib source                        
#>  assertthat     0.2.1      2019-03-21 [1] CRAN (R 4.1.0)                
#>  backports      1.2.1      2020-12-09 [1] CRAN (R 4.1.0)                
#>  base64enc      0.1-3      2015-07-28 [1] CRAN (R 4.1.0)                
#>  blogdown       1.3        2021-04-14 [2] CRAN (R 4.1.0)                
#>  bookdown       0.22       2021-04-22 [2] CRAN (R 4.1.0)                
#>  broom        * 0.7.6      2021-04-05 [1] CRAN (R 4.1.0)                
#>  bslib          0.2.5.1    2021-05-18 [1] CRAN (R 4.1.0)                
#>  cachem         1.0.5      2021-05-15 [2] CRAN (R 4.1.0)                
#>  callr          3.7.0      2021-04-20 [1] CRAN (R 4.1.0)                
#>  cellranger     1.1.0      2016-07-27 [1] CRAN (R 4.1.0)                
#>  class          7.3-19     2021-05-03 [2] CRAN (R 4.1.0)                
#>  cli            2.5.0      2021-04-26 [1] CRAN (R 4.1.0)                
#>  codetools      0.2-18     2020-11-04 [2] CRAN (R 4.1.0)                
#>  colorspace     2.0-1      2021-05-04 [1] CRAN (R 4.1.0)                
#>  conflicted   * 1.0.4      2019-06-21 [1] CRAN (R 4.1.0)                
#>  crayon         1.4.1      2021-02-08 [1] CRAN (R 4.1.0)                
#>  DBI            1.1.1      2021-01-15 [1] CRAN (R 4.1.0)                
#>  dbplyr         2.1.1      2021-04-06 [1] CRAN (R 4.1.0)                
#>  desc           1.3.0      2021-03-05 [2] CRAN (R 4.1.0)                
#>  devtools       2.4.1      2021-05-05 [2] CRAN (R 4.1.0)                
#>  dials        * 0.0.9      2020-09-16 [1] CRAN (R 4.1.0)                
#>  DiceDesign     1.9        2021-02-13 [1] CRAN (R 4.1.0)                
#>  digest         0.6.27     2020-10-24 [1] CRAN (R 4.1.0)                
#>  dplyr        * 1.0.6      2021-05-05 [1] CRAN (R 4.1.0)                
#>  ellipsis       0.3.2      2021-04-29 [1] CRAN (R 4.1.0)                
#>  evaluate       0.14       2019-05-28 [1] CRAN (R 4.1.0)                
#>  fansi          0.5.0      2021-05-25 [1] CRAN (R 4.1.0)                
#>  farver         2.1.0      2021-02-28 [1] CRAN (R 4.1.0)                
#>  fastmap        1.1.0      2021-01-25 [2] CRAN (R 4.1.0)                
#>  forcats      * 0.5.1      2021-01-27 [1] CRAN (R 4.1.0)                
#>  foreach        1.5.1      2020-10-15 [2] CRAN (R 4.1.0)                
#>  fs             1.5.0      2020-07-31 [1] CRAN (R 4.1.0)                
#>  furrr          0.2.2      2021-01-29 [1] CRAN (R 4.1.0)                
#>  future         1.21.0     2020-12-10 [1] CRAN (R 4.1.0)                
#>  generics       0.1.0      2020-10-31 [1] CRAN (R 4.1.0)                
#>  ggfortify    * 0.4.11     2020-10-02 [2] CRAN (R 4.1.0)                
#>  ggplot2      * 3.3.4      2021-06-16 [1] CRAN (R 4.1.0)                
#>  globals        0.14.0     2020-11-22 [1] CRAN (R 4.1.0)                
#>  glue           1.4.2      2020-08-27 [1] CRAN (R 4.1.0)                
#>  gower          0.2.2      2020-06-23 [1] CRAN (R 4.1.0)                
#>  GPfit          1.0-8      2019-02-08 [1] CRAN (R 4.1.0)                
#>  gridExtra      2.3        2017-09-09 [2] CRAN (R 4.1.0)                
#>  gtable         0.3.0      2019-03-25 [1] CRAN (R 4.1.0)                
#>  haven          2.4.1      2021-04-23 [1] CRAN (R 4.1.0)                
#>  highr          0.9        2021-04-16 [1] CRAN (R 4.1.0)                
#>  hms            1.1.0      2021-05-17 [1] CRAN (R 4.1.0)                
#>  htmltools      0.5.1.1    2021-01-22 [1] CRAN (R 4.1.0)                
#>  httr           1.4.2      2020-07-20 [1] CRAN (R 4.1.0)                
#>  infer        * 0.5.4      2021-01-13 [1] CRAN (R 4.1.0)                
#>  ipred          0.9-11     2021-03-12 [1] CRAN (R 4.1.0)                
#>  iterators      1.0.13     2020-10-15 [2] CRAN (R 4.1.0)                
#>  jquerylib      0.1.4      2021-04-26 [1] CRAN (R 4.1.0)                
#>  jsonlite       1.7.2      2020-12-09 [1] CRAN (R 4.1.0)                
#>  knitr          1.33       2021-04-24 [1] CRAN (R 4.1.0)                
#>  labeling       0.4.2      2020-10-20 [1] CRAN (R 4.1.0)                
#>  lattice        0.20-44    2021-05-02 [2] CRAN (R 4.1.0)                
#>  lava           1.6.9      2021-03-11 [1] CRAN (R 4.1.0)                
#>  leaps        * 3.1        2020-01-16 [1] CRAN (R 4.1.0)                
#>  lhs            1.1.1      2020-10-05 [1] CRAN (R 4.1.0)                
#>  lifecycle      1.0.0      2021-02-15 [1] CRAN (R 4.1.0)                
#>  listenv        0.8.0      2019-12-05 [1] CRAN (R 4.1.0)                
#>  lubridate      1.7.10     2021-02-26 [1] CRAN (R 4.1.0)                
#>  magrittr       2.0.1      2020-11-17 [1] CRAN (R 4.1.0)                
#>  MASS           7.3-54     2021-05-03 [2] CRAN (R 4.1.0)                
#>  Matrix         1.3-4      2021-06-01 [2] CRAN (R 4.1.0)                
#>  memoise        2.0.0      2021-01-26 [2] CRAN (R 4.1.0)                
#>  modeldata    * 0.1.0      2020-10-22 [1] CRAN (R 4.1.0)                
#>  modelr         0.1.8      2020-05-19 [1] CRAN (R 4.1.0)                
#>  munsell        0.5.0      2018-06-12 [1] CRAN (R 4.1.0)                
#>  nnet           7.3-16     2021-05-03 [2] CRAN (R 4.1.0)                
#>  nycflights13 * 1.0.2      2021-04-12 [1] CRAN (R 4.1.0)                
#>  parallelly     1.25.0     2021-04-30 [1] CRAN (R 4.1.0)                
#>  parsnip      * 0.1.6      2021-05-27 [1] CRAN (R 4.1.0)                
#>  pillar         1.6.1      2021-05-16 [1] CRAN (R 4.1.0)                
#>  pkgbuild       1.2.0      2020-12-15 [2] CRAN (R 4.1.0)                
#>  pkgconfig      2.0.3      2019-09-22 [1] CRAN (R 4.1.0)                
#>  pkgload        1.2.1      2021-04-06 [2] CRAN (R 4.1.0)                
#>  plyr           1.8.6      2020-03-03 [1] CRAN (R 4.1.0)                
#>  prettyunits    1.1.1      2020-01-24 [1] CRAN (R 4.1.0)                
#>  printr       * 0.1.1      2021-01-27 [1] CRAN (R 4.1.0)                
#>  pROC           1.17.0.1   2021-01-13 [1] CRAN (R 4.1.0)                
#>  processx       3.5.2      2021-04-30 [1] CRAN (R 4.1.0)                
#>  prodlim        2019.11.13 2019-11-17 [1] CRAN (R 4.1.0)                
#>  ps             1.6.0      2021-02-28 [1] CRAN (R 4.1.0)                
#>  purrr        * 0.3.4      2020-04-17 [1] CRAN (R 4.1.0)                
#>  R6             2.5.0      2020-10-28 [1] CRAN (R 4.1.0)                
#>  Rcpp           1.0.6      2021-01-15 [1] CRAN (R 4.1.0)                
#>  readr        * 1.4.0      2020-10-05 [1] CRAN (R 4.1.0)                
#>  readxl         1.3.1      2019-03-13 [1] CRAN (R 4.1.0)                
#>  recipes      * 0.1.16     2021-04-16 [1] CRAN (R 4.1.0)                
#>  remotes        2.4.0      2021-06-02 [2] CRAN (R 4.1.0)                
#>  repr           1.1.3      2021-01-21 [1] CRAN (R 4.1.0)                
#>  reprex         2.0.0      2021-04-02 [1] CRAN (R 4.1.0)                
#>  rlang          0.4.11     2021-04-30 [1] CRAN (R 4.1.0)                
#>  rmarkdown      2.8        2021-05-07 [1] CRAN (R 4.1.0)                
#>  rpart          4.1-15     2019-04-12 [2] CRAN (R 4.1.0)                
#>  rprojroot      2.0.2      2020-11-15 [2] CRAN (R 4.1.0)                
#>  rsample      * 0.1.0      2021-05-08 [1] CRAN (R 4.1.0)                
#>  rstudioapi     0.13       2020-11-12 [1] CRAN (R 4.1.0)                
#>  rvest          1.0.0      2021-03-09 [1] CRAN (R 4.1.0)                
#>  sass           0.4.0      2021-05-12 [1] CRAN (R 4.1.0)                
#>  scales       * 1.1.1      2020-05-11 [1] CRAN (R 4.1.0)                
#>  sessioninfo    1.1.1      2018-11-05 [2] CRAN (R 4.1.0)                
#>  skimr        * 2.1.3      2021-03-07 [1] CRAN (R 4.1.0)                
#>  stringi        1.6.2      2021-05-17 [1] CRAN (R 4.1.0)                
#>  stringr      * 1.4.0      2019-02-10 [1] CRAN (R 4.1.0)                
#>  survival       3.2-11     2021-04-26 [2] CRAN (R 4.1.0)                
#>  testthat       3.0.2      2021-02-14 [2] CRAN (R 4.1.0)                
#>  tibble       * 3.1.2      2021-05-16 [1] CRAN (R 4.1.0)                
#>  tidymodels   * 0.1.3      2021-04-19 [1] CRAN (R 4.1.0)                
#>  tidyr        * 1.1.3      2021-03-03 [1] CRAN (R 4.1.0)                
#>  tidyselect     1.1.1      2021-04-30 [1] CRAN (R 4.1.0)                
#>  tidyverse    * 1.3.1      2021-04-15 [1] CRAN (R 4.1.0)                
#>  timeDate       3043.102   2018-02-21 [1] CRAN (R 4.1.0)                
#>  tune         * 0.1.5      2021-04-23 [1] CRAN (R 4.1.0)                
#>  usethis        2.0.1      2021-02-10 [2] CRAN (R 4.1.0)                
#>  utf8           1.2.1      2021-03-12 [1] CRAN (R 4.1.0)                
#>  vctrs          0.3.8      2021-04-29 [1] CRAN (R 4.1.0)                
#>  withr          2.4.2      2021-04-18 [1] CRAN (R 4.1.0)                
#>  workflows    * 0.2.2      2021-03-10 [1] CRAN (R 4.1.0)                
#>  workflowsets * 0.0.2      2021-04-16 [1] CRAN (R 4.1.0)                
#>  xfun           0.23       2021-05-15 [1] CRAN (R 4.1.0)                
#>  xml2           1.3.2      2020-04-23 [1] CRAN (R 4.1.0)                
#>  yaml           2.2.1.99   2021-06-18 [1] Github (viking/r-yaml@4788abe)
#>  yardstick    * 0.0.8      2021-03-28 [1] CRAN (R 4.1.0)                
#> 
#> [1] /Users/sebastiansaueruser/Library/R/x86_64/4.1/library
#> [2] /Library/Frameworks/R.framework/Versions/4.1/Resources/library