tidymodels-ames-05

ds1

tidymodels

prediction

yacsda

statlearning

num

Published

November 8, 2023

Aufgabe

Berechnen Sie ein knn-Modell mit tidymodels und zwar anhand des ames Datensatzes.

Modellgleichung: log(Sale_Price) ~ ., data = ames_train.

Gesucht ist R-Quadrat als Maß für die Modellgüte im TEST-Sample.

Hinweise:

Fixieren Sie die Zufallszahlen auf den Startwert 42.
Denken Sie daran, die nominal skalierten Variablen in Dummy-Variablen umzurechnen.
Denken Sie daran, dass kNN gleich skalierte Prädiktoren benötigt.
Nutzen Sie eine v=10,r=1 CV.
Verzichten Sie auf weitere Schritte der Vorverarbeitung.

Lösung

Setup:

library(tidymodels)
library(tictoc)  # Rechenzeit messen, optional
data(ames)

AV loggen:

ames <-
  ames %>% 
  mutate(Sale_Price = log(Sale_Price, base = 10))

Datensatz reduzieren, um Zeit zu sparen bei der Berechnung:

ames <-
  ames |> 
  select(Sale_Price, where(is.numeric))

Datensatz aufteilen:

set.seed(42)
data_split <- initial_split(ames, strata = "Sale_Price")
ames_train <- training(data_split)
ames_test <- testing(data_split)

Workflow:

ames_rec <-
  recipe(Sale_Price ~ ., data = ames_train) %>%
  # step_log(Sale_Price, base = 10) %>%   No!
 # step_other(Neighborhood, threshold = .1)  %>%
  step_dummy(all_nominal()) %>%
  step_zv(all_predictors()) 

knn_model2 <-
  nearest_neighbor(
    mode = "regression",
    neighbors = tune()  # Wir tunen "neighbors"
  ) 

ames_wflow2 <-
  workflow() %>%
  add_recipe(ames_rec) %>%
  add_model(knn_model2)

ames_wflow2

CV:

set.seed(42)
ames_folds <- vfold_cv(ames_train, strata = "Sale_Price", v = 2)
ames_folds

Tunen:

tic()
ames_grid_search <-
  tune_grid(
    knn_model2,
    ames_rec,
    resamples = ames_folds,
    control = control_grid(save_workflow = TRUE),
    grid = 2,  # 2 Tuningparameterwerte, hier nur zum Zeit sparen
  )
toc()
ames_grid_search

Modellgüte im Train-Samples über die Tuningparameter hinweg:

autoplot(ames_grid_search)

Fitte besten Modellkandidaten (Paket tune >= V1.1.0 benötigt):

fit1_final <- fit_best(ames_grid_search)

Vorhersagen:

preds <-
  predict(fit1_final, ames_test)

Modellgüte im Test-Sample:

fit1_metrics <-
  preds %>% 
  bind_cols(ames_test %>% select(Sale_Price)) %>% 
  rsq(truth = Sale_Price, estimate = .pred)

fit1_metrics

R-Quadrat:

sol <- fit1_metrics %>% pull(.estimate)
sol

Categories:

ds1
tidymodels
prediction
yacsda
statlearning
num

--- exname: tidymodels-ames-05 extype: num exsolution: r exams::fmt(sol) exshuffle: no extol: 1 expoints: 1 categories: - ds1 - tidymodels - prediction - yacsda - statlearning - num date: '2023-11-08' slug: tidymodels-ames-05 title: tidymodels-ames-05 execute: eval: false --- ```{r global-knitr-options, include=FALSE} knitr::opts_chunk$set(fig.pos = 'H', fig.asp = 0.618, fig.width = 4, fig.cap = "", fig.path = "", cache = TRUE, echo = TRUE, message = FALSE, fig.show = "hold") ``` # Aufgabe Berechnen Sie ein knn-Modell mit tidymodels und zwar anhand des `ames` Datensatzes. Modellgleichung: `log(Sale_Price) ~ ., data = ames_train`. Gesucht ist R-Quadrat als Maß für die Modellgüte im *TEST-Sample*. *Hinweise*: - Fixieren Sie die Zufallszahlen auf den Startwert 42. - Denken Sie daran, die nominal skalierten Variablen in Dummy-Variablen umzurechnen. - Denken Sie daran, dass kNN gleich skalierte Prädiktoren benötigt. - Nutzen Sie eine v=10,r=1 CV. - Verzichten Sie auf weitere Schritte der Vorverarbeitung. # Lösung Setup: ```{r} library(tidymodels) library(tictoc) # Rechenzeit messen, optional data(ames) ``` AV loggen: ```{r log-sales-price} ames <- ames %>% mutate(Sale_Price = log(Sale_Price, base = 10)) ``` Datensatz reduzieren, um Zeit zu sparen bei der Berechnung: ```{r ames-reduce-vars} ames <- ames |> select(Sale_Price, where(is.numeric)) ``` Datensatz aufteilen: ```{r data-split} set.seed(42) data_split <- initial_split(ames, strata = "Sale_Price") ames_train <- training(data_split) ames_test <- testing(data_split) ``` Workflow: ```{r wf} ames_rec <- recipe(Sale_Price ~ ., data = ames_train) %>% # step_log(Sale_Price, base = 10) %>% No! # step_other(Neighborhood, threshold = .1) %>% step_dummy(all_nominal()) %>% step_zv(all_predictors()) knn_model2 <- nearest_neighbor( mode = "regression", neighbors = tune() # Wir tunen "neighbors" ) ames_wflow2 <- workflow() %>% add_recipe(ames_rec) %>% add_model(knn_model2) ames_wflow2 ``` CV: ```{r cv} set.seed(42) ames_folds <- vfold_cv(ames_train, strata = "Sale_Price", v = 2) ames_folds ``` Tunen: ```{r tune-grid} tic() ames_grid_search <- tune_grid( knn_model2, ames_rec, resamples = ames_folds, control = control_grid(save_workflow = TRUE), grid = 2, # 2 Tuningparameterwerte, hier nur zum Zeit sparen ) toc() ames_grid_search ``` Modellgüte im Train-Samples über die Tuningparameter hinweg: ```{r} autoplot(ames_grid_search) ``` Fitte besten Modellkandidaten (Paket `tune` >= V1.1.0 benötigt): ```{r fit-best} fit1_final <- fit_best(ames_grid_search) ``` Vorhersagen: ```{r predict} preds <- predict(fit1_final, ames_test) ``` Modellgüte im Test-Sample: ```{r fit1-metrics} fit1_metrics <- preds %>% bind_cols(ames_test %>% select(Sale_Price)) %>% rsq(truth = Sale_Price, estimate = .pred) fit1_metrics ``` R-Quadrat: ```{r r2} sol <- fit1_metrics %>% pull(.estimate) sol ``` --- Categories: - ds1 - tidymodels - prediction - yacsda - statlearning - num