library(tidyverse)
data("germeval_train", package = "pradadata")
data("germeval_test", package = "pradadata")germeval-sent-wordvec-xgb-tune
Aufgabe
Erstellen Sie ein prädiktives Modell für Textdaten. Nutzen Sie Sentiments und TextFeatures im Rahmen von Feature-Engineering. Nutzen Sie außerdem deutsche Word-Vektoren für das Feature-Engineering.
Als Lernalgorithmus verwenden Sie XGB. Tunen Sie die Lernrate und die max. Tiefe (max_depth) des Modells.
Daten
Verwenden Sie die GermEval-2018-Daten.
Die Daten sind unter CC-BY-4.0 lizensiert. Author: Wiegand, Michael (Spoken Language Systems, Saarland University (2010-2018), Leibniz Institute for the German Language (since 2019)),
Die Daten sind auch über das R-Paket PradaData zu beziehen.
AV und UV
Die AV lautet c1. Die (einzige) UV lautet: text.
Hinweise
- Orientieren Sie sich im Übrigen an den allgemeinen Hinweisen des Datenwerks.
- Nutzen Sie Tidymodels.
- Nutzen Sie das
sentiwsLexikon. - ❗ Achten Sie darauf, die Variable
c2zu entfernen bzw. nicht zu verwenden.
Lösung
Setup
d_train <-
germeval_train |>
select(id, c1, text)library(tictoc)
library(tidymodels)
#library(syuzhet)
library(beepr)
library(finetune) # anova race
library(lobstr) # object size
library(visdat) # footprint of csv
#data("sentiws", package = "pradadata")Learner/Modell
mod <-
boost_tree(mode = "classification",
learn_rate = tune(),
tree_depth = tune()
)Gebackenen Datensatz als neue Grundlage
Wir importieren den schon an anderer Stelle aufbereiteten Datensatz. Das hat den Vorteil (hoffentlich), das die Datenvolumina viel kleiner sind. Die Arbeit des Feature Engineering wurde uns schon abgenommen.
d_train <-
read_csv("https://raw.githubusercontent.com/sebastiansauer/Datenwerk2/main/data/germeval/germeval_train_recipe_wordvec_senti.csv")vis_dat(d_train) +
# remove axis labels:
theme(axis.text.x=element_blank(),
axis.ticks.x=element_blank()
)d_test_baked <- read_csv("https://raw.githubusercontent.com/sebastiansauer/Datenwerk2/main/data/germeval/germeval_test_recipe_wordvec_senti.csv")Plain-Rezept
rec <-
recipe(c1 ~ ., data = d_train)Neuer Workflow mit plainem Rezept
wf <-
workflow() |>
add_recipe(rec) |>
add_model(mod)Parallelisierung über mehrere Kerne
library(parallel)
all_cores <- detectCores(logical = FALSE)
library(doFuture)
registerDoFuture()
cl <- makeCluster(3)
plan(cluster, workers = cl)Achtung: Viele Kerne brauchen auch viel Speicher.
Tune/Resample/Fit
tic()
fit_wordvec_senti_xgb <-
tune_race_anova(
wf,
grid = 30,
resamples = vfold_cv(d_train, v = 5),
control = control_race(verbose_elim = TRUE))
toc()
beep()Objekt-Größe:
lobstr::obj_size(fit_wordvec_senti_xgb)Groß!
Wie wir gesehen haben, ist das Rezept riesig.
Get best performance
autoplot(fit_wordvec_senti_xgb)show_best(fit_wordvec_senti_xgb)
best_params <- select_best(fit_wordvec_senti_xgb)Finalisieren
best_params <- select_best(fit_wordvec_senti_xgb)
tic()
wf_finalized <- finalize_workflow(wf, best_params)
lastfit_xgb <- fit(wf_finalized, data = d_train)
toc()Test-Set-Güte
tic()
preds <-
predict(lastfit_xgb, new_data = d_test_baked)
toc()d_test <-
d_test_baked |>
bind_cols(preds) |>
mutate(c1 = as.factor(c1))my_metrics <- metric_set(accuracy, f_meas)
my_metrics(d_test,
truth = c1,
estimate = .pred_class)