germeval-sent-wordvec-xgb-tune

textmining
datawrangling
germeval
prediction
tidymodels
sentiment
string
xgb
tune
Published

December 3, 2023

Aufgabe

Erstellen Sie ein prädiktives Modell für Textdaten. Nutzen Sie Sentiments und TextFeatures im Rahmen von Feature-Engineering. Nutzen Sie außerdem deutsche Word-Vektoren für das Feature-Engineering.

Als Lernalgorithmus verwenden Sie XGB. Tunen Sie die Lernrate und die max. Tiefe (max_depth) des Modells.

Daten

Verwenden Sie die GermEval-2018-Daten.

Die Daten sind unter CC-BY-4.0 lizensiert. Author: Wiegand, Michael (Spoken Language Systems, Saarland University (2010-2018), Leibniz Institute for the German Language (since 2019)),

Die Daten sind auch über das R-Paket PradaData zu beziehen.

library(tidyverse)
data("germeval_train", package = "pradadata")
data("germeval_test", package = "pradadata")

AV und UV

Die AV lautet c1. Die (einzige) UV lautet: text.

Hinweise

  • Orientieren Sie sich im Übrigen an den allgemeinen Hinweisen des Datenwerks.
  • Nutzen Sie Tidymodels.
  • Nutzen Sie das sentiws Lexikon.
  • ❗ Achten Sie darauf, die Variable c2 zu entfernen bzw. nicht zu verwenden.











Lösung

Setup

d_train <-
  germeval_train |> 
  select(id, c1, text)
library(tictoc)
library(tidymodels)
#library(syuzhet)
library(beepr)
library(finetune)  # anova race
library(lobstr)  # object size
library(visdat)  # footprint of csv
#data("sentiws", package = "pradadata")

Eine Vorlage für ein Tidymodels-Pipeline findet sich hier.

Learner/Modell

mod <-
  boost_tree(mode = "classification",
             learn_rate = tune(), 
             tree_depth = tune()
             )

Gebackenen Datensatz als neue Grundlage

Wir importieren den schon an anderer Stelle aufbereiteten Datensatz. Das hat den Vorteil (hoffentlich), das die Datenvolumina viel kleiner sind. Die Arbeit des Feature Engineering wurde uns schon abgenommen.

d_train <-
  read_csv("https://raw.githubusercontent.com/sebastiansauer/Datenwerk2/main/data/germeval/germeval_train_recipe_wordvec_senti.csv")
vis_dat(d_train) +
  # remove axis labels:
  theme(axis.text.x=element_blank(),
        axis.ticks.x=element_blank() 
        )
d_test_baked <- read_csv("https://raw.githubusercontent.com/sebastiansauer/Datenwerk2/main/data/germeval/germeval_test_recipe_wordvec_senti.csv")

Plain-Rezept

rec <- 
  recipe(c1 ~ ., data = d_train)

Neuer Workflow mit plainem Rezept

wf <-
  workflow() |> 
  add_recipe(rec) |> 
  add_model(mod)

Parallelisierung über mehrere Kerne

library(parallel)
all_cores <- detectCores(logical = FALSE)

library(doFuture)
registerDoFuture()
cl <- makeCluster(3)
plan(cluster, workers = cl)

Achtung: Viele Kerne brauchen auch viel Speicher.

Tune/Resample/Fit

tic()
fit_wordvec_senti_xgb <-
  tune_race_anova(
    wf,
    grid = 30,
    resamples = vfold_cv(d_train, v = 5),
    control = control_race(verbose_elim = TRUE))
toc()
beep()

Objekt-Größe:

lobstr::obj_size(fit_wordvec_senti_xgb)

Groß!

Wie wir gesehen haben, ist das Rezept riesig.

Get best performance

autoplot(fit_wordvec_senti_xgb)
show_best(fit_wordvec_senti_xgb)

best_params <- select_best(fit_wordvec_senti_xgb)

Finalisieren

best_params <- select_best(fit_wordvec_senti_xgb)
tic()
wf_finalized <- finalize_workflow(wf, best_params)
lastfit_xgb <- fit(wf_finalized, data = d_train)
toc()

Test-Set-Güte

tic()
preds <-
  predict(lastfit_xgb, new_data = d_test_baked)
toc()
d_test <-
  d_test_baked |> 
  bind_cols(preds) |> 
  mutate(c1 = as.factor(c1))
my_metrics <- metric_set(accuracy, f_meas)
my_metrics(d_test,
           truth = c1,
           estimate = .pred_class)