library(tidyverse)
data("germeval_train", package = "pradadata")
data("germeval_test", package = "pradadata")germeval06
Aufgabe
Erstellen Sie ein prädiktives Modell für Textdaten. Nutzen Sie Glove6b Word-Vektoren für das Feature-Engineering.
Nutzen Sie die GermEval-2018-Daten.
Die Daten sind unter CC-BY-4.0 lizensiert. Author: Wiegand, Michael (Spoken Language Systems, Saarland University (2010-2018), Leibniz Institute for the German Language (since 2019)),
Die Daten sind auch über das R-Paket PradaData zu beziehen.
Die AV lautet c1. Die (einzige) UV lautet: text.
Hinweise:
- Orientieren Sie sich im Übrigen an den allgemeinen Hinweisen des Datenwerks.
- Nutzen Sie Tidymodels.
Lösung
d_train <-
germeval_train |>
select(id, c1, text)library(tictoc)
library(tidymodels)
library(syuzhet)
library(beepr)
library(textrecipes)Eine Vorlage für ein Tidymodels-Pipeline findet sich hier.
Textvektoren importieren
library(textdata)
glove_embedding <- embedding_glove6b(
dir = "/Users/sebastiansaueruser/datasets",
return_path = TRUE,
manual_download = TRUE
)
head(glove_embedding)# model:
mod1 <-
logistic_reg()
# cv:
set.seed(42)
rsmpl <- vfold_cv(d_train, v = 5)
# recipe:
rec1 <-
recipe(c1 ~ ., data = d_train) |>
update_role(id, new_role = "id") |>
#update_role(c2, new_role = "ignore") |>
step_tokenize(text) %>%
step_stopwords(text, keep = FALSE) %>%
step_word_embeddings(text,
embeddings = glove_embedding,
aggregation = "mean") |>
step_normalize(all_numeric_predictors())
# workflow:
wf1 <-
workflow() %>%
add_model(mod1) %>%
add_recipe(rec1)Tuning
tic()
wf1_fit <-
wf1 %>%
fit_resamples(
resamples = rsmpl,
metrics = metric_set(accuracy, f_meas, roc_auc),
control = control_grid(verbose = TRUE))
toc()
beep()wf1_fit |> collect_metrics()Bester Fold:
show_best(wf1_fit)Fit
tic()
fit1 <-
wf1 |>
fit(data = d_train)
toc()Test-Set-Güte
Vorhersagen im Test-Set:
tic()
preds <-
predict(fit1, new_data = germeval_test)
toc()Und die Vorhersagen zum Test-Set hinzufügen, damit man TRUTH und ESTIMATE vergleichen kann:
d_test <-
germeval_test |>
bind_cols(preds) |>
mutate(c1 = as.factor(c1))my_metrics <- metric_set(accuracy, f_meas)
my_metrics(d_test,
truth = c1,
estimate = .pred_class)Fazit
glove6b ist für die englische Sprache vorgekocht. Das macht wenig Sinn für einen deutschsprachigen Corpus.
Categories:
- textmining
- datawrangling
- germeval
- prediction
- tidymodels
- wordvec
- string