germeval05

textmining
datawrangling
germeval
prediction
tidymodels
wordvec
string
Published

November 16, 2023

Aufgabe

Erstellen Sie ein prädiktives Modell für Textdaten. Nutzen Sie Word-Vektoren für das Feature-Engineering.

Nutzen Sie die GermEval-2018-Daten.

Die Daten sind unter CC-BY-4.0 lizensiert. Author: Wiegand, Michael (Spoken Language Systems, Saarland University (2010-2018), Leibniz Institute for the German Language (since 2019)),

Die Daten sind auch über das R-Paket PradaData zu beziehen.

library(tidyverse)
data("germeval_train", package = "pradadata")
data("germeval_test", package = "pradadata")

Die AV lautet c1. Die (einzige) UV lautet: text.

Hinweise:











Lösung

d_train <-
  germeval_train |> 
  select(id, c1, text)
library(tictoc)
library(tidymodels)
library(syuzhet)
library(beepr)
library(textrecipes)

Eine Vorlage für ein Tidymodels-Pipeline findet sich hier.

Textvektoren importieren

library(textdata)

glove_embedding <- embedding_glove6b(
  dir = "/Users/sebastiansaueruser/datasets",
  return_path = TRUE,
  manual_download = TRUE
)

head(glove_embedding)

Workflow

# model:
mod1 <-
  logistic_reg()


# cv:
set.seed(42)
rsmpl <- vfold_cv(d_train, v = 5)


# recipe:
rec1 <-
  recipe(c1 ~ ., data = d_train) |> 
  update_role(id, new_role = "id")  |> 
  #update_role(c2, new_role = "ignore") |> 
  step_tokenize(text) %>%
  step_stopwords(text, keep = FALSE) %>%
  step_word_embeddings(text,
                       embeddings = glove_embedding,
                       aggregation = "mean") |> 
  step_normalize(all_numeric_predictors()) 


# workflow:
wf1 <-
  workflow() %>% 
  add_model(mod1) %>% 
  add_recipe(rec1)

Tuining/Fitting

tic()
wf1_fit <-
  wf1 %>% 
  fit_resamples(
    resamples = rsmpl,
    metrics = metric_set(accuracy, f_meas, roc_auc),
    control = control_grid(verbose = TRUE))
toc()
beep()
wf1_fit |> collect_metrics()

Bester Fold:

show_best(wf1_fit)

Fit

fit1 <- 
  wf1 |> 
  fit(data = d_train)

Test-Set-Güte

Vorhersagen im Test-Set:

tic()
preds <-
  predict(fit1, new_data = germeval_test)
toc()

Und die Vorhersagen zum Test-Set hinzufügen, damit man TRUTH und ESTIMATE vergleichen kann:

d_test <-
  germeval_test |> 
  bind_cols(preds) |> 
  mutate(c1 = as.factor(c1))
my_metrics <- metric_set(accuracy, f_meas)
my_metrics(d_test,
           truth = c1,
           estimate = .pred_class)

Fazit

glove6b ist für die englische Sprache vorgekocht. Das macht wenig Sinn für einen deutschsprachigen Corpus.


Categories:

  • textmining
  • datawrangling
  • germeval
  • prediction
  • tidymodels
  • wordvec
  • string