germeval06

textmining

datawrangling

germeval

prediction

tidymodels

wordvec

string

Published

November 16, 2023

Aufgabe

Erstellen Sie ein prädiktives Modell für Textdaten. Nutzen Sie Glove6b Word-Vektoren für das Feature-Engineering.

Nutzen Sie die GermEval-2018-Daten.

Die Daten sind unter CC-BY-4.0 lizensiert. Author: Wiegand, Michael (Spoken Language Systems, Saarland University (2010-2018), Leibniz Institute for the German Language (since 2019)),

Die Daten sind auch über das R-Paket PradaData zu beziehen.

library(tidyverse)
data("germeval_train", package = "pradadata")
data("germeval_test", package = "pradadata")

Die AV lautet c1. Die (einzige) UV lautet: text.

Hinweise:

Orientieren Sie sich im Übrigen an den allgemeinen Hinweisen des Datenwerks.
Nutzen Sie Tidymodels.

Lösung

d_train <-
  germeval_train |> 
  select(id, c1, text)

library(tictoc)
library(tidymodels)
library(syuzhet)
library(beepr)
library(textrecipes)

Eine Vorlage für ein Tidymodels-Pipeline findet sich hier.

Textvektoren importieren

library(textdata)

glove_embedding <- embedding_glove6b(
  dir = "/Users/sebastiansaueruser/datasets",
  return_path = TRUE,
  manual_download = TRUE
)

head(glove_embedding)

# model:
mod1 <-
  logistic_reg()


# cv:
set.seed(42)
rsmpl <- vfold_cv(d_train, v = 5)


# recipe:
rec1 <-
  recipe(c1 ~ ., data = d_train) |> 
  update_role(id, new_role = "id")  |> 
  #update_role(c2, new_role = "ignore") |> 
  step_tokenize(text) %>%
  step_stopwords(text, keep = FALSE) %>%
  step_word_embeddings(text,
                       embeddings = glove_embedding,
                       aggregation = "mean") |> 
  step_normalize(all_numeric_predictors()) 


# workflow:
wf1 <-
  workflow() %>% 
  add_model(mod1) %>% 
  add_recipe(rec1)

Tuning

tic()
wf1_fit <-
  wf1 %>% 
  fit_resamples(
    resamples = rsmpl,
    metrics = metric_set(accuracy, f_meas, roc_auc),
    control = control_grid(verbose = TRUE))
toc()
beep()

wf1_fit |> collect_metrics()

Bester Fold:

show_best(wf1_fit)

Fit

tic()
fit1 <- 
  wf1 |> 
  fit(data = d_train)
toc()

Test-Set-Güte

Vorhersagen im Test-Set:

tic()
preds <-
  predict(fit1, new_data = germeval_test)
toc()

Und die Vorhersagen zum Test-Set hinzufügen, damit man TRUTH und ESTIMATE vergleichen kann:

d_test <-
  germeval_test |> 
  bind_cols(preds) |> 
  mutate(c1 = as.factor(c1))

my_metrics <- metric_set(accuracy, f_meas)
my_metrics(d_test,
           truth = c1,
           estimate = .pred_class)

Fazit

glove6b ist für die englische Sprache vorgekocht. Das macht wenig Sinn für einen deutschsprachigen Corpus.

Categories:

textmining
datawrangling
germeval
prediction
tidymodels
wordvec
string

--- exname: germeval06-de-wordvec-resamples expoints: 1 extype: string exsolution: NA categories: - textmining - datawrangling - germeval - prediction - tidymodels - wordvec - string date: '2023-11-16' slug: germeval06 title: germeval06 execute: cache: true eval: false --- ```{r global-knitr-options, include=FALSE, message=FALSE} knitr::opts_chunk$set(fig.pos = 'H', fig.asp = 0.618, fig.width = 4, fig.cap = "", fig.path = "", echo = TRUE, # ECHO IS FALSE!!! message = FALSE, warning = FALSE, fig.show = "hold") options(max.print = 10) options(rstudio.help.showDataPreview = FALSE) ``` # Aufgabe Erstellen Sie ein prädiktives Modell für Textdaten. Nutzen Sie *Glove6b Word-Vektoren* für das Feature-Engineering. Nutzen Sie die [GermEval-2018-Daten](https://heidata.uni-heidelberg.de/dataset.xhtml?persistentId=doi:10.11588/data/0B5VML). Die Daten sind unter CC-BY-4.0 lizensiert. Author: Wiegand, Michael (Spoken Language Systems, Saarland University (2010-2018), Leibniz Institute for the German Language (since 2019)), Die Daten sind auch über das R-Paket [PradaData](https://github.com/sebastiansauer/pradadata/tree/master/data-raw/GermEval-2018-Data-master) zu beziehen. ```{r} library(tidyverse) data("germeval_train", package = "pradadata") data("germeval_test", package = "pradadata") ``` Die AV lautet `c1`. Die (einzige) UV lautet: `text`. Hinweise: - Orientieren Sie sich im Übrigen an den [allgemeinen Hinweisen des Datenwerks](https://datenwerk.netlify.app/hinweise). - Nutzen Sie Tidymodels. # Lösung ```{r} d_train <- germeval_train |> select(id, c1, text) ``` ```{r} library(tictoc) library(tidymodels) library(syuzhet) library(beepr) library(textrecipes) ``` Eine [Vorlage für ein Tidymodels-Pipeline findet sich hier](https://datenwerk.netlify.app/posts/tidymodels-vorlage2/tidymodels-vorlage2.html). ## Textvektoren importieren ```{r} library(textdata) glove_embedding <- embedding_glove6b( dir = "/Users/sebastiansaueruser/datasets", return_path = TRUE, manual_download = TRUE ) head(glove_embedding) ``` ```{r} # model: mod1 <- logistic_reg() # cv: set.seed(42) rsmpl <- vfold_cv(d_train, v = 5) # recipe: rec1 <- recipe(c1 ~ ., data = d_train) |> update_role(id, new_role = "id") |> #update_role(c2, new_role = "ignore") |> step_tokenize(text) %>% step_stopwords(text, keep = FALSE) %>% step_word_embeddings(text, embeddings = glove_embedding, aggregation = "mean") |> step_normalize(all_numeric_predictors()) # workflow: wf1 <- workflow() %>% add_model(mod1) %>% add_recipe(rec1) ``` ## Tuning ```{r fit} tic() wf1_fit <- wf1 %>% fit_resamples( resamples = rsmpl, metrics = metric_set(accuracy, f_meas, roc_auc), control = control_grid(verbose = TRUE)) toc() beep() ``` ```{r} wf1_fit |> collect_metrics() ``` Bester Fold: ```{r} show_best(wf1_fit) ``` ## Fit ```{r} tic() fit1 <- wf1 |> fit(data = d_train) toc() ``` ## Test-Set-Güte Vorhersagen im Test-Set: ```{r predict} tic() preds <- predict(fit1, new_data = germeval_test) toc() ``` Und die Vorhersagen zum Test-Set hinzufügen, damit man `TRUTH` und `ESTIMATE` vergleichen kann: ```{r} d_test <- germeval_test |> bind_cols(preds) |> mutate(c1 = as.factor(c1)) ``` ```{r} my_metrics <- metric_set(accuracy, f_meas) my_metrics(d_test, truth = c1, estimate = .pred_class) ``` ## Fazit `glove6b` ist für die englische Sprache vorgekocht. Das macht wenig Sinn für einen deutschsprachigen Corpus. --- Categories: - textmining - datawrangling - germeval - prediction - tidymodels - wordvec - string