Word Embeddings

Korpuspragmatik – und warum Word Embeddings interessant sind

Linguistische Diskurs- und Kulturanalyse, Korpuspragmatik

Sprachgebrauch

[…] ich gehe von der These aus, dass Musterbildungen im Sprachgebrauch einen wichtigen ‚Ort‘ der Verschränkung von Kultur und Sprache und damit eines der zentralen Objekte einer kulturanalytischen Linguistik darstellen. […]

Linke, Angelika (2011): Signifikante Muster – Perspektiven einer kulturanalytischen Linguistik. S. 27; Hervorh. NB.

Sprachgebrauchsmuster

Ich verstehe […] den Musterbegriff sehr weit: Ich fasse darunter nicht nur sowohl strukturell als auch lexikalisch definierte Muster im Sinne von Kollokationen oder festen Wendungen – wie sich amüsiert haben –, sondern auch kollektive Präferenzen für einzelne sprachliche Zeichen, Präferenzen für bestimmte syntaktische oder textuelle Muster sowie Koppelungen von sprachlichen Ausdrucksformen mit bestimmten Situationen und Kontexten.

Linke, Angelika (2011): Signifikante Muster – Perspektiven einer kulturanalytischen Linguistik. S. 39; Hervorh. NB. Vgl. auch Bubenhofer, Noah (2009): Sprachgebrauchsmuster. Korpuslinguistik als Methode der Diskurs- und Kulturanalyse.

Elemente einer Korpuspragmatik

• Pragmatische Wende: Idiomatische Prägungen als Resultat von Konventionalisierungen von Interpretationen, die diese Konventionalisierungen ausdrucksseitig widerspiegeln (Feilke 2003)
• Data-Driven Turn: Datengeleitete Korpusanalysen zur Generierung von Hypothesen (Teubert 2005, Bubenhofer 2009)

Feilke, Helmuth (2003): Textroutine, Textsemantik und sprachliches Wissen. In: Linke, A. et al., S. 209–230.
Teubert, Wolfgang (2005): My Version of Corpus Linguistics (International Journal of Corpus Linguistics, 10): p. 4.
Bubenhofer (2009): Sprachgebrauchsmuster. Korpuslinguistik als Methode der Diskurs- und Kulturanalyse.

Word Embeddings: Eine alte linguistische Theorie im neuen technischen Gewand

Kollokationen

Kollokationen

„You shall know a word by the company it keeps.“ (Firth 1957)

Kollokationen

Was bedeutet Synonymie?

Idee: Distanz zwischen Kollokationsprofilen messen.

Word Embeddings

100.000 Wörter (Types), 100 Dimensionen

(Mikolov et al. 2013)

Vektorraum

Anwendungsbeispiel "Geburtsberichte"

Geburt – Narrative Muster

Wir freuten uns – endlich waren wir auf der Zielgeraten. Die ersten 2 Presswehen waren noch gut zu meistern, ich merkte deutlich den Erfolg des Pressens und durfte auch schon das Köpfchen mit den Fingerspitzen berühren – herrlich!!! Dann wurde es schmerzhaft und ich dachte mir zerreißt es das Becken … aber nach der 3. Presswehe war der Kopf endlich draußen und mit der 4. Presswehe wurden dann auch die Schultern "rausgedrückt" – wobei ich gerissen bin – was ich auch deutlich gespürt habe … Zum Glück war es dann aber auch schon geschafft und ich blickte auf dieses winzige schreiende Menschlein und musste sofort weinen … es war ein sooo emotionaler Moment – unglaublich! Luisa begann nach wenigen Sekunden schon nach der Brust zu suchen … wir mussten sooo lachen – ein kleiner süßer Fresssack. Meine 2. Tochter – ein weiteres Wunder … endlich war sie da und sie wurde mir sofort auf den Bauch gelegt! Sie macht sofort die Augen auf und sah mich an … ein unvergesslicher Moment, so friedlich, vollkommen und einmalig und ein Ebenbild von Pauline!!!

N., 2011-09-03, http://www.babyforum.de

Geburten

Der typische Geburtsbericht in Fragmenten

An diesem Tag hatte ich… → …, dass es endlich losgeht → ich hatte das Gefühl, dass… → Mein Mann und ich waren… → war mich sicher, dass… → auf den Weg in die… → Ich sagte ihr, dass… → so heftig, dass ich… → fühlte sich an, als → war ich fix und fertig → Ich hatte das Gefühl, → dass es nicht mehr lange… → ich dachte, ich muss… → , aber es ging nicht → , was das Zeug hielt → dann ging alles ganz schnell → Ich weiß nur noch… → um 16:38 war es → ich konnte es nicht glauben → ich war so froh… → , dass es vorbei war → ich hätte nie gedacht, → und ich muss sagen, → Für mich war es eine… → noch vor sich haben…

Korpus

Forschungsfragen

• Inhaltlich | Geburtsberichte als Teil des Geburtsdiskurses: Typische Topoi und narrative Muster
• Methodisch | Datengeleitete Korpusanalyse zur Freilegung narrativer Muster

Bubenhofer, Noah (im Druck): Semantische Äquivalenz in Geburtserzählungen: Anwendung von Word Embeddings. In: Zeitschrift für Germanistische Linguistik.
Bubenhofer, Noah (2018): Serialität der Singularität: Korpusanalyse narrativer Muster in Geburtsberichten. In: LiLi Zeitschrift für Literaturwissenschaft und Linguistik. DOI: 10.1007/s41244-018-0096-4.

Kulturelle Praxis des Erzählens einer Geburt
(aus Sicht der Mutter)

Akteure, Handlungen, Bewertungen, Werte

↓

Methoden: Keywords, n-Gramme (Mehrworteinheiten), Topic Modeling, Word Embeddings
Material: Serielle Texte, durchsetzt von Sprachgebrauchsmustern

↓

Erkenntnisse über die Folie für die Produktion von Geburtsberichten – kulturspezifische Ausprägungen von Narration zur Alltagserfahrung Geburt → "sprachliche Praktiken" (Habscheid 2016)

Typische Ketten von Sprachgebrauchsmustern

Ziel: Berechnung der typischen Sequenzen von komplexen n-Grammen in den Geburtsberichten

• Berechnung der komplexen n-Gramme, die typisch für die Geburtsberichte sind (Referenzkorpus Spiegel/Zeit)
• Kollokationsanalyse: Typische rechte n-Gramme zu jedem n-Gramm
• Visualisierung als interaktiver Netzwerk-Graph

→ musterhafte sprachliche Sequenzen als Indikatoren für kulturelle Praktiken

Bubenhofer / Müller / Scharloth 2013; Affolter 2016 (MA-Arbeit)

Alternative Visualisierung

Variation der Geschichten

Beispiele

Wehe: anrollen (0.7714179754257202), Hammerwehe (0.7110541462898254), wehe. (0.6944172978401184), Wehe. (0.6870291829109192), Wehenpause (0.6566441059112549), Nächste (0.6404309868812561), Welle (0.6262998580932617), Preßwehe (0.6261609792709351), Ausatmen (0.617641270160675), weglegen (0.6134337186813354)

Schmerz: Wehenschmerz (0.8821748495101929), schmerzen (0.746356725692749), Schmerzen. (0.7165833115577698), Dauerschmerz (0.6974124908447266), Bewegungsdrang (0.6873125433921814), wehenschmerz (0.6761729717254639), schmerzen. (0.6695544123649597), Geburtsschmerz (0.6639039516448975), Wehenspitzen (0.6634974479675293), Rückenwehen (0.6496166586875916)

Beispiele

Kind: Baby (0.8563555479049683), Tochter (0.7126445770263672), Sohn (0.6942390203475952), Kleine (0.6648626327514648), Zwilling (0.6449035406112671), Kindlein (0.6330938935279846), Zwerg (0.6289287805557251), Maus (0.6128379106521606), Butzi (0.6042927503585815), Babies (0.60008704662323)

weil: deswegen (0.7363709211349487), sodass (0.6999390125274658), da (0.6969295740127563), außerdem (0.6948705911636353), deshalb (0.6797378063201904), zumal (0.6710671782493591), obwohl (0.6692008376121521), nämlich (0.6597287654876709), aber (0.6589906811714172), daher (0.6349456310272217)

extrem: immens (0.7714534997940063), enorm (0.7656272053718567), ziemlich (0.7187795639038086), wahnsinnig (0.707932710647583), derb (0.7021247744560242), sehr (0.6977962255477905), Rippenschmerzen (0.696819543838501), paaren (0.694392204284668), mörderisch (0.6901798248291016), massiv (0.6896220445632935)

Clustering des Vektorraums

Fragestellung: Gliederung des semantischen Raumes? Semantisch ähnliche Ausdrücke finden. Clustering:

• Vektorraum: 16.218 Types
• Ziel: 2000 Cluster (durchschnittlich 8 Wörter pro Cluster)
• K-means-Algorithmus
• pro Cluster wird der Zentroid berechnet und die drei nächsten Wörter als Label ausgegeben

Beispiel Cluster

Cluster ID 244:

Aerztin, Arzt, Assistenzarzt, Assistenzärztin, Chefarzt, Chefärztin, Doc, OA, Oberarzt, Oberärztin, OÄ, Ärtzin, Ärztin

Label (mit Distanz zum Zentroid): Oberarzt (0.9604488611221313), Ärztin (0.9517141580581665), Oberärztin (0.9398374557495117)

Beispiel Cluster

Cluster ID 248:

Durchatmen, Dösen, Einschlafen, Hyperventilieren, Ruhepause, Sekundenschlaf, hindurch, immerwieder, manchmal, rauben, sogar, totmüde, wegdösen, weggedämmert, weggedöst, weggenickt, zeitweise, zwischen

Label (mit Distanz zum Zentroid): wegdösen (0.9144155979156494), weggedämmert (0.9106881022453308), Sekundenschlaf (0.8776345252990723)

Clustering des Vektorraums

Fragestellung: Gliederung des semantischen Raumes? Semantisch ähnliche Ausdrücke finden. Clustering:

• Vektorraum: 16.218 Types
• Ziel: 2000 Cluster (durchschnittlich 8 Wörter pro Cluster)
• K-means-Algorithmus
• pro Cluster wird der Zentroid berechnet und die drei nächsten Wörter als Label ausgegeben
• Verteilung der Cluster über die Geschichten: Durchschnittliche Positionen

Word Embeddings, Cluster

Word Embeddings, Cluster

Word Embeddings, Cluster

Word Embeddings, Cluster

Word Embeddings, Cluster

Zwischenfazit

• Word Embedding-Modelle können strukturalistisch als semantische Repräsentationen von Sprache angesehen werden: semantische Relationen als ähnliche Kontexte/Positionen im Vektorraum.
• Aber: klassische semantische Relationen wie Synonymie, Hyperonmyie, Hyponymie und Antonymie sind schwer unterscheidbar.
• Ist das ein Mangel der Methode?
• Oder zeigt es, dass diese semantischen Räume eher als diskursiv geprägte funktionale Äquivalenzen aufgefasst werden müssten?

Beispiel Rechtspopulismus

Forschungsfragen

Im Zentrum der Studie steht die Frage, ob – und falls ja welche – gebrauchssemantischen Unterschiede zwischen rechtspopulistischen Online-Medientexten und Online-Medientexten ausgewählter „Orientierungsmedien“ (Weischenberg/Malik/Scholl 2006, 359) bestehen und wie diese als Politisierung von Wörtern erschlossen, analysiert und bewertet werden können.

Bubenhofer, Noah/Calleri, Selena/Dreesen, Philipp (2019): Politisierung in rechtspopulistischen Medien: Wortschatzanalyse und Word Embeddings. In: OBST. Osnabrücker Beiträge zur Sprachtheorie, Nr. 95, 211-242.

Daten

PINES-Korpus

Referenzkorpora

Singulärer Wortschatz PINES

Vergleich Word Embbeddings

Beziehungen in Word Embedding-Modellen

Schweiz : Bern = Frankreich : X?

X =
print (model.most_similar(positive=["Frankreich", "Bern"], negative=["Schweiz"]))

[Paris 0.6183302998542786, Belgien 0.6035687923431396, Lyon 0.6030720472335815, Lille 0.6008703112602234, Schweden 0.5985360741615295, Rouen 0.5969228744506836, Marseille 0.5956765413284302, Turku 0.5817413330078125, Prag 0.5802628993988037, Riga 0.5753870010375977]

Beziehungen in Word Embedding-Modellen

Vergleich diskursiv geprägter semantischer Räume

Fragestellung: Wie unterscheiden sich die diskursiv geprägten semantischen Räume von rechtspopulistischen von anderen Medien?

• Orientierungsmedien-Korpus ORIENT: Zeit, Bild, Spiegel 2013-2018
• Rechtspopulistisches Medienkorpus PINES: PI News, Compact Online 2013-2018

Vergleich diskursiv geprägter semantischer Räume

Vergleich diskursiv geprägter semantischer Räume

Vergleich diskursiv geprägter semantischer Räume

Ausdrücke, die sowohl in ORIENT als auch in PINES vorkommen, jedoch semantisch sehr unterschiedlich verwendet werden.

Vergleich der WE-Modelle

Ausdruck X und seine 100 Next Neighbours in den Modellen ORIENT und PINES:

• Out of vocabulary (a/100): Wie viele der 100 Next Neighbours von X in ORIENT sind im Modell PINES überhaupt vorhanden? (Es könnte sein, dass gewisse NNs von X überhaupt nicht im PINES-Modell vorkommen, da das Korpus kleiner ist – Nicht-Vorkommen ist aber problematisch zu bewerten.)
• Gemeinsame Next Neighbours (b/100): Wie viele der 100 NNs des Ausdrucks X in ORIENT sind auch NNs des Ausdrucks x

Interessant sind Ausdrücke, die 0/100 out of vocabulary (in PINES) und gleichzeitig 0/100 gemeinsame Next Neighbours aufweisen.

Vergleich diskursiv geprägter semantischer Räume

Ausdrücke, die sowohl in ORIENT als auch in PINES vorkommen, jedoch semantisch sehr unterschiedlich verwendet werden (out of voc: 0/100; gemeinsame NNs: 0/100):

Verhältnis, Umstand, Glück, Lager, Typ, Leistung, Führung, Helfer, Ohr, normal, Figur, Kauf, Zufällig, Golden, Wild, Dritte, Motivation, Einsicht, bemerken, einmalig, abschließend, Marke, Eintreten, Betonen, augenscheinlich, Eis, gleichgültig, Wechseln, Herstellen, maximal, selbständig, Beschäftigung, Horizont, Potentiell, Technisch, Paket, Hersteller, Fachleute, Stützen, Staub, Formel, ausrichten, Müde, Black, mögliche, zurückgreifen, Ringen, gesetzt, Inne, geschlagen

Kollokate von "Verhältnis"

Beispiel: "Verhältnis – Geschlechter" (PINES)

Das [!] Mischmasch ist generell das Zeichen der Neuen Weltordnung. Zum Beispiel auch im Verhältnis der Geschlechter. Männer und Frauen haben sich begehrt und geliebt, so lange man sie Männer und Frauen sein ließ. (COMPACT, text_id 23609)

Kollokate von "Leistung"

Beispiel: "Leistung – Erschleichen" (PINES)

Dabei wurde festgestellt, dass es sich um einen minderjährigen Asylbewerber handelt, der im Fahndungssystem als vermisst ausgeschrieben war. Ferner suchte ihn auch die Freiburger Justiz wegen Erschleichen von Leistungen. Nach Beendigung der Kontrollmaßnahmen wollte die Streifenbesatzung mit dem Dienstfahrzeug wegfahren. (PI-NEWS, text_id 7791)

Kollokate von "Figur"

Beispiel: "Figur – prägende" (ORIENT)

Später liefen die Liberalen zur CDU von Helmut Kohl über. Bei der Einheit war FDP-Außenminister Hans-Dietrich Genscher die prägende Figur neben Kohl. Christian Lindner beruft sich am Montag auf dieses beeindruckende liberale Erbe, das Millionen Wähler kaum mehr interessiert. (ZEIT ONLINE, text_id 132662).

Beispiel: "Figur – normale / kräftige" (PINES)

Der Geschädigte gab an, dass es sich bei den Schlägern um Marokkaner mit dunklen Haaren, im Alter zwischen 18 und 20 Jahren gehandelt haben soll, die allesamt dunkle Kapuzenshirts trugen. Der erste Angreifer sei ca. 1,85 Meter groß und habe eine normale Figur. Der zweite Schläger sei etwa 1,80 Meter groß, habe eine kräftige Figur und auffällige Akne im Gesicht. (PI-NEWS, text_id 6309)

Fazit

• Word Embeddings (Methoden der distributionellen Semantik generell) nehmen sprachliche Oberfläche ernst: Gebrauchssemantik!
• Die Anwendungen und Optimierungen der Methoden gehen jedoch in die Richtung: semantisches Modell von "Sprache": Für gebrauchs- und diskurssemantische Fragestellungen uninteressant.
• Interessant: Differenzen zwischen semantischen Räumen und ihre Dynamik.
• Stellen dabei auch linguistische Semantik-Theorien in Frage ("funktionale Äquivalenz" statt "Synonymie"?)