{"id":628,"date":"2019-03-02T23:26:13","date_gmt":"2019-03-02T22:26:13","guid":{"rendered":"https:\/\/www.bubenhofer.com\/sprechtakel\/?p=628"},"modified":"2019-03-02T23:26:13","modified_gmt":"2019-03-02T22:26:13","slug":"word-embeddings-funktionale-aequivalenz-statt-synonymie","status":"publish","type":"post","link":"https:\/\/www.bubenhofer.com\/sprechtakel\/2019\/03\/02\/word-embeddings-funktionale-aequivalenz-statt-synonymie\/","title":{"rendered":"Word Embeddings: Funktionale \u00c4quivalenz statt Synonymie"},"content":{"rendered":"\n

Keine Frage: Word Embeddings sind eine feine Sache, um im Sinne einer distributionalen Semantik semantische R\u00e4ume zu modellieren. Es besteht aber die Gefahr, einer strukturalistischen Logik zu verfallen und das eigentliche Potenzial zu verschenken.<\/p>\n\n\n\n

In unserer Gruppe „Digital Linguistics<\/a>“ stecken wir mitten in vielversprechenden Experimenten zu Word Embeddings vor dem Hintergrund eines diskurs- und kulturlinguistischen Interesses<\/strong>. Dazu m\u00f6chte ich ein Beispiel geben.<\/p>\n\n\n\n

\"\"
Ein semantischer Raum (Tensorflow Projector).<\/figcaption><\/figure>\n\n\n\n\n\n\n\n

Was sind Word Embeddings? Sehr kurz gefasst geht es darum, die alte Idee der Kollokationsanalysen<\/strong> zu systematisieren: F\u00fcr jedes Wort in einem Korpus wird erfasst, mit welchen anderen W\u00f6rtern es vorkommt. Ein solches Kollokationsprofil wird nun als Zahlenvektor dargestellt. Nehmen wir vereinfacht an, wir sehen, dass „T\u00fcr“ oft zusammen mit „Haus“ und „\u00f6ffnen“ (sagen wir: 20 und 31 Mal), eher selten aber mit „Tisch“ und „essen“ (5 und 3 Mal), sowie „Brot“ mit oft mit „Tisch“ und „essen“ (25 und 28 Mal), selten aber den anderen zwei W\u00f6rtern (10 und 3 Mal) vorkommt, ergibt sich folgende Tabelle:<\/p>\n\n\n\n
<\/td>Haus<\/em><\/td>Tisch<\/em><\/td>essen<\/em><\/td>\u00f6ffnen<\/em><\/td><\/tr>
T\u00fcr<\/strong><\/td>20<\/td>5<\/td>3<\/td>31<\/td><\/tr>
Brot<\/strong><\/td>10<\/td>25<\/td>28<\/td>3<\/td><\/tr>
\u2026<\/td><\/td><\/td><\/td><\/td><\/tr><\/tbody><\/table>\n\n\n\n

„T\u00fcr“ kann nun mit einem Zahlenvektor T\u00fcr = { 20, 5, 3, 31} und „Brot“ mit Brot = { 10, 25, 28, 3} ausgedr\u00fcckt werden. Das sind sozusagen die Fingerabdrucke der beiden W\u00f6rter. Diese Fingerabdrucke werden \u00fcber neuronales maschinelles Lernen in gro\u00dfen Textkorpora erzeugt (also nicht blo\u00dfes Addieren der Kollokatoren, sondern ein Lernen der typischen Verwendungsweisen \u00fcber mehrere verborgene Schichten \u2013 eben sog. „Deep Learning“).<\/p>\n\n\n\n

Ein Zahlenvektor kann in einem Koordinatensystem dargestellt werden. Nehmen wir an, wir w\u00fcrden von „T\u00fcr“ und „Brot“ nur das Vorkommen mit „Haus“ und „Tisch“ messen, k\u00f6nnten wir die Vektoren zweidimensional darstellen:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

„T\u00fcr“ kommt also h\u00e4ufiger mit „Haus“ und seltener mit „Tisch“ vor; bei „Brot“ ist es umgekehrt. Die Vektoren zeigen im zweidimensionalen Vektorraum die Positionen der beiden Ausdr\u00fccke.<\/p>\n\n\n\n

Und jetzt kommt der eigentliche Witz: Wenn zwei Vektoren in eine \u00e4hnliche Richtung zeigen, dann bedeutet das, dass die beiden W\u00f6rter \u00e4hnlich verwendet werden, also potenzielle Synonyme sind.<\/strong> Die Distanz zwischen den Vektoren kann geometrisch berechnet werden. Da wir normalerweise nat\u00fcrlich nicht nur mit zwei Dimensionen (also zwei potenziellen Kollokatoren), sondern mit sehr vielen (z.B. allen anderen W\u00f6rtern im Korpus) rechnen, ergibt sich halt ein n-dimensionaler Vektorraum, der nicht mehr einfach so dargestellt werden kann. Die Berechnung der Distanzen funktioniert aber genau so wie im zweidimensionalen Raum.<\/p>\n\n\n\n

Rechnet man nun also von einem gro\u00dfen Korpus ein solches Word-Embedding-Modell, kann zu einem darin vorkommenden Wort abgefragt werden, welche anderen W\u00f6rter im Vektorraum in der N\u00e4he stehen \u2013 also \u00e4hnlich verwendet werden. Das funktioniert sehr gut: In meinem Geburtsberichte-Korpus<\/a> sind die n\u00e4chsten Nachbarn zu „Hebamme“ etwa (in Klammern: N\u00e4he \u2013 je h\u00f6her, desto n\u00e4her):<\/p>\n\n\n\n

Hebamme:<\/strong> Hebi (0.9321193099021912), Hebammensch\u00fclerin (0.766809344291687), Hebame (0.7523912191390991), Habamme (0.7454160451889038), \u00c4rztin (0.7398992776870728), Hebis (0.7237089276313782), Nachthebamme (0.7169431447982788), Nachthebi (0.6960358023643494), hebi (0.6955133080482483), Claudine (0.6929936408996582)<\/p>\n\n\n\n

Wir finden also andere Schreibweisen (sogar selten vorkommende Verschreiber wie „Habamme“), aber nat\u00fcrlich auch Ausdr\u00fccke wie „\u00c4rztin“ oder „Claudine“, die nat\u00fcrlich keine Synonyme<\/em> sind, aber \u2013 und darin zeigt sich nun das Potenzial f\u00fcr diskurs- und kulturanalytische Fragestellungen \u2013 in diesen<\/strong> Daten ein funktionales \u00c4quivalent.<\/p>\n\n\n\n

Schauen wir uns das an einem Beispiel genauer an: Ich habe nun weiter mit dem Word-Embedding-Modell gearbeitet.<\/p>\n\n\n\n

  1. Zun\u00e4chst habe ich das ganze Modell geclustert<\/strong> unter Verwendung eines K-means-Algorithmus. Ziel: Gruppen von W\u00f6rtern identifizieren, die alle \u00e4hnlich verwendet werden (also etwa alle Bezeichnungen f\u00fcr Hebammen). Das Modell umfasst gut 16.000 Types und ich rechnete mit verschiedenen Clusteranzahlen von 500 bis 5000. Bei 2000 Cluster ergeben sich also Gruppen, die im Schnitt acht Types umfassen.<\/li>
  2. F\u00fcr jeden Cluster berechnete ich den Zentroiden<\/strong>, also den Punkt, der genau in der Mitte dieser Punktwolke liegt. Von diesem Punkt ausgehend suchte ich die drei am n\u00e4chsten liegenden W\u00f6rter im Modell (da praktisch nie ein Wort tats\u00e4chlich genau an diesem Punkt liegt). Diese drei W\u00f6rter m\u00fcssten also ganz gut das semantische Spektrum des ganzen Clusters repr\u00e4sentieren.<\/li><\/ol>\n\n\n\n

    Ein Beispiel: Das Clustering ergab folgenden Cluster, wobei die fettgedruckten dem Zentroiden am n\u00e4chsten liegen:<\/p>\n\n\n\n

    Durchatmen, D\u00f6sen, Einschlafen, Hyperventilieren, Ruhepause, <\/em>Sekundenschlaf<\/em><\/strong>, hindurch, immerwieder, manchmal, rauben, sogar, totm\u00fcde, <\/em>wegd\u00f6sen<\/em><\/strong>, <\/em>wegged\u00e4mmert<\/em><\/strong>, wegged\u00f6st, weggenickt, zeitweise, zwischen<\/em><\/p>\n\n\n\n

    Der Cluster macht schon mal deutlich: Ganz sicher haben wir es bei dieser Gruppe nicht mit Synonymen im strukturalistischen Sinn zu tun. Aber in den Geburtsberichten sind eben z.B. „zeitweise“ oder „immerwieder“ typisch genau daf\u00fcr, die k\u00f6rperliche Ersch\u00f6pfung w\u00e4hrend der Geburt auszudr\u00fccken. Diskursiv gesehen handelt es sich eben um funktionale \u00c4quivalente<\/strong> \u2013 oder wie man das auch immer bezeichnen will.<\/p>\n\n\n\n

    Und nun kommt noch ein entscheidender Schritt hinzu: Mich interessierte nun, an welchen Stellen<\/strong> in den Geschichten zwischen Anfang und Ende die einzelnen Cluster geh\u00e4uft vorkommen (dies geht auf das Interesse zur\u00fcck, narrative Muster in den Geschichten zu entdecken<\/a>). F\u00fcr alle Mitglieder eines Clusters werden dazu die relativen Positionen in den Geschichten aufsummiert. Das folgende Diagramm zeigt nun genau dies f\u00fcr eine Reihe von Clustern mit Personen\/Rollenbezeichnungen: <\/p>\n\n\n\n

    \"\"<\/figure>\n\n\n\n

    Jedes Diagramm zeigt einen Cluster, wobei jeweils die drei dem Zentroiden n\u00e4chsten Ausdr\u00fccke im Titel genannt werden. Die Grafiken zeigen die H\u00e4ufigkeitsverteilungen \u00fcber die Geschichten. So sieht man etwa, dass Ausdr\u00fccke f\u00fcr Frauenarzt (FA, F\u00c4) praktisch nur am Anfang der Geschichten eine Rolle spielen, die Kinder\u00e4rztin (inkl. dem damit verbundenen Verb „wegbringen“!) am Ende.<\/p>\n\n\n\n

    Und wo sind die Hebammen<\/strong>? Im Cluster „Claudine \/ Hebi \/ Erika“! Der Cluster f\u00e4llt auf durch eine Reihe von Vornamen, die alle typisch f\u00fcr Frauen zwischen 40 und 60 zu sein scheinen. Denn es ist klar, dass in den Geburtsgeschichten auf die Hebamme sehr oft mit ihrem Vornamen referiert wird, was ein Zeichen f\u00fcr die N\u00e4he der Geb\u00e4renden (bzw. Erz\u00e4hlenden) zu ihr ist. Alles andere medizinische Personal kommt mehrheitlich mit Funktionstiteln vor.<\/p>\n\n\n\n

    Ich breche hier ab und hoffe, das Potenzial f\u00fcr Word Embeddings gezeigt zu haben, wenn man sie f\u00fcr ein diskurs- und kulturlinguistisches Interesse fruchtbar macht. Mehr dazu wird es in folgender Publikation geben:<\/p>\n\n\n\n

    Bubenhofer, Noah (eingereicht): Semantische \u00c4quivalenz in Geburtserz\u00e4hlungen: Anwendung von Word Embeddings. Zeitschrift f\u00fcr Germanistische Linguistik.<\/em><\/p>\n","protected":false},"excerpt":{"rendered":"

    Keine Frage: Word Embeddings sind eine feine Sache, um im Sinne einer distributionalen Semantik semantische R\u00e4ume zu modellieren. Es besteht aber die Gefahr, einer strukturalistischen Logik zu verfallen und das eigentliche Potenzial zu verschenken. In unserer Gruppe „Digital Linguistics“ stecken … Weiterlesen →<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[4,57],"tags":[127,118,126],"class_list":["post-628","post","type-post","status-publish","format-standard","hentry","category-4-korpuslinguistik","category-methoden","tag-funktionale-aequivalenz","tag-geburtsberichte","tag-word-embeddings"],"_links":{"self":[{"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/posts\/628","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/comments?post=628"}],"version-history":[{"count":4,"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/posts\/628\/revisions"}],"predecessor-version":[{"id":636,"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/posts\/628\/revisions\/636"}],"wp:attachment":[{"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/media?parent=628"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/categories?post=628"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/tags?post=628"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}