{"id":210,"date":"2012-05-05T23:44:28","date_gmt":"2012-05-05T23:44:28","guid":{"rendered":"http:\/\/www.bubenhofer.com\/sprechtakel\/?p=210"},"modified":"2012-05-05T23:44:28","modified_gmt":"2012-05-05T23:44:28","slug":"lda-toolkit-korpusanalyse-zum-klicken-statt-tippen","status":"publish","type":"post","link":"https:\/\/www.bubenhofer.com\/sprechtakel\/2012\/05\/05\/lda-toolkit-korpusanalyse-zum-klicken-statt-tippen\/","title":{"rendered":"LDA-Toolkit: Korpusanalyse zum Klicken statt Tippen"},"content":{"rendered":"<p>Korpuslinguistische Analysen begn\u00fcgen sich heute nicht mehr damit, blo\u00df Belege f\u00fcr ein bestimmtes Ph\u00e4nomen in einem bestehenden Korpus zu suchen. Vielmehr m\u00f6chte man eigene Korpora aufbauen und avanciertere Analysemethoden anwenden:<\/p>\n<ul>\n<li>Automatisches Wortarten-Tagging der Daten<\/li>\n<li>Keyword-Analysen durch Vergleich mehrerer Korpora miteinander<\/li>\n<li>n-Gramm\/Cluster-Analysen, um typische Floskeln zu finden<\/li>\n<li>&#8230;und vieles mehr<\/li>\n<\/ul>\n<p>F\u00fcr fast alle W\u00fcnsche gibt es inzwischen Tools, die allerdings meistens Programmierkenntnisse oder zumindest keine Scheu vor der Shell erfordern. Nicht alle Forscher\/innen bringen dies mit oder interessieren sich daf\u00fcr. Hier setzt Friedemann Vogels &#8222;<a href=\"http:\/\/friedemann-vogel.de\/software\/lda-toolkit\">LDA-Toolkit<\/a>&#8220; an, die &#8222;Korpuslinguistische Arbeitsumgebung f\u00fcr linguistische Diskurs- und Imageanalysen&#8220;.<\/p>\n<p>Damit lassen sich die oben genannten Funktionen (und einige mehr) mit wenigen Mausklicks mit eigenen Korpusdaten ausf\u00fchren. Das Programm l\u00e4uft unter Windows, ist Freeware und inzwischen in der Beta-Version 2.7 verf\u00fcgbar. Ich habe es ausprobiert&#8230;<\/p>\n<p><!--more--><\/p>\n<p>Wie sieht ein typischer Arbeitsablauf mit dem Toolkit aus? Ich experimentierte mit meinen\u00a0<a title=\"Wulff\u2019sche Floskeln\" href=\"http:\/\/www.bubenhofer.com\/sprechtakel\/2012\/02\/17\/wulffsche-floskeln\/\">Korpora zur Wulff-Aff\u00e4re<\/a>\u00a0(<a title=\"Skandalisierung: Berichterstattung zu Wulff\" href=\"http:\/\/www.bubenhofer.com\/sprechtakel\/2012\/01\/21\/skandalisierung-berichterstattung-zu-wulff\/\">auch hier<\/a>), die ich bereits mit anderer Software (<a href=\"http:\/\/www.ims.uni-stuttgart.de\/projekte\/corplex\/TreeTagger\/\">TreeTagger<\/a>, <a href=\"http:\/\/cwb.sourceforge.net\/\">Corpus Workbench<\/a>, <a href=\"http:\/\/www.semtracks.org\/web\/index.php?id=Projects\/Projekte\">semtracks Matrixanalyse<\/a>\/<a href=\"http:\/\/www.bubenhofer.com\/publikation.php?id=5\">komplexe n-Gramme<\/a>, <a href=\"http:\/\/www.r-project.org\/\">R<\/a>) bearbeitete.<\/p>\n<h3>Datenimport<\/h3>\n<p>Die Daten m\u00fcssen in getaggter und vertikalisierter Form vorliegen, wie es der <a href=\"http:\/\/www.ims.uni-stuttgart.de\/projekte\/corplex\/TreeTagger\/\">TreeTagger<\/a> typischerweise ausspuckt:<\/p>\n<pre>Das   PDS   d\r\nist   VAFIN  sein\r\nein   ART   ein\r\nText  NN    Text\r\n.     $.    .<\/pre>\n<p>Der Text muss in Latin-1 vorliegen (UTF-8 wird leider nicht unterst\u00fctzt) und beim Import wird alles auf Kleinschreibung normalisiert (was eigentlich bei Daten, die auch in lemmatisierter Form vorliegen, nicht notwendig w\u00e4re).<\/p>\n<p>Das LDA-Toolkit ist am sinnvollsten zu verwenden, wenn man zum eigentlichen Untersuchungskorpus ein Referenzkorpus zur Hand hat, das ebenfalls importiert wird.<\/p>\n<h3>Der LDA-Baum und die Kollokationsanalyse<\/h3>\n<div id=\"attachment_218\" style=\"width: 1002px\" class=\"wp-caption alignnone\"><a href=\"http:\/\/www.bubenhofer.com\/sprechtakel\/wp-content\/uploads\/2012\/05\/ldatoolkitscreen1.png\"><img loading=\"lazy\" decoding=\"async\" aria-describedby=\"caption-attachment-218\" class=\"size-full wp-image-218\" title=\"ldatoolkitscreen1\" src=\"http:\/\/www.bubenhofer.com\/sprechtakel\/wp-content\/uploads\/2012\/05\/ldatoolkitscreen1.png\" alt=\"\" width=\"992\" height=\"580\" srcset=\"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-content\/uploads\/2012\/05\/ldatoolkitscreen1.png 992w, https:\/\/www.bubenhofer.com\/sprechtakel\/wp-content\/uploads\/2012\/05\/ldatoolkitscreen1-300x175.png 300w\" sizes=\"auto, (max-width: 992px) 100vw, 992px\" \/><\/a><p id=\"caption-attachment-218\" class=\"wp-caption-text\">LDA-Toolkit: Berechnung von Kollokationen zu &quot;Kredit&quot;, Darstellung als LDA-Baum<\/p><\/div>\n<p>Herzst\u00fcck ist der LDA-Baum: Hier werden alle vorgenommenen Analysen abgelegt, so dass sie gesichtet und manuell kategorisiert werden k\u00f6nnen. Zu Beginn der Arbeit k\u00f6nnte vielleicht eine Kollokationsanalyse (Kookkurrenzen) anstehen: Ich vermute, dass in meinen Wulff-Daten &#8222;Kredit&#8220; ein Schl\u00fcsselbegriff ist. In welcher lexikalischen Umgebung kommt das Wort vor? Das Toolkit erlaubt verschiedene Einstellungen: Es muss ein Suchfenster definiert werden und es kann auf die lemmatisierten Daten und die Wortarten-Annotation zur\u00fcckgegriffen werden, um sich z.B. nur Nomen in ihrer jeweiligen Grundform als Kollokatoren zu &#8222;Kredit&#8220; anzuzeigen. Das Ergebnis wird als hierarchischer, aufklappbarer Baum dargestellt, um einen guten \u00dcberblick \u00fcber das Resultat zu bewahren.<\/p>\n<p>Etwas verwirrend ist, dass die Wahl des Signifikanzma\u00dfes, mit dem gerechnet wird, zwei grundlegend unterschiedliche Funktionen unterscheidet. W\u00e4hlt man &#8222;T-Score&#8220; wird eine klassische Kollokationsanalyse gemacht. W\u00e4hlt man jedoch &#8222;Chi-Square&#8220; wird eine kontrastive Analyse gemacht: Die Frage ist dann, welche Kollokatoren besonders typisch zum Ausgangswort sind, wenn man das Verhalten zum gleichen Ausgangswort im Referenzkorpus hinzuzieht. Oder: Wenn ein anderes Ausgangswort im gleichen Korpus als Referenz verwendet wird. Das sind interessante Analysemethoden, die jedoch nicht auf den ersten Blick ersichtlich sind. Zudem ist der statistische Test &#8222;T-Score&#8220; nicht State of the Art, um Kollokationen zu berechnen. Ein Log-Likelihood-Test w\u00e4re besser.<\/p>\n<h3>Clusteranalysen<\/h3>\n<p>Darunter versteht das LDA-Toolkit n-Gramm-Analysen: Es werden alle potenziell m\u00f6glichen Wortkombinationen der L\u00e4nge n berechnet und nach Frequenz oder Signifikanz im Vergleich zum Referenzkorpus geordnet. Neben n-Grammen, die auf den laufenden Wortformen beruhen, k\u00f6nnen auch POS-Gramme, also Wortgruppen nur aus Wortarten bestehend berechnet werden (hier die frequentesten POS-Gramme, die ein Nomen, NN, enthalten):<\/p>\n<pre>nn appr art nn\r\nart nn art nn\r\nnn art adja nn\r\nadja nn art nn\r\nnn art nn appr<\/pre>\n<p>Analysen dieser Art sind besonders in kontrastiver Anwendung mit einem Referenzkorpus interessant, um typische Sprachgebrauchsmuster (Bubenhofer 2009) zu entdecken. Das LDA-Toolkit bietet daf\u00fcr viel Komfort (etwa im Vergleich zum zwar m\u00e4chtigen aber schwieriger zu bedienenden <a href=\"http:\/\/www.d.umn.edu\/~tpederse\/nsp.html\">Ngram Statistics Package<\/a> von Ted Pedersen) und mehr Funktionalit\u00e4t als etwa die ebenfalls einfach zu bedienenden Programme\u00a0<a href=\"http:\/\/www.kwicfinder.com\/kfNgram\/kfNgramHelp.html\">kfnGram<\/a> von William H. Fletcher oder <a href=\"http:\/\/www.antlab.sci.waseda.ac.jp\/software.html\">AntConc<\/a> von Laurence Anthony. Mir fehlt jedoch zum ganzen Gl\u00fcck auch im LDA-Toolkit die Funktion, Wortformen, Lemmata und \u00a0POS-Angaben mischen zu k\u00f6nnen, wie wir es in der semtracks Forschergruppe mit einem eigenen Programm, das direkt auf die Corpus Workbench zugreift, entwickelt haben (Scharloth\/Bubenhofer 2012; Bubenhofer\/Scharloth im Druck). Allerdings bedingt eine solche Funktion der Berechnung von komplexen n-Grammen eine sehr performante Umgebung, wie sie mit der Corpus Workbench und dem invertierten Index dort gegeben ist.<\/p>\n<h3>Keywords und KWICS<\/h3>\n<p>Nat\u00fcrlich ist im LDA-Toolkit auch eine Keyword-Funktion eingebaut, mit der sich die typischen (statistisch signifikanten) W\u00f6rter im Untersuchungskorpus im Vergleich zum Referenzkorpus berechnen lassen. Und es ist ein einfacher Konkordanzer eingebaut, um nach Belegen zu suchen, der aber kein Ersatz f\u00fcr eine richtige Konkordanzsoftware sein soll.<\/p>\n<div id=\"attachment_223\" style=\"width: 710px\" class=\"wp-caption alignnone\"><a href=\"http:\/\/www.bubenhofer.com\/sprechtakel\/wp-content\/uploads\/2012\/05\/ldatoolkitscreen2.png\"><img loading=\"lazy\" decoding=\"async\" aria-describedby=\"caption-attachment-223\" class=\"size-full wp-image-223\" title=\"ldatoolkitscreen2\" src=\"http:\/\/www.bubenhofer.com\/sprechtakel\/wp-content\/uploads\/2012\/05\/ldatoolkitscreen2.png\" alt=\"\" width=\"700\" height=\"440\" srcset=\"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-content\/uploads\/2012\/05\/ldatoolkitscreen2.png 700w, https:\/\/www.bubenhofer.com\/sprechtakel\/wp-content\/uploads\/2012\/05\/ldatoolkitscreen2-300x188.png 300w\" sizes=\"auto, (max-width: 700px) 100vw, 700px\" \/><\/a><p id=\"caption-attachment-223\" class=\"wp-caption-text\">Ausschnitt aus der Keywordliste: Das typische Wulff-Aff\u00e4ren-Vokabular<\/p><\/div>\n<h3>Visualisierung<\/h3>\n<p>H\u00fcbsch sind die eingebauten Visualisierungsfunktionen: Wortlisten aus dem LDA-Baum, also z.B. eine Keyword-Liste, kann mit Hilfe der Drittsoftware <a href=\"http:\/\/www.wordle.net\/\">Wordle<\/a> als Wortwolke visualisiert werden. Und Kollokationsb\u00e4ume lassen sich ebenfalls \u00fcber eine Drittsoftware, <a href=\"http:\/\/www.graphviz.org\/\">GraphViz<\/a>, als Graph darstellen. Das LDA-Toolkit bietet zu beiden Programmen angenehme Schnittstellen.<\/p>\n<div id=\"attachment_224\" style=\"width: 1136px\" class=\"wp-caption alignnone\"><a href=\"http:\/\/www.bubenhofer.com\/sprechtakel\/wp-content\/uploads\/2012\/05\/ldatoolkitscreen3.png\"><img loading=\"lazy\" decoding=\"async\" aria-describedby=\"caption-attachment-224\" class=\"size-full wp-image-224\" title=\"ldatoolkitscreen3\" src=\"http:\/\/www.bubenhofer.com\/sprechtakel\/wp-content\/uploads\/2012\/05\/ldatoolkitscreen3.png\" alt=\"\" width=\"1126\" height=\"595\" srcset=\"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-content\/uploads\/2012\/05\/ldatoolkitscreen3.png 1126w, https:\/\/www.bubenhofer.com\/sprechtakel\/wp-content\/uploads\/2012\/05\/ldatoolkitscreen3-300x158.png 300w, https:\/\/www.bubenhofer.com\/sprechtakel\/wp-content\/uploads\/2012\/05\/ldatoolkitscreen3-1024x541.png 1024w\" sizes=\"auto, (max-width: 1126px) 100vw, 1126px\" \/><\/a><p id=\"caption-attachment-224\" class=\"wp-caption-text\">Visualisierung in Form einer Wortwolke im LDA-Toolkit<\/p><\/div>\n<h3>Fazit<\/h3>\n<p>Die Software ist ein Segen f\u00fcr alle, die inzwischen g\u00e4ngige Analysemethoden, wie sie in der Diskursanalyse und der Korpuspragmatik verwendet werden, ohne gro\u00dfen technischen Aufwand selber durchf\u00fchren m\u00f6chten. Auch f\u00fcr die Lehre ist das Toolkit eine geeignete Software, damit sich die Studierenden nicht mit technischen Problemen herumschlagen m\u00fcssen, bis sie Analysen durchf\u00fchren k\u00f6nnen.<\/p>\n<p>Schade finde ich, dass die Software nur unter Windows l\u00e4uft (die konkurrierende Software AntConc l\u00e4uft beispielsweise neben Windows auch auf Unix-Systemen und Mac OS X) und mir scheint auch, dass die Bearbeitung gr\u00f6\u00dferer Korpora schwierig wird. Bei meinem 3,4-Mio.-W\u00f6rter-Korpus rechnete das Toolkit \u00fcber eine Stunde, um die Anzahl der Tokens und Lemmatas zu berechnen (zugegeben: auf einem MacBook Pro Dual-Boot-System, was wohl nicht die performanteste Hardwareumgebung f\u00fcr Windows ist).<\/p>\n<p>L\u00e4ngerfristig stellt sich die Frage, ob die Nische f\u00fcr Programme dieser Art bestehen bleibt: Das EU-Mammut-Projekt <a href=\"http:\/\/de.clarin.eu\/index.php\/de\/\">Clarin-D<\/a> wird beispielsweise (hoffentlich) eine Plattform werden, in die Spezialfunktionen, wie sie die Diskursanalyse bedingt, als Plug-ins in eine saubere und performante Online-Softwareumgebung, die auch kollaboratives Arbeiten erm\u00f6glicht, eingebaut werden k\u00f6nnen. Oder die <a href=\"http:\/\/www.r-project.org\">Programmiersprache R<\/a>, die sich auch in der Korpuslinguistik zu einem immer weiter verbreiteten Statistik-Paket mausert, w\u00e4re eine gute Basis, um beliebige Analysefunktionen als Bibliotheken system\u00fcbergreifend und modulartig anbieten zu k\u00f6nnen. Ebenso die <a href=\"http:\/\/cwb.sourceforge.net\/\">Corpus Workbench<\/a>, die in Sachen Performanz noch immer eine hohe Messlatte darstellt und in einer lebendigen Community weiter entwickelt wird.<\/p>\n<p>Trotzdem: Das LDA-Toolkit ist es definitiv wert, auszuprobieren, wenn man mit eigenen Korpusdaten arbeiten m\u00f6chte.<\/p>\n<div class=\"csl-bib-body\" style=\"line-height: 1.35; padding-left: 2em; text-indent: -2em;\">\n<div class=\"csl-bib-body\" style=\"line-height: 1.35; padding-left: 2em; text-indent: -2em;\"><\/div>\n<div class=\"csl-entry\"><span style=\"color: #808080;\">Bubenhofer, Noah (2009): Sprachgebrauchsmuster. Korpuslinguistik als Methode der Diskurs- und Kulturanalyse, Sprache und Wissen 4, Berlin, New York: de Gruyter.<\/span><\/div>\n<div class=\"csl-entry\"><span style=\"color: #808080;\">Bubenhofer, Noah und Joachim Scharloth (im Druck): \u201eKorpuspragmatische Analysen alpinistischer Literatur\u201c, Travaux neuch\u00e2telois de linguistique.<\/span><\/div>\n<div class=\"csl-entry\"><span style=\"color: #808080;\">Scharloth, Joachim und Noah Bubenhofer (2012): \u201eDatengeleitete Korpuspragmatik: Korpusvergleich als Methode der Stilanalyse\u201c.<\/span><\/div>\n<div class=\"csl-entry\"><\/div>\n<\/div>\n","protected":false},"excerpt":{"rendered":"<p>Korpuslinguistische Analysen begn\u00fcgen sich heute nicht mehr damit, blo\u00df Belege f\u00fcr ein bestimmtes Ph\u00e4nomen in einem bestehenden Korpus zu suchen. Vielmehr m\u00f6chte man eigene Korpora aufbauen und avanciertere Analysemethoden anwenden: Automatisches Wortarten-Tagging der Daten Keyword-Analysen durch Vergleich mehrerer Korpora miteinander &hellip; <a href=\"https:\/\/www.bubenhofer.com\/sprechtakel\/2012\/05\/05\/lda-toolkit-korpusanalyse-zum-klicken-statt-tippen\/\">Weiterlesen <span class=\"meta-nav\">&rarr;<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[4,7],"tags":[53,51,54,49,50,52],"class_list":["post-210","post","type-post","status-publish","format-standard","hentry","category-4-korpuslinguistik","category-6-korpustools","tag-ancconc","tag-corpus-workbench","tag-kfngram","tag-korpustool","tag-lda-toolkit","tag-r"],"_links":{"self":[{"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/posts\/210","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/comments?post=210"}],"version-history":[{"count":13,"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/posts\/210\/revisions"}],"predecessor-version":[{"id":227,"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/posts\/210\/revisions\/227"}],"wp:attachment":[{"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/media?parent=210"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/categories?post=210"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/tags?post=210"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}