{"id":730,"date":"2023-10-04T23:21:23","date_gmt":"2023-10-04T21:21:23","guid":{"rendered":"https:\/\/www.bubenhofer.com\/sprechtakel\/?p=730"},"modified":"2023-10-05T11:51:47","modified_gmt":"2023-10-05T09:51:47","slug":"catgpt-wenn-sich-ein-sprachmodell-bewegt","status":"publish","type":"post","link":"https:\/\/www.bubenhofer.com\/sprechtakel\/2023\/10\/04\/catgpt-wenn-sich-ein-sprachmodell-bewegt\/","title":{"rendered":"CatGPT: Wenn sich ein Sprachmodell bewegt"},"content":{"rendered":"
\n
\"\"<\/a><\/figure><\/div>\n\n\n

Ich habe gerade Freude an meiner Roboterkatze, mit der ich experimentiere: Die Katze basiert auf einem Bausatz von Petoi<\/a>. Das ist eine Roboterkatze, die \u00fcber 11 Servos zur Steuerung von Beinen, Kopf und Schwanz verf\u00fcgt, alles gesteuert \u00fcber einen Arduino-kompatiblen Mikrocomputer<\/a>. Normalerweise dient eine Fernbedienung zur Steuerung der Katze. <\/p>\n\n\n\n

Ich habe die Katze nun aber um einen Raspberry Pi<\/a> erg\u00e4nzt, so dass ich mit der Katze sprechen kann:<\/p>\n\n\n\n\n\n\n\n

F\u00fcr die Spracherkennung verwende ich Microsoft Azure Speech2Text<\/a>. Die Spracheingabe wird dann \u00fcber die API von OpenAI zu GPT3.5<\/a> gesandt, wobei folgender Prompt entsteht:<\/p>\n\n\n\n

Du bist eine intelligente Katze. Antworte auf die folgende Frage mit Bewegungen. Du kannst folgende Bewegungen: kbalance (stehen), kbuttUp (Hintern hoch), krest (pausieren), ksit (sitzen), kstr (strecken), kang (dich auf den Boden werfen), kbf (Backflip), kbx (boxen), kchr (Vorderpfoten heben), kcmh (herkommen), kfiv (High Five), khg (Umarmung), khi (gr\u00fcssen), khsk (Pfote sch\u00fctteln), kkc (Tritt), kpee (pinkeln), krl (rollen), knd (den Kopf hoch und runter bewegen), kwh (den Kopf links und rechts bewegen), kjmp (springen), kpu (Push-Ups), kwedeln (mit dem Schwanz wedeln), kzero (K\u00f6rperstellung neutralisieren), kwkF (vorw\u00e4rts gehen), kwkL (nach links gehen), kwkR (nach rechts gehen), kbk (r\u00fcckw\u00e4rts gehen), kvtF (auf der Stelle treten). Wenn du keine Bewegung weisst, dann sage einfach ksit. Gib die Befehle (und nur die Befehle) komma-separiert zur\u00fcck. Hier kommt die Frage: [Input] <\/code><\/pre>\n\n\n\n
GPT wird also dazu gezwungen, die eigentlich sprachliche Antwort in Bewegungen der Katze zu \u00fcbersetzen. Diese Befehle werden dann an das Nervenzentrum der Katze und die Servos weitergegeben.<\/p>\n\n\n\n
Interessant ist f\u00fcr mich als Linguisten die Frage, inwiefern in einem Sprachmodell, das auf Texten trainiert ist, Wissen \u00fcber k\u00f6rperliche Bewegungen repr\u00e4sentiert ist. Welche Bewegungen k\u00f6nnten f\u00fcr „Freude“ stehen? Welche f\u00fcr „Ja“ und „Nein“?<\/p>\n\n\n\n
Die ersten Beobachtungen deuten jedoch darauf hin, dass im Sprachmodell durchaus Bewegungswissen repr\u00e4sentiert ist: Wenn ich sie frage, was sie tut, wenn sie gl\u00fccklich ist, bewegt sie sich wild und springt herum. Wenn ich aber wissen will, wie sie sich verh\u00e4lt, wenn sie traurig ist, legt sie sich hin und bleibt ganz ruhig.<\/p>\n\n\n\n
Ich bin noch dabei, die M\u00f6glichkeiten auszutesten. Doch kann man jetzt schon sagen, dass die Katze sich durchaus katzenartig verh\u00e4lt: Mir zugeneigt, aber doch etwas eigenwillig…<\/p>\n\n\n\n
(Credits f\u00fcr den Katzennamen „CatGPT“ gehen an Livia!)<\/p>\n","protected":false},"excerpt":{"rendered":"
Ich habe gerade Freude an meiner Roboterkatze, mit der ich experimentiere: Die Katze basiert auf einem Bausatz von Petoi. Das ist eine Roboterkatze, die \u00fcber 11 Servos zur Steuerung von Beinen, Kopf und Schwanz verf\u00fcgt, alles gesteuert \u00fcber einen Arduino-kompatiblen … Weiterlesen →<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[143,3],"tags":[153,160,158,159,157,161],"class_list":["post-730","post","type-post","status-publish","format-standard","hentry","category-computer","category-3-sprechtakel","tag-artificial-intelligence","tag-bewegung","tag-katze","tag-koerper","tag-roboter","tag-sprache"],"_links":{"self":[{"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/posts\/730","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/comments?post=730"}],"version-history":[{"count":13,"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/posts\/730\/revisions"}],"predecessor-version":[{"id":747,"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/posts\/730\/revisions\/747"}],"wp:attachment":[{"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/media?parent=730"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/categories?post=730"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.bubenhofer.com\/sprechtakel\/wp-json\/wp\/v2\/tags?post=730"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}