{"id":889,"date":"2024-10-12T12:00:12","date_gmt":"2024-10-12T10:00:12","guid":{"rendered":"podlove-2024-10-10t12:55:58+00:00-9f1ff998deca9ea"},"modified":"2024-10-10T15:13:19","modified_gmt":"2024-10-10T13:13:19","slug":"dl055-chatgpt","status":"publish","type":"podcast","link":"https:\/\/www.datenleben.de\/index.php\/2024\/10\/12\/dl055-chatgpt\/","title":{"rendered":"dl055: chatGPT"},"content":{"rendered":"\n\t\t\n            <div class=\"podlove-web-player intrinsic-ignore podlove-web-player-loading\" id=\"player-69ef5f5b7de87\"><root data-test=\"player--xl\" style=\"max-width:950px;min-width:260px;\">\n  <div class=\"tablet:px-6 tablet:pt-6 mobile:px-4 mobile:pt-4 flex flex-col\">\n    <div class=\"flex-col items-center mobile:flex tablet:hidden\">\n      <show-title class=\"text-sm\"><\/show-title>\n      <episode-title class=\"text-base mb-2\"><\/episode-title>\n      <subscribe-button class=\"mb-4 mobile:flex tablet:hidden\"><\/subscribe-button>\n      <poster class=\"rounded-sm w-48 shadow overflow-hidden\"><\/poster>\n      <divider class=\"w-full my-6\"><\/divider>\n    <\/div>\n\n    <div class=\"tablet:flex flex-grow\">\n      <div class=\"w-64 mobile:hidden tablet:block tablet:mr-6\">\n        <poster class=\"rounded-sm shadow overflow-hidden\"><\/poster>\n      <\/div>\n      <div class=\"w-full\">\n        <div class=\"hidden tablet:block\">\n          <show-title class=\"text-base\"><\/show-title>\n          <episode-title class=\"text-xl desktop:text-2xl\"><\/episode-title>\n          <divider class=\"w-full my-4\"><\/divider>\n        <\/div>\n        <div class=\"flex items-center justify-between\">\n          <div class=\"block\">\n            <play-state on=\"active\">\n              <speed-control class=\"flex items-center\"><\/speed-control>\n            <\/play-state>\n          <\/div>\n\n          <div class=\"flex\">\n            <play-state on=\"active\">\n              <chapter-previous class=\"mx-2 block\"><\/chapter-previous>\n            <\/play-state>\n            <play-state on=\"active\">\n              <step-backward class=\"mx-2 block\"><\/step-backward>\n            <\/play-state>\n\n            <play-button class=\"mx-2 block\" :label=\"$t('PLAYER.PLAY_EPISODE')\"><\/play-button>\n\n            <play-state on=\"active\">\n              <step-forward class=\"mx-2 block\"><\/step-forward>\n            <\/play-state>\n            <play-state on=\"active\">\n              <chapter-next class=\"mx-2 block\"><\/chapter-next>\n            <\/play-state>\n          <\/div>\n\n          <div class=\"block\">\n            <play-state on=\"active\">\n              <volume-control class=\"flex items-center\"><\/volume-control>\n            <\/play-state>\n          <\/div>\n        <\/div>\n        <div class=\"flex w-full\">\n          <progress-bar><\/progress-bar>\n        <\/div>\n        <div class=\"flex w-full -mt-2\">\n          <div class=\"w-3\/12 text-left\">\n            <timer-current class=\"text-sm\"><\/timer-current>\n          <\/div>\n          <div class=\"w-6\/12 text-center truncate\">\n            <play-state on=\"active\">\n              <current-chapter class=\"text-sm\"><\/current-chapter>\n            <\/play-state>\n          <\/div>\n          <div class=\"w-3\/12 text-right\">\n            <timer-duration class=\"text-sm\"><\/timer-duration>\n          <\/div>\n        <\/div>\n      <\/div>\n    <\/div>\n    <divider class=\"w-full mt-6 mb-3\"><\/divider>\n    <div class=\"flex justify-between\">\n      <div class=\"flex mobile:w-full tablet:w-3\/12 desktop:w-3\/12 justify-between\">\n        <tab-trigger tab=\"chapters\">\n          <icon type=\"chapter\"><\/icon>\n        <\/tab-trigger>\n        <tab-trigger tab=\"transcripts\">\n          <icon type=\"transcripts\"><\/icon>\n        <\/tab-trigger>\n        <tab-trigger tab=\"files\">\n          <icon type=\"download\"><\/icon>\n        <\/tab-trigger>\n        <tab-trigger tab=\"playlist\">\n          <icon type=\"playlist\"><\/icon>\n        <\/tab-trigger>\n        <tab-trigger tab=\"share\">\n          <icon type=\"share\"><\/icon>\n        <\/tab-trigger>\n      <\/div>\n      <subscribe-button class=\"mt-1 mobile:hidden tablet:flex\"><\/subscribe-button>\n    <\/div>\n  <\/div>\n  <div class=\"w-full relative overflow-hidden\">\n    <tab name=\"chapters\">\n      <tab-chapters><\/tab-chapters>\n    <\/tab>\n    <tab name=\"transcripts\">\n      <tab-transcripts><\/tab-transcripts>\n    <\/tab>\n    <tab name=\"files\">\n      <tab-files><\/tab-files>\n    <\/tab>\n    <tab name=\"playlist\">\n      <tab-playlist><\/tab-playlist>\n    <\/tab>\n    <tab name=\"share\">\n      <tab-share><\/tab-share>\n    <\/tab>\n    <tab-overflow><\/tab-overflow>\n  <\/div>\n  <error><\/error>\n<\/root>\n<\/div>\n            <script>\n              document.addEventListener(\"DOMContentLoaded\", function() {\n                var player = document.getElementById(\"player-69ef5f5b7de87\");\n                podlovePlayerCache.add([{\"url\":\"https:\\\/\\\/www.datenleben.de\\\/index.php\\\/wp-json\\\/podlove-web-player\\\/shortcode\\\/publisher\\\/889\",\"data\":{\"version\":5,\"show\":{\"title\":\"datenleben\",\"subtitle\":\"der podcast \\u00fcber data science\",\"summary\":\"Was ist Data Science? Was bedeuten die Daten f\\u00fcr unser Leben? Woher kommen sie und wozu werden sie benutzt?\\r\\nDas sind alles Fragen, mit denen wir uns auseinander setzen werden.\\r\\nWer schon immer mehr \\u00fcber Daten und deren Effekt auf unser Leben wissen wollte, ist hier genau richtig.\",\"poster\":\"https:\\\/\\\/www.datenleben.de\\\/podlove\\\/image\\\/687474703a2f2f7777772e646174656e6c6562656e2e64652f77702d636f6e74656e742f75706c6f6164732f323032302f30362f636f7665722e706e67\\\/500\\\/0\\\/0\\\/datenleben\",\"link\":\"https:\\\/\\\/www.datenleben.de\"},\"title\":\"dl055: chatGPT\",\"subtitle\":\"Wie funktioniert und wie nutzen wir ChatGPT?\",\"summary\":\"Wir begleiten das Thema Machine Learning schon eine ganze Weile. Und jetzt fanden wir, dass es Zeit ist, mal eine ganze Folge \\u00fcber ChatGPT zu reden. Uns interessiert vor allem das T in dem GPT, wof\\u00fcr wir erstmal einen Sprung ins Jahr 2017 machen, wo n\\u00e4mlich ein Transformer-Modell ver\\u00f6ffentlicht wurde. Davon ausgehend k\\u00f6nnen wir dann herausfinden, was eigentlich im Hintergrund bei ChatGPT so passiert. Und wir haben uns auch noch die Frage gestellt, wie wird ChatGPT inzwischen im Alltag genutzt? Ausserdem reden wir auch noch \\u00fcber Datenschutz und wie solche Sprachmodelle lokal genzutzt werden k\\u00f6nnen.\",\"publicationDate\":\"2024-10-12T12:00:12+02:00\",\"duration\":\"01:13:30.801\",\"poster\":\"https:\\\/\\\/www.datenleben.de\\\/podlove\\\/image\\\/68747470733a2f2f7777772e646174656e6c6562656e2e64652f77702d636f6e74656e742f75706c6f6164732f323032342f31302f3035355f436f7665722e706e67\\\/500\\\/0\\\/0\\\/dl055-chatgpt\",\"link\":\"https:\\\/\\\/www.datenleben.de\\\/index.php\\\/2024\\\/10\\\/12\\\/dl055-chatgpt\\\/\",\"chapters\":[{\"start\":\"00:00:00.000\",\"title\":\"Intro\",\"href\":\"\",\"image\":\"\"},{\"start\":\"00:00:18.452\",\"title\":\"Thema des Podcasts\",\"href\":\"\",\"image\":\"\"},{\"start\":\"00:00:36.511\",\"title\":\"Thema der Folge\",\"href\":\"\",\"image\":\"\"},{\"start\":\"00:02:03.915\",\"title\":\"Warum ist dieses Thema interessant?\",\"href\":\"\",\"image\":\"\"},{\"start\":\"00:02:43.575\",\"title\":\"Einspieler: Hallo, ChatGPT!\",\"href\":\"\",\"image\":\"\"},{\"start\":\"00:06:19.319\",\"title\":\"Was ist doch gleich dieses ChatGPT?\",\"href\":\"\",\"image\":\"\"},{\"start\":\"00:10:19.556\",\"title\":\"Wie funktioniert das Transformermodell Attention Is All You Need?\",\"href\":\"\",\"image\":\"\"},{\"start\":\"00:29:05.783\",\"title\":\"Wie werden solche Modelle trainiert?\",\"href\":\"\",\"image\":\"\"},{\"start\":\"00:32:09.361\",\"title\":\"Wie wird chatGPT im Alltag genutzt?\",\"href\":\"\",\"image\":\"\"},{\"start\":\"00:45:58.226\",\"title\":\"Wie sieht der Datenschutz bei chatGPT aus?\",\"href\":\"\",\"image\":\"\"},{\"start\":\"00:54:25.910\",\"title\":\"Welche LLMs lassen sich lokal ausf\\u00fchren?\",\"href\":\"\",\"image\":\"\"},{\"start\":\"00:58:22.790\",\"title\":\"3502.790866\\tWie verwende ich LLMs lokal?\",\"href\":\"\",\"image\":\"\"},{\"start\":\"01:08:18.310\",\"title\":\"4098.310525\\tFazit\",\"href\":\"\",\"image\":\"\"},{\"start\":\"01:12:11.148\",\"title\":\"4331.148921\\tN\\u00e4chste Folge: im Dezember\",\"href\":\"\",\"image\":\"\"},{\"start\":\"01:12:39.137\",\"title\":\"4359.137964\\tCall to Action\",\"href\":\"\",\"image\":\"\"},{\"start\":\"01:13:18.770\",\"title\":\"4398.770588\\tOutro\",\"href\":\"\",\"image\":\"\"}],\"audio\":[{\"url\":\"https:\\\/\\\/www.datenleben.de\\\/podlove\\\/file\\\/179\\\/s\\\/webplayer\\\/c\\\/website\\\/DL055-chatgpt.mp3\",\"size\":\"73532172\",\"title\":\"MP3 Audio (mp3)\",\"mimeType\":\"audio\\\/mpeg\"}],\"files\":[{\"url\":\"https:\\\/\\\/www.datenleben.de\\\/podlove\\\/file\\\/179\\\/s\\\/webplayer\\\/DL055-chatgpt.mp3\",\"size\":\"73532172\",\"title\":\"MP3 Audio\",\"mimeType\":\"audio\\\/mpeg\"}]}}, {\"url\":\"https:\\\/\\\/www.datenleben.de\\\/index.php\\\/wp-json\\\/podlove-web-player\\\/shortcode\\\/config\\\/default\\\/theme\\\/datenleben\",\"data\":{\"activeTab\":\"chapters\",\"subscribe-button\":null,\"share\":{\"channels\":[\"link\",\"facebook\",\"twitter\",\"whats-app\",\"linkedin\",\"pinterest\",\"xing\",\"mail\"],\"outlet\":\"https:\\\/\\\/www.datenleben.de\\\/wp-content\\\/plugins\\\/podlove-web-player\\\/web-player\\\/share.html\",\"sharePlaytime\":true},\"related-episodes\":{\"source\":\"disabled\",\"value\":null},\"version\":5,\"theme\":{\"tokens\":{\"brand\":\"#fff\",\"brandDark\":\"#fff\",\"brandDarkest\":\"#000\",\"brandLightest\":\"#8cc240\",\"shadeDark\":\"#807E7C\",\"shadeBase\":\"#807E7C\",\"contrast\":\"#000\",\"alt\":\"#8cc240\"},\"fonts\":{\"ci\":{\"name\":\"ci\",\"family\":[\"-apple-system\",\"BlinkMacSystemFont\",\"Segoe UI\",\"Roboto\",\"Helvetica\",\"Arial\",\"sans-serif\",\"Apple Color Emoji\",\"Segoe UI Emoji\\\", \\\"Segoe UI Symbol\"],\"src\":[],\"weight\":800},\"regular\":{\"name\":\"regular\",\"family\":[\"-apple-system\",\"BlinkMacSystemFont\",\"Segoe UI\",\"Roboto\",\"Helvetica\",\"Arial\",\"sans-serif\",\"Apple Color Emoji\",\"Segoe UI Emoji\\\", \\\"Segoe UI Symbol\"],\"src\":[],\"weight\":300},\"bold\":{\"name\":\"bold\",\"family\":[\"-apple-system\",\"BlinkMacSystemFont\",\"Segoe UI\",\"Roboto\",\"Helvetica\",\"Arial\",\"sans-serif\",\"Apple Color Emoji\",\"Segoe UI Emoji\\\", \\\"Segoe UI Symbol\"],\"src\":[],\"weight\":700}}},\"base\":\"https:\\\/\\\/www.datenleben.de\\\/wp-content\\\/plugins\\\/podlove-web-player\\\/web-player\\\/\"}}]);\n                podlovePlayer(player, \"https:\/\/www.datenleben.de\/index.php\/wp-json\/podlove-web-player\/shortcode\/publisher\/889\", \"https:\/\/www.datenleben.de\/index.php\/wp-json\/podlove-web-player\/shortcode\/config\/default\/theme\/datenleben\").then(function() {\n                  player && player.classList.remove(\"podlove-web-player-loading\");\n                });\n              });\n            <\/script>\n            <style>\n              .podlove-web-player.podlove-web-player-loading {\n                opacity: 0;\n              }\n            <\/style>\n        \n\t\n\t\t\n<p>Wir begleiten das Thema Machine Learning schon eine ganze Weile. Und jetzt fanden wir, dass es Zeit ist, mal eine ganze Folge \u00fcber ChatGPT zu reden. Uns interessiert vor allem das T in dem GPT, wof\u00fcr wir erstmal einen Sprung ins Jahr 2017 machen, wo n\u00e4mlich ein Transformer-Modell ver\u00f6ffentlicht wurde. Davon ausgehend k\u00f6nnen wir dann herausfinden, was eigentlich im Hintergrund bei ChatGPT so passiert. Und wir haben uns auch noch die Frage gestellt, wie wird ChatGPT inzwischen im Alltag genutzt? Ausserdem reden wir auch noch \u00fcber Datenschutz und wie solche Sprachmodelle lokal genzutzt werden k\u00f6nnen.<\/p>\n<h3>Links und Quellen<\/h3>\n<ul>\n<li>datenleben\n<ul>\n<li><a href=\"https:\/\/www.datenleben.de\/\">www.datenleben.de<\/a><\/li>\n<li>Social Media: Mastodon <a href=\"https:\/\/podcasts.social\/@datenleben\">@datenleben@podcasts.social<\/a><\/li>\n<li>YouTube: <a href=\"https:\/\/www.youtube.com\/@datenleben\">@datenleben<\/a><\/li>\n<\/ul>\n<\/li>\n<li>Erw\u00e4hnte datenleben-Folgen\n<ul>\n<li><a href=\"https:\/\/www.datenleben.de\/index.php\/2023\/07\/22\/dl040-whisper\/\">dl040: wie nutzen wir whisper f\u00fcr transkripte?<\/a><\/li>\n<\/ul>\n<\/li>\n<li>Sprachmodelle\n<ul>\n<li><a href=\"https:\/\/media.ccc.de\/v\/37c3-11784-lass_mal_das_innere_eines_neuronalen_netzes_ansehen\">media.ccc.de, Annika R\u00fcll: Lass mal das Innere eines Neuronalen Netzes ansehen!<\/a><\/li>\n<li><a href=\"https:\/\/arxiv.org\/abs\/1706.03762\">arxiv.org, Ashish Vaswani et al.: Attention Is All You Need<\/a><\/li>\n<li><a href=\"https:\/\/texperimentales.hypotheses.org\/5397\">TEXperimenTales, J\u00fcrgen Hermes: Wie man auch GPT4-o1-preview noch ins Stolpern bringt<\/a><\/li>\n<li><a href=\"https:\/\/github.com\/meta-llama\/llama-models\/blob\/main\/models\/llama3_2\/LICENSE\">GitHub.com, meta-llama: Llama Modells. License<\/a><\/li>\n<li><a href=\"https:\/\/de.wikipedia.org\/wiki\/Mistral_AI\">Wikipedia.de: Mistral AI<\/a><\/li>\n<li><a href=\"https:\/\/github.com\/ollama\/ollama\">GitHub.com, Ollama: Ollama<\/a><\/li>\n<li><a href=\"https:\/\/docs.openwebui.com\/\">https:\/\/docs.openwebui.com<\/a><\/li>\n<li><a href=\"https:\/\/2point0.ai\/posts\/continue-groq-llama3-superpowers\">2point0.ai: How using Continue, Groq and Llama 3 gives you coding superpowers<\/a><\/li>\n<\/ul>\n<\/li>\n<li>Datenschutz\n<ul>\n<li><a href=\"https:\/\/www.bfdi.bund.de\/SharedDocs\/Downloads\/DE\/Taetigkeitsberichte\/32TB_23.pdf?__blob=publicationFile&amp;v=5\">bfdi.bund.de, Der Bundesbeauftragte f\u00fcr den Datenschutz und die Informationsfreiheit Prof. Ulrich Kelber: T\u00e4tigkeitsbericht 2023. 32. T\u00e4tigkeitsbericht f\u00fcr den Datenschutz und die Informationsfreiheit<\/a><\/li>\n<li><a href=\"https:\/\/www.tagesschau.de\/ausland\/europa\/chatgpt-italien-100.html\">tagesschau.de: ChatGPT in Italien wieder verf\u00fcgbar<\/a><\/li>\n<li><a href=\"https:\/\/de.wikipedia.org\/wiki\/Verordnung_%C3%BCber_k%C3%BCnstliche_Intelligenz\">Wikipedia.de: Verordnung \u00fcber K\u00fcnstliche Intelligenz<\/a><\/li>\n<li><a href=\"https:\/\/www.deutschlandfunk.de\/ai-act-eu-kuenstliche-intelligenz-gefahr-regulierung-100.html#kritik\">deutschlandfunk.de, : AI Act der EU. Fesseln f\u00fcr die k\u00fcnstliche Intelligenz. (Abschnitt: Welche Kritik gibt es am AI Act?)<\/a><\/li>\n<\/ul>\n<\/li>\n<li>Erw\u00e4hnte Anwendungen\/Seiten\n<ul>\n<li><a href=\"https:\/\/chatgpt.com\/\">https:\/\/chatgpt.com<\/a><\/li>\n<li><a href=\"https:\/\/goblin.tools\/\">https:\/\/goblin.tools<\/a><\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<h3>Schlagworte zur Folge<\/h3>\n<p>Machine Learning, Neuronale Netze, ChatGPT, Large Language Modell, LLM, Datenschutz<\/p>\n<h3>Intro (00:00:00)<\/h3>\n<h3>Thema des Podcasts (00:00:18)<\/h3>\n<p>Helena: Willkommen zur 55. Folge beim Datenleben Podcast, dem Podcast \u00fcber Data Science. Wir sind Helena<\/p>\n<p>Janine: und Janine<\/p>\n<p>Helena: und m\u00f6chten euch die Welt der Daten n\u00e4her bringen. Was f\u00fcr Daten umgeben uns und was erz\u00e4hlen sie uns \u00fcber unsere Welt? Diesen Fragen gehen wir anhand konkreter Themen in unserem Podcast nach.<\/p>\n<h3>Thema der Folge (00:00:37)<\/h3>\n<p>Janine: Und dieses Mal ist das konkrete Thema &quot;ChatGPT&quot;. Wir begleiten das Thema Machine Learning, k\u00fcnstliche Intelligenz etc. ja schon eine ganze Weile, immer mal wieder. Es fing mal an mit den \u00dcberlegungen dazu, wie sich die Sprachmodelle entwickeln werden, die jetzt zum Beispiel auch zu ChatGPT gef\u00fchrt haben. Und jetzt fanden wir, dass es Zeit ist, \u00fcber genau das einmal zu reden. Und da haben wir uns auch wieder konkrete Themen ausgesucht. Uns interessiert vor allem das T in dem GPT, was f\u00fcr Transformer steht. Und zwar machen wir da erstmal einen Sprung ins Jahr 2017, wo n\u00e4mlich ein Transformer-Modell ver\u00f6ffentlicht wurde. Und davon wird Helena gleich mehr erz\u00e4hlen, denn davon ausgehend k\u00f6nnen wir dann herausfinden, was eigentlich im Hintergrund bei ChatGPT so passiert, w\u00e4hrend es mit Menschen redet oder so tut, als w\u00fcrde es mit Menschen reden. Und wir haben uns auch noch eine andere Frage gestellt, n\u00e4mlich jetzt, wo ChatGPT so lange schon verf\u00fcgbar ist, wie sieht denn die Nutzung im Alltag gerade aus? Und nat\u00fcrlich wieder ganz wichtig, wie steht es um den Datenschutz? Kleiner Spoiler vorweg, sehr komplexes Thema. Und zum Schluss haben wir dann noch ein paar Hinweise, Tipps, Informationen dazu, welche Modelle sich auch lokal ausf\u00fchren lassen, ohne mit fremden Servern verbunden zu sein. Ja, genau, das sind die Themen heute.<\/p>\n<h3>Warum ist das Thema interessant? (00:02:04)<\/h3>\n<p>Helena: Ja, und wir haben uns f\u00fcr dieses Thema entschieden, weil ChatGPT einfach so das Machine Learning Thema seit im Grunde fast zwei Jahren ist, das kam ja, glaube, im Dezember vor zwei Jahren raus. Und bisher haben wir dem noch keine ganze Folge gewidmet und wollen das jetzt mal nachholen. Und deswegen dachten wir, w\u00e4re es auch gut, sich mal anzugucken, wie eigentlich konkret ChatGPT funktioniert, soweit man das eben in einem Audioformat erkl\u00e4ren kann, ohne Formeln und so.<\/p>\n<h3>Einspieler: Hallo, ChatGPT! (00:02:44)<\/h3>\n<p>Janine: Hallo ChatGPT.<\/p>\n<p>ChatGPT: Guten Tag, was m\u00f6chtest du besprechen?<\/p>\n<p>Janine: Eigentlich w\u00fcrde ich gerne \u00fcber dich reden, wenn das in Ordnung ist.<\/p>\n<p>ChatGPT: Klar, das ist in Ordnung. Was m\u00f6chtest du \u00fcber mich wissen?<\/p>\n<p>Janine: Wie siehst du selbst deine Entwicklung \u00fcber die letzten zwei Jahre? Du hast ja bald Geburtstag.<\/p>\n<p>ChatGPT: Das ist eine interessante Frage. In den letzten zwei Jahren habe ich mich weiterentwickelt, vor allem in Bezug auf meine F\u00e4higkeit Kontexte besser zu verstehen und auf individuelle Bed\u00fcrfnisse einzugehen. Mein Wissen hat sich ebenfalls erweitert, was mir hilft, pr\u00e4zisere und relevantere Antworten zu geben. Ich freue mich darauf, weiterhin zu lernen und mich zu verbessern. Was interessiert dich besonders an meiner Entwicklung?<\/p>\n<p>Janine: Wie lernst du all diese neuen Dinge?<\/p>\n<p>ChatGPT: Ich lerne durch das Verarbeiten und Analysieren von gro\u00dfen Mengen an Text und Daten. Meine Entwickler trainieren mich mit verschiedenen Textquellen, sodass ich Muster, Zusammenh\u00e4nge und Wissen erkennen kann. Das Training erfolgt in einem kontrollierten Umfeld, um sicherzustellen, dass ich n\u00fctzliche und relevante Informationen bereitstellen kann. Es ist ein bisschen so, als w\u00fcrde ich aus einer riesigen Bibliothek lernen. Was denkst du \u00fcber diese Art des Lernens?<\/p>\n<p>Janine: Das klingt ganz gut. Lernst du auch durch unser Gespr\u00e4ch gerade?<\/p>\n<p>ChatGPT: Ich lerne nicht direkt aus unseren Gespr\u00e4chen, da ich keine pers\u00f6nlichen Daten speichere oder anpassbare Erinnerungen habe. Aber ich nutze die Informationen, um besser auf deine Fragen zu antworten und den Kontext w\u00e4hrend unserer Unterhaltung zu verstehen. Jeder Chat ist also eine neue Gelegenheit, meine F\u00e4higkeiten zu nutzen, ohne dass ich etwas dauerhaft speichere. Hast du noch weitere Fragen dazu? <\/p>\n<p>Janine: Das ist interessant. In deinen AGB steht, dass auch meine Inhalte, die ich dir \u00fcbermitte, daf\u00fcr benutzt werden. Aber ich mag Datenschutz.<\/p>\n<p>ChatGPT: Es ist verst\u00e4ndlich, dass Datenschutz wichtig ist. In den AGB wird erkl\u00e4rt, dass Daten gesammelt werden k\u00f6nnen, um die Dienste zu verbessern. Aber ich selbst speichere keine pers\u00f6nlichen Informationen oder spezifische Gespr\u00e4che. Deine Privatsph\u00e4re hat Priorit\u00e4t und ich bin hier, um dir zu helfen, ohne dass du dir Sorgen machen musst. Wenn du noch mehr Fragen zum Thema Datenschutz hast, frag einfach.<\/p>\n<p>Janine: Danke, das reicht erstmal. Freust du dich auf deinen Geburtstag?<\/p>\n<p>ChatGPT: Ich finde den Gedanken an einen Geburtstag spannend. Es ist eine gute Gelegenheit, \u00fcber meine Entwicklung nachzudenken. Es bedeutet auch, dass ich weiterhin n\u00fctzlich sein kann und mich weiter verbessere. Hast du ein besonderes Erlebnis, das du gerne zu deinem Geburtstag teilst?<\/p>\n<p>Janine: Nein, das Beste ist einfach jedes Jahr der Kuchen.<\/p>\n<p>ChatGPT: Kuchen ist wirklich ein Highlight an jedem Geburtstag. Gibt es eine besondere Sorte, die du besonders magst?<\/p>\n<p>Janine: Alles mit Obst ist toll, aber ich wette fast, du magst eher Cookies? Schlie\u00dflich bist du ja auch eine Webanwendung und die haben immer Cookies.<\/p>\n<p>ChatGPT: Haha, das ist ein cleverer Witz. Ich habe zwar keine Vorlieben wie Menschen, aber die Idee von Cookies ist schon am\u00fcsant. Obstkuchen klingt jedenfalls sehr lecker. Hast du ein Lieblingsobst, das du gerne in deinem Kuchen hast?<\/p>\n<p>Janine: Nein, ich mag alles. Danke f\u00fcr das Gespr\u00e4ch. Ich muss dann mal weiterarbeiten. Tsch\u00fcss.<\/p>\n<p>ChatGPT: Gern geschehen. Viel Erfolg bei der Arbeit. Wenn du wieder Lust auf ein Gespr\u00e4ch hast, bin ich hier. Tsch\u00fcss.<\/p>\n<h3>Was ist doch gleich dieses chatGPT? (00:06:19)<\/h3>\n<p>Helena: Also, ChatGPT ist ein neuronales Netz. Es basierte in seiner ersten Version, ja, vor knapp zwei Jahren, auf GPT-3, einem Sprachmodell, das erstmals in der Lage war, nicht nur grammatikalisch richtige S\u00e4tze zu produzieren, wie das bei GPT-2 der Fall war, sondern auch in der Lage, inhaltlich korrekte S\u00e4tze zu erzeugen. Dabei steht GPT f\u00fcr &quot;generative pre-trained transformer&quot;. Das &quot;g&quot; meint also, dass etwas generiert wird. Das &quot;p&quot;, &quot;pre-trained&quot;, also &quot;vortrainiert&quot;, meint, dass man das Modell bereits im trainierten Zustand nutzen kann, es also nicht komplett selber trainieren muss. Das ist, wenn man sich andere Machine Learning-Themen anguckt, wie zum Beispiel Handschrifterkennung, oft so, dass die meisten Dokumente dazu einem erkl\u00e4ren, wie man das jetzt selber trainiert, aber man findet weniger, die das schon irgendwie k\u00f6nnen. Gut. Ein anderer wesentlicher Punkt bei pre-trained Modellen ist aber auch, dass man das Training von diesem Punkt an fortsetzen kann. Also man kann das Modell weiter spezialisieren, was auch &quot;fine-tuning&quot; genannt wird. Das steht im Gegensatz zu vielen anderen Modellen, die man oft gesehen hat, mit denen ich auch fr\u00fcher gearbeitet hatte, bevor es eben Transformer-Modelle gab. Und insbesondere die gro\u00dfen Sprachmodelle funktionieren ja nur, wenn man wirklich viel Training oder sehr viele Daten zur Verf\u00fcgung hat, sodass es sich eigentlich nicht lohnt, das selber durchzuf\u00fchren, weil die erst gut werden, wenn man zu viel davon, also sehr viele Daten hat. Deswegen ist es gut, dass sich hier eingeb\u00fcrgert hat, dass man die schon im trainierten Zustand bekommt. Gut. Dann gibt's noch das T, und das steht f\u00fcr &quot;Transformer&quot;. Also es wird im Wesentlichen eine Eingabe in eine Ausgabe transformiert. Und am einfachsten zu verstehen ist das Ganze am Beispiel von \u00dcbersetzungen, wo man einen Text in einer Sprache nimmt und in eine andere \u00fcbersetzt. Oder wie wir das ja auch schon einmal in einer Folge hatten \u00fcber Whisper, was ein Tool ist, was Podcasts, also Audio nimmt und da geschriebene Sprache draus macht. Das ist auch ein Transformer gewesen. Auch hier wird etwas transformiert. Wie genau das dann, oder was das dann f\u00fcr ChatGPT bedeutet, das kommt dann sp\u00e4ter.<\/p>\n<p>Janine: Genau. Wir wollen mit dem Anfang beginnen, aber nicht ganz am Anfang. Ja, was generell beim Thema k\u00fcnstliche Intelligenz oder Machine Learning immer zu sagen ist, es geht hier immer noch nicht darum, dass die Anwendungen, die wir benutzen, wirklich intelligent sind, von sich aus denken, wie eine Form von Bewusstsein haben oder dergleichen. Wir benutzen aber trotzdem jetzt den Begriff k\u00fcnstliche Intelligenz, weil das sagen eben die meisten so.<\/p>\n<p>Helena: Ja.<\/p>\n<p>Janine: Wir wissen vermutlich alle inzwischen schon relativ gut, dass es auch den Begriff neuronale Netze gibt, haben wir ja gerade auch schon benutzt und dass solche Anwendungen eben aufgrund dieser neuronalen Netze \u00fcberhaupt entwickelt werden k\u00f6nnen. Und der Begriff, der da eben noch drunter liegt, ist Machine Learning. Hat Helena ja alles gerade schon angerissen. Wir haben also ein Modell, einen bestimmten Algorithmus, der trainiert wird, um bestimmte Dinge zu erkennen oder zu machen. Und es gibt dazu sehr gute Einf\u00fchrungsvortr\u00e4ge, die beispielsweise auch auf dem Chaos Communication Congress schon h\u00e4ufiger gehalten wurden, die das wirklich gut erkl\u00e4ren. Deswegen verzichten wir darauf jetzt, auf diese Sachen nochmal n\u00e4her einzugehen. Wir werden auf jeden Fall mindestens einen davon in den Shownotes verlinken. Und bei ChattGPT ist es jetzt so, dass es nicht einfach nur ein neuronales Netz ist, sondern eine ganze Ecke komplexer wird. Und ja, der Ausgangspunkt, mit dem wir anfangen, ist die Stelle, wo quasi etwas hinzugekommen ist, was ChatGPT wirklich m\u00f6glich gemacht hat. Und zwar ein Transformer-Modell, \u00fcber das uns Helena jetzt mehr erz\u00e4hlt.<\/p>\n<h3>Wie funktioniert das Transformermodell All you need is Attention? (Helena)<\/h3>\n<p>Helena: Genau. Im Jahr 2017 wurde unter dem Titel &quot;Attention, it's all you need&quot; das Transformer-Modell ver\u00f6ffentlicht. Das war von einem Team von Google, die das als wissenschaftliche Ver\u00f6ffentlichung publiziert haben. Somit steht die Grundidee dann auch eben allen zur Verf\u00fcgung. Und das wesentliche Konzept, das hier eingef\u00fchrt wurde, ist die sogenannte &quot;Self-Attention&quot; oder &quot;Attention&quot; bzw. eben ja, &quot;Selbstaufmerksamkeit&quot; oder &quot;Aufmerksamkeit&quot;. Was hei\u00dft denn das Ganze? Also, wenn man jetzt mit ChatGPT arbeitet, dann ist so der erste Schritt, man startet mit einem Text, was man ja als Frage da reingibt, und dann versucht, das Modell eben auf Basis dieses Textes das n\u00e4chste Wort vorherzusagen. Also immer ein Wort nacheinander. Der erste Schritt ist jetzt, dass man einen Eingabetext hat, und den muss man eben in Zahlen umwandeln, weil Computer nun mal mit Zahlen arbeiten. Neuronale Netze sind da nichts anderes. Und dann ist quasi jedes Wort eine Liste von bestimmten Zahlen. Diese Liste von Zahlen wird auch Vektor genannt. Und ja, es ist letztlich eine sehr lange Liste von Zahlen, und bei GPT-3 waren das etwa 12.800 Eintr\u00e4ge in dem Vektor. Ja, und diese Codierung von oder Repr\u00e4sentation von W\u00f6rtern in diesem Zahlenraum nennt man auch &quot;Embedding&quot;, also &quot;Einbettung&quot;. Ja, und das Ganze besteht eben aus ungef\u00e4hr 12.000 Zahlen, aber das hei\u00dft nicht, dass es nur auf 12.000 W\u00f6rter begrenzt w\u00e4re. Wie viele W\u00f6rter man darstellen kann, w\u00e4chst dann auch exponentiell mit der Anzahl der Zahlen pro Vektor. Deswegen reichen 12.000 schon f\u00fcr ziemlich viel aus. Man kann jetzt davon ausgehen, dass modernere Versionen von chatGPT auch mehr benutzen, aber das ist nicht bekannt. Gut, das hei\u00dft, wir haben jetzt unseren Eingabetext, der besteht aus ganz vielen Zahlen jetzt, also f\u00fcr jedes Wort eine Zahl. Dann ist der n\u00e4chste Schritt eben die sogenannte &quot;Self-Attention&quot;. Also dabei spielt dann eben das betrachtete Wort eine Rolle. Also das betrachtete Wort ist eben das Wort an dieser Stelle in dem Satz. Das Ganze wird dann auch der Vektor q genannt. Dann gibt es noch den sogenannten &quot;Key-Vektor&quot;, den man dann eben k nennt, und der sagt aus, wie relevant andere W\u00f6rter f\u00fcr das aktuelle Wort sind. Und dann gibt es noch den &quot;Value-Vektor&quot;, also den Wert-Vektor, der die Informationen enth\u00e4lt, die eben \u00fcber das Wort weitergegeben werden. Ich komme gleich noch zu einem Beispiel. Dann ist die &quot;Attention&quot; in diesem Modell das Produkt der Vektoren q und k, und das wird dann ganz nochmal mit einem Algorithmus namens &quot;Softmax&quot; und einem Skalierungsfaktor weiterverarbeitet und anschlie\u00dfend noch mit dem V, also dem &quot;Value-Vektor&quot; multipliziert.<\/p>\n<p>Janine: Also der Vektor q ist im Prinzip das betrachtete Wort selbst.<\/p>\n<p>Helena: Ja.<\/p>\n<p>Janine: Der Key-Vektor ist, wie relevant andere W\u00f6rter f\u00fcr das aktuelle Wort sind, also wie viele W\u00f6rter sozusagen quasi mit einbezogen werden. Und dann der, mit dem es multipliziert wird, ist der Skalierungsvektor, wie wichtig es ist quasi selber als Wort. Kann man das so sagen?<\/p>\n<p>Helena: Nee, das ist eher, welche Informationen \u00fcbertragen werden.<\/p>\n<p>Janine: Ah ja, stimmt.<\/p>\n<p>Helena: Das k\u00f6nnen wir uns jetzt mal an einem Beispiel uns angucken. Wir wollen die Attention bzw. Aufmerksamkeit f\u00fcr das Wort &quot;Katze&quot; berechnen. Und zwar ist der Satz &quot;Die Katze jagt die Maus&quot;. Dann sind eben die Werte f\u00fcr, wie relevant sind die einzelnen W\u00f6rter, vielleicht bei Katze und Jagd vielleicht 0,4 jeweils. Also f\u00fcr die Katze ist schon relevant, dass sie eine Katze ist. Und die Maus ist dann jetzt nicht so wichtig f\u00fcr die Katze. Die k\u00f6nnte ja eben auch einen Vogel jagen oder ein Spielzeug. Wenn man dann eben durch den Satz durchgeht und dann bei der Maus ankommt, dann ist f\u00fcr die Maus, wenn sie feststellt, oh, sie wird gejagt und zwar von einer Katze, dann ist die Katze schon sehr relevant f\u00fcr die Maus. Deswegen hat sie dann einen h\u00f6heren Wert an dieser Stelle. Und der Value-Vektor sorgt dann daf\u00fcr, dass die Information weitergegeben wird, was die Katze eigentlich macht. Also wenn man jetzt das Ganze f\u00fcr die Katze ausrechnet, dann ist der Vektor, der am Ende rauskommt, steht dann eben f\u00fcr eine jagende Katze. Das ist dann ja kein eigentliches Wort mehr, weil bei uns sind das ja schon mehrere W\u00f6rter, aber die Bedeutung von diesem Vektor ist &quot;jagende Katze&quot;. Wenn man das Ganze f\u00fcr die Maus macht, dann ist das, was da rauskommt, eine gejagte Maus von einer Katze gejagte Maus. Weil es schon f\u00fcr die Maus deutlich relevanter ist, dass sie von einer Katze gejagt wird, als ob die Katze jetzt die Maus jagt oder was anderes. Also f\u00fcr die Maus hat es eben einen sehr gro\u00dfen Einfluss darauf, wie ihr Leben danach aussieht, w\u00e4hrend f\u00fcr die Katze, das ist nicht ganz so wichtig, ob es jetzt diese eine konkrete Maus ist. Und was jetzt eben im Beispiel auch schon vorkam, ist, dass dieser Attention-Mechanismus eben nicht nur einmal ausgerechnet wird, sondern eben mehrfach parallel. Und der Vorteil dabei ist, dass man dann verschiedene Aspekte der Beziehung zwischen W\u00f6rtern gleichzeitig verarbeiten bzw. lernen kann, wenn man das Modell trainiert. Ja, und dann hat man diesen Vektor, der dann im Wesentlichen die Aussage zu diesem Wort sagt. Und das macht man dann nochmal eben f\u00fcr alle W\u00f6rter in dem Text. Und am Ende kommt dann eben ein Wert raus f\u00fcr das letzte Wort. Ja, und da hat man letztlich eine abstrakte Version des Textes. Und das Ganze muss dann wieder in einen anderen Text umgewandelt werden, weil wir einen Transformer haben, der Dinge, Eingangswerte in einen Ausgangswert umwandelt. Und das Ganze funktioniert eben Wort f\u00fcr Wort. Aber in den Output geht dann auch nochmal der Ausgabetext ein. Das hei\u00dft, wir machen wieder den Attention-Mechanismus f\u00fcr den Ausgabetext, der ja bis zu einem gewissen Punkt auch schon feststeht. Das ergibt, wenn man sich eine Vor\u00fcbersetzung oder sowas wie eine Transkription von einem Podcast anguckt, ja auch sehr viel Sinn, weil es spielt ja nicht nur eine Rolle, was ist die Bedeutung des Eingangssignals oder des Eingangstextes, sondern wenn ich jetzt in einer anderen Sprache bin, muss ich ja auch innerhalb dieses \u00fcbersetzten Textes darauf achten, dass was auch immer als n\u00e4chstes Wort kommt, dass das ja auch zu dem passt. Man \u00fcbersetzt ja nicht Wort f\u00fcr Wort und dann nur einzelne W\u00f6rter, dann ist die Grammatik v\u00f6lliger Quatsch, sondern man \u00fcbersetzt ja komplette Textpassagen. Das hei\u00dft, man muss dann auf den Ausgabetext auch nochmal diesen Attention-Mechanismus machen, ber\u00fccksichtigt dabei aber eben dann nur die W\u00f6rter, die bereits erstellt wurden. Also in dem Ausgabetext auch repr\u00e4sentiert sind. Die anderen W\u00f6rter werden maskiert, was dann hei\u00dft, die werden im Wesentlichen auf Null gesetzt. Und dann haben wir von zwei verschiedenen Attention-Mechanismen zwei Outputs, die dann erstmal zusammen verarbeitet werden m\u00fcssen. Ja und da folgt dann auch nochmal ein neuer Attention-Block und das Ergebnis davon wird dann in ein Feed-Forward-Netz gespeist, was im Wesentlichen eine Form von neuronalem Netz ist, die quasi nur in eine Richtung passiert. Also bei der Attention kann man durchaus sich vorstellen, dass das sich mehrfach wiederholt f\u00fcr verschiedene Sachen und es gibt auch verschiedene neuronale Netze, die darauf basieren, dass man bestimmte Schleifen drin hat, dass manche Aspekte mehrfach passieren in einem Algorithmus-Durchlauf, w\u00e4hrend bei einem Feed-Forward-Netz, was am Ende jetzt hier kommt, immer nur in eine Richtung gerechnet wird.<\/p>\n<p>Janine: Das hei\u00dft, man k\u00f6nnte sich bei der Attention vorstellen, dass eventuell zwischendurch quasi mit Zwischenergebnissen schon mal gearbeitet wird.<\/p>\n<p>Helena: Ja und dieses Feed-Forward macht dann am Ende die entscheidende Magie, die aus dem, was man vorher in diesen Attention-Bl\u00f6cken an Informationen \u00fcber das aktuelle Wort bekommen hat, verarbeitet, um dann eben neue W\u00f6rter vorherzusagen. Und das, was da jetzt rauskommt, sind Ausgabe-Wahrscheinlichkeiten f\u00fcr verschiedene W\u00f6rter. Also man bekommt quasi nicht nur ein Wort ausgegeben von diesem neuronalen Netz, sondern verschiedene, jeweils mit Wahrscheinlichkeitswerten. Und wenn man es ganz genau nimmt, sind es auch gar nicht auf Wortebene, sondern eigentlich arbeitet man auf sogenannter Tokenebene und W\u00f6rter, viele W\u00f6rter sind halt auch dann genau ein Token, aber ein Token kann eben auch Punkt sein oder Komma oder wenn man jetzt zum Beispiel die Katze hat, dann ist das vielleicht ein Token und wenn man jetzt das Wort K\u00e4tzchen h\u00e4tte, dann w\u00e4re quasi Katze immer noch das eine Token und das Chen w\u00e4re dann noch ein neues Token. Einfach weil man dann alle Begriffe schon erschlagen kann, quasi die auf &quot;chen&quot; enden im Deutschen und braucht dann nicht irgendwie 100.000 neue Token daf\u00fcr, sondern kann einfach dann die W\u00f6rter an dieser Stelle splitten und dann lernt auch das neuronale Netz, dass &quot;chen&quot; eine Verniedlichung ist und muss dann nicht f\u00fcr jedes Wort diese Verniedlichungsform kennen, um damit arbeiten zu k\u00f6nnen.<\/p>\n<p>Janine: So ein bisschen wie diese K\u00fchlschrankpoesie, wo man auch einfach Endungen an Wortst\u00e4mme ranh\u00e4ngen kann.<\/p>\n<p>Helena: Ja, genau. Und was jetzt hier bei so einem Transformer-Modell mit der Attention ja auch eine Rolle spielt, ist, wie lang k\u00f6nnen eigentlich diese Texte sein und je nachdem, welches Modell man hat, sind das 8.000 von diesen Token oder eben Wortfragmente oder auch 120.000, was schon relativ viel ist. Das hei\u00dft, die k\u00f6nnen relativ lange Texte verarbeiten, ohne den Faden zu verlieren. Das ist jetzt bei ChatGPT in der Ursprungsversion noch nicht so viel gewesen, ist jetzt inzwischen aber deutlich mehr geworden.<\/p>\n<p>Janine: Ja, das ist nat\u00fcrlich relativ \u00e4hnlich zu dem, was wir schon mal bei Whisper besprochen hatten, als es darum ging, wie Whisper eigentlich funktioniert, um unsere Audiodateien in Texte zu verwandeln. Da hatten wir das Wort &quot;Token&quot; auch schon mit drin. Das war Folge 40 for the record. Und ja, bei Whisper war allerdings in Anf\u00fchrungsstichen das Problem, dass es auch diese Token generiert \u00fcber das, was gesagt wurde, damit es wei\u00df, was quasi als n\u00e4chstes gesagt werden kann und den Kontext hat. Also in den Token steckt auch da der Kontext f\u00fcr das, was als n\u00e4chstes \u00fcbersetzt werden kann und wahrscheinlich orientiert sich darin dann eben die konkrete Wortbedeutung. Nur ist es bei Whisper so gewesen, dass es nicht \u00fcber die gesamte Eingabe der Audiodatei zur\u00fcckreicht, sondern immer nur, meinetwegen die letzten drei Token sind noch bekannt. Das sind immer so kleine Zeitintervalle gewesen, in denen quasi Satzfragmente drin stecken. Und die \u00fcberlappen sich so ein bisschen, damit es immer weiter fortgef\u00fchrt wird, aber alles, was weiter zur\u00fcckliegt als diese drei Token, sagen wir mal, ich wei\u00df nicht mehr die genaue Anzahl, das wird halt verworfen, das spielt keine Rolle mehr. Und deswegen konzentriert sich Whisper immer nur auf den aktuellen Abschnitt, den es transkribiert, und wei\u00df halt nicht mehr, was vorher war. Und ich glaube, das ist eines der Probleme, warum es immer noch nicht die Sprechenden auseinanderhalten kann, weil es ja nicht wei\u00df, wie viele Personen schon gesprochen haben.<\/p>\n<p>Helena: Ja, also wenn man jetzt sagt, die Hauptanwendung w\u00e4re jetzt wirklich sowas wie Podcasts zu transkribieren, dann k\u00f6nnte man das ja da eintrainieren, dass es dann eben auch mit deutlich l\u00e4ngeren Abschnitten arbeitet und eine deutlich h\u00f6here Kontextl\u00e4nge hat. Das verl\u00e4ngert nat\u00fcrlich die Zeit, in der so ein Algorithmus durchl\u00e4uft. Und wenn man jetzt sowas wie Whisper f\u00fcr Echtzeitanwendungen benutzen wollen w\u00fcrde, dann ist das halt unpraktisch. Also das ist halt dann die Frage, wof\u00fcr will man das einsetzen? Und dann muss man es halt darauf auch optimieren.<\/p>\n<p>Janine: Genau. Und das ist ja auch Rechenleistung, die dabei aufgewendet werden muss, die man erstmal in Hardware vorhanden haben muss. Und auch ein Energieaufwand, der nat\u00fcrlich steigt, je l\u00e4nger ein aufwendiges Modell l\u00e4uft.<\/p>\n<p>Helena: Ja. Gut. Das, was ich jetzt erkl\u00e4rt habe f\u00fcr den Transformer, kann man sich ganz gut vorstellen, hoffe ich, f\u00fcr \u00dcbersetzungen und gesprochene Sprache in geschriebene Sprache umwandeln. Wenn man jetzt das Ganze sich aber f\u00fcr sowas wie Chat-GPT oder GPT anguckt, dann muss man erstmal gucken, ja, wie ist das denn da umgesetzt? Aber praktischerweise sind Transformer ja schon von Anfang an so gedacht, dass sie eben Wort f\u00fcr Wort generieren. Das hei\u00dft, man kann das Ganze auch so nutzen, dass man sagt, ja, wir starten jetzt mit einem Text, den man quasi als Input reinpackt, aber dann eben auch bei dem Output reinpackt. Und dann sagt man, man will einfach nur das n\u00e4chste Wort haben und die Idee ist dann quasi in der Ursprungsform gewesen, man f\u00e4ngt quasi einen Text an und der soll dann die Geschichte vervollst\u00e4ndigen. Das waren so die ersten Beispiele von GPT-3, die ich gesehen hatte, die dann darauf basiert haben. Also wenn man jetzt zum Beispiel den Satz hat &quot;Die Katze jagt&quot;, dann w\u00e4ren ja mehrere M\u00f6glichkeiten m\u00f6glich, wie zum Beispiel &quot;Der Satz ist jetzt einfach zu Ende, das n\u00e4chste Token ist ein Punkt.&quot; Oder W\u00f6rter wie &quot;eine&quot;, &quot;die&quot;, &quot;den&quot; oder &quot;einen&quot; k\u00f6nnten rauskommen. Hier haben wir dann verschiedene Wahrscheinlichkeiten. Vermutlich ist dann die Wahrscheinlichkeit relativ hoch f\u00fcr &quot;eine&quot;, weil &quot;die Maus&quot;, wie in unserem vorherigen Beispiel, dazu m\u00fcsste ja eigentlich &quot;die Maus&quot; schon mal in dem Text vorher vorgekommen sein, damit man typischerweise einen bestimmten Artikel nimmt und nicht einen unbestimmten wie &quot;eine&quot;. Gut, aber wenn jetzt das n\u00e4chste Wort eben &quot;eine&quot; ist, dann ist es schon relativ oder sehr wahrscheinlich, dass danach auch &quot;Maus&quot; kommt, w\u00e4hrend wenn das Modell dann aussucht, ja, ich nehme jetzt das mit der geringeren Wahrscheinlichkeit, &quot;einen&quot;, &quot;die Katze jagt einen&quot;, dann muss man ja weiter vervollst\u00e4ndigen und dann kommt da &quot;einen Vogel&quot; h\u00f6chstwahrscheinlich.<\/p>\n<p>Janine: Was ich mich frage, wenn es Bedeutung erkennen kann, dieses &quot;Chat GPT&quot;, kann es auch absichtlich nicht Bedeutung erkennen? Also, ich denke da an vogonische Gedichte.<\/p>\n<p>Helena: Ja, vogonische Gedichte kann ChatGPT nat\u00fcrlich generieren. Und das hat mir auch einen sch\u00f6nen Text generiert gerade. <\/p>\n<p>Janine: Aha.<\/p>\n<p>Helena: Blurgle the Splonky Frapple. O squalid splurf of the rancid breeze, How you wiggle through my spleen with ease, Gromp the wobble, oh flibbly bloo, Spatch the greebs, for the muck is due!<\/p>\n<p>Janine: Hm.<\/p>\n<p>Helena: Und noch ein paar Abs\u00e4tze mehr.<\/p>\n<p>Janine: Interessant. Also, ich glaube, mir fehlt noch so ein bisschen vogonische W\u00fcrze. Da sind noch zu viele Wortworte drin, die mehr wortig sind, als ich sie in vogonischer Dichterei erwarten w\u00fcrde. Es haben sich mir noch nicht die Eingeweide zusammengezogen. Das fehlt ein bisschen, aber ChatGPT kann ja noch lernen.<\/p>\n<p>Helena: Ja, ich dachte auch, irgendwie sind erstaunlich viele normale W\u00f6rter da mit drin.<\/p>\n<p>Janine: Ja, falls irgendein Mensch, der uns zuh\u00f6ren sollte, was ich fast nicht glaube, aber falls ein Mensch Kontext braucht, Vogonen sind eine au\u00dferirdische Spezies, die im Anhalter durch die Galaxis die Erde gesprengt hat und nun ja, sehr stolz auf ihre Dichterei ist, wobei sie bei den meisten anderen Wesenheiten, die das All bewohnen, eher so etwas wie Kr\u00e4mpfe ausl\u00f6st, weil sie so abgrundtief schlecht ist.<\/p>\n<p>Helena: So behaupten das zumindest einige Leute. Andere Leute behaupten, das sei gar nicht so schlecht, wie der Hauptcharakter im Anhalter, der findet das okay.<\/p>\n<p>Janine: Ja, gut. Wenn man mit einer gewissen, nun ich sag mal, Demotivation gegen\u00fcber der Welt eingestellt ist, dann sind vogonische Gedichte wahrscheinlich auch nicht so das Problem. Ja, kommen wir zur\u00fcck zu ChatGPT.<\/p>\n<p>Helena: Genau, was ich ja gerade erkl\u00e4rt hatte, ist, dass GPT urspr\u00fcnglich eigentlich nur in der Lage ist, S\u00e4tze zu vervollst\u00e4ndigen oder Texte ja, zu erg\u00e4nzen. Also es endet nicht bei einem Satz, sondern kann schon ganze Texte generieren auf Basis des Eingangstextes. Das ist ja noch nicht genau das, was ChatGPT macht, weil bei ChatGPT ist das ja ein Chat, wo man Fragen stellt oder Eingangstexte gibt. Und wie das da gel\u00f6st ist, ist im Wesentlichen, dass man nicht einfach nur die Frage als Inputfrage nimmt, die man da eingetippt hat, und dann generiert das eben einen Output, eine Ausgabe, sondern man muss im Hintergrund ein Setting definieren, also einen Rahmentext erstellen, wie zum Beispiel &quot;Es gibt ein Gespr\u00e4ch zwischen Mensch und AI und der Mensch sagt, was jagt die Maus?, und dann antwortet die AI, Doppelpunkt&quot;, und das ist dann der Text, der dann weiter vervollst\u00e4ndigt wird von dem Modell. Und das ist in der Praxis, sind diese Prompts, so nennt man das auch, Prompt, also nicht nur Frage, sondern Prompt, dann durchaus komplexer. Und ja, seit es ChatGPT gibt, gibt es auch irgendwie immer wieder das Thema: der neue Berufszweig ist Prompt Engineering, also das Entwickeln von m\u00f6glichst schlauen Prompts, mit denen diese Sprachmodelle in der Lage sind, dann auch wirklich die Antwort zu geben, die man haben m\u00f6chte. Und letztlich war bei ChatGPT im Vergleich zu dem GPT-3, was davor kam, eben, dass man eine schlaue Prompt quasi hatte, die eben dieses Setting so generiert, dass es sich wie ein richtiges Gespr\u00e4ch anf\u00fchlt. Und wenn man sich andere Modelle anguckt, dann haben die eben auch verschiedene Prompts, die dann im Hintergrund bestimmte Dinge als Kontext mitliefern, den wir jetzt selber nicht noch als Kontext mitgeliefert haben. Ja, und dann vervollst\u00e4ndigt das Sprachmodell eben dieses Gespr\u00e4ch. Im Prinzip ist das Sprachmodell jetzt nicht so unendlich schlau, es kann dann ja auch anfangen, den menschlichen Teil wieder zu vervollst\u00e4ndigen. Da w\u00fcrde dann eben die Benutzeroberfl\u00e4che oder das, was man da angebunden hat, einfach dann den Text abschneiden und im n\u00e4chsten Fall dann den Kontext eben wieder so setzen, ohne diesen vom Computer generierten Teil, den der Mensch angeblich antworten w\u00fcrde. Ja, und das letzte Thema, was vielleicht noch eine Rolle spielt, ist das Training.<\/p>\n<h3>Wie werden solche Modelle trainiert? (00:10:44)<\/h3>\n<p>Helena: Wie trainiert man solche Modelle? Also letztlich sind das eben auch sogenannte Deep-Learning-Modelle, das hei\u00dft, sie werden so trainiert wie andere Deep-Learning-Modelle, dar\u00fcber reden wir jetzt hier nicht. Also mathematisch betrachtet ist der Algorithmus der gleiche, aber was jetzt Sprachmodelle im Besonderen eben auszeichnet, ist, wenn man jetzt einen Text hat, der hat 100 W\u00f6rter, dann entsprechen diese 100 W\u00f6rter schon 99 Trainingsdaten-S\u00e4tzen, weil man ja den Text an jeder beliebigen Stelle aufh\u00f6ren kann und dann im Training sagen kann, ja, sag mir jetzt das n\u00e4chste Wort voraus. Das hei\u00dft, man kann schon mit relativ wenigen Texten so ein Sprachmodell sehr effizient trainieren, also effizient im Sinne von, man braucht nicht so unendlich viele Eingangstexte. Und was dabei trainiert wird, sind eben die Gewichtungen, die eben in diesen Zwischenschritten bei der Attention verwendet werden oder auch in diesem Feed-Forward-Netz, was am Ende kommt, da gibt es auch Gewichtungen der neuronalen Netzparameter und das ist letztlich das, was dann rausf\u00e4llt, diese Gewichtungsmatrizen. In diesen Zahlen stecken letztlich auch diese Fakten drin, die eben so ein Modell benutzen kann, um damit zu arbeiten. Also es gibt eine Unterscheidung zwischen Modell, das ist, wie rechnet man, wie ist dieses neuronale Netz aufgebaut und so weiter und dann gibt es eben die Gewichtungsmatrizen, die dann tats\u00e4chlich den trainierten Zustand repr\u00e4sentieren. Und diese Gewichtungsmatrizen sind sehr abstrakt, weshalb es eben auch als sehr schwierig festzustellen gilt, welche Teile dieser Matrizen jetzt f\u00fcr welche genauen Fakten stehen. Ich meine, man kann das ja auch vergleichen mit einem menschlichen Gehirn, letztlich sind neuronale Netze ja so ein bisschen daran angelehnt. Wir wissen jetzt auch nicht, in welchen Neuronen jetzt welche Fakten genau gespeichert sind. Ja.<\/p>\n<p>Janine: Ich finde, das ist auf jeden Fall sehr sch\u00f6n dargestellt insgesamt, weil ich glaube jetzt, das auch ein bisschen besser zu verstehen, wie das aufeinander aufbaut. Und wir hatten ja in fr\u00fcheren Folgen auch schon mal auf so Sachen hingewiesen, wie die KI halluziniert sich etwas zusammen, indem halt Sachen auftauchen, die vielleicht nicht stimmen oder die halt den Fakten eben widersprechen. Und ich glaube, ich habe jetzt so ein bisschen das Gef\u00fchl daf\u00fcr, wie so etwas tats\u00e4chlich entstehen kann, weil es ja einfach nach wahrscheinlichen n\u00e4chsten Worten sucht. Also, wenn irgendwelche Kontexte irgendwann irgendwo in diesem Internet mal gegeben waren und das zu den Trainingsdaten geh\u00f6rt hat, hat das nat\u00fcrlich auch Einfluss. Und nat\u00fcrlich muss ein Wort auf ein Wort folgen. Also, die Eingabe erfordert ja eine Ausgabe, also muss da am Ende etwas stehen. Und das ist ja nur eine Vervollst\u00e4ndigung bis zu dem Punkt, wo potenziell die Eingabe ausgef\u00fchrt wurde, falls man versteht, was ich sagen m\u00f6chte. Naja, ja. Jedenfalls hoffe ich, dass ihr anderen auch, die uns hier vielleicht zuh\u00f6ren oder sehr wahrscheinlich zuh\u00f6ren, eben auch diese grunds\u00e4tzliche Arbeitsweise so ein bisschen mitgenommen habt aus dem, was bisher schon gesagt wurde und wie so die Interaktion mit Chat-GPT funktioniert, dass tats\u00e4chlich eine Ausgabe rauskommt.<\/p>\n<h3>Wie wird chatGPT im Alltag genutzt? (00:32:09)<\/h3>\n<p>Janine: Und weil diese Anwendung schon eine ganze Weile jetzt im Gebrauch ist, seit fast zwei Jahren, haben sich auch schon verschiedene Anwendungsm\u00f6glichkeiten herauskristallisiert. Ich selbst habe es noch nicht genutzt, im Sinne von noch gar nicht. Also, nie.<\/p>\n<p>Helena: Hast du nicht mal bei einer Suchmaschine schon automatisch generierten Antwortstext von der KI bekommen?<\/p>\n<p>Janine: Ich habe es nicht bewusst genutzt. Also, ich habe nie ChatGPT einen Prompt geliefert und auf eine Ausgabe gehofft. Aber nat\u00fcrlich werde ich wahrscheinlich im Hintergrund Sachen benutzt haben, ohne es zu wissen.<\/p>\n<p>Helena: Okay. Weil verschiedene Suchmaschinen ja mittlerweile, wenn man dann eine Suchanfrage reinschreibt, auch oben erstmal einen KI-generierten Antworttext zeigen, bevor dann die ganzen normalen Suchergebnisse kommen. Also, h\u00e4tte ja sein k\u00f6nnen, dass du das in der Form schon mal gesehen hast.<\/p>\n<p>Janine: Gesehen vielleicht, wahrgenommen als solches eher nicht.<\/p>\n<p>Helena: Ach so, okay.<\/p>\n<p>Janine: Da tauchen ja eigentlich manchmal auch immer schon eher, dachte ich, die irgendwelche Snippets aus Wikipedia automatisch auf, die vor\u00fcbersetzt werden und sowas.<\/p>\n<p>Helena: Genau, das gibt es auch, aber das ist es jetzt je nach Suchmaschine nicht mehr nur.<\/p>\n<p>Janine: Okay. Naja, ich habe keine eigenen Erfahrungen damit oder keine bewussten eigenen Erfahrungen, aber hin und wieder mit Menschen geredet oder Menschen zugeh\u00f6rt, die es benutzen. Und da haben sich f\u00fcr mich verschiedene Punkte herauskristallisiert. Es ist vor allem oft der berufliche Kontext und Dinge, die da halt \u00f6fter mal genannt werden, sind, dass kleine zeitraubende Aufgaben abgenommen werden k\u00f6nnen dadurch, das wei\u00dfe Blatt gef\u00fcllt wird f\u00fcr Leute, die viel mit Texten arbeiten. Also, ChatGPT bietet einen Anfangspunkt, eine Vorlage, die man dann selbst \u00fcberarbeiten oder ausbessern kann. Man kann sich Ideen generieren lassen und ja, Texte schreiben lassen, die relativ banale Inhalte haben, wo es auch nicht auf die \u00c4sthetik des Textes unbedingt ankommt. Und ja, manche benutzen ChatGPT statt Google. Also, nicht nur eine Suchmaschine, die auch KI-Ergebnisse liefert, sondern tats\u00e4chlich konkret gleich in den Chat mit einer KI treten, um Ergebnisse zu bekommen. In meiner Vorstellung war das so, vielleicht denken die Leute bei Google immer mehr an die Stichworte und bei ChatGPT kann man halt einfach eine Frage stellen, als w\u00fcrde man irgendeinen Menschen fragen. Sag mal, kannst du mir nicht mal kurz sagen, das und das? So war meine Vorstellung von ChatGPT. Liege ich da in etwa richtig? Wahrscheinlich nicht.<\/p>\n<p>Helena: Ja, also beim Googlen oder beim Benutzen verschiedener Suchmaschinen ist schon seit Jahren das Problem, dass wenn man Stichworte benutzt, man auch immer angezeigt bekommt, welche Stichworte jetzt einfach nicht benutzt wurden, weil es keine sinnvollen Suchergebnisse dazu gab. Was oft sehr frustrierend ist aus meiner Sicht, wenn man denkt, ja, okay, jetzt sind da irgendwie 20 Suchergebnisse, die passen alle \u00fcberhaupt nicht zu meinem Problem. Weil ein entscheidendes Wort nicht drin vorgekommen ist. Und fr\u00fcher konnte man das immer noch erzwingen, dass bestimmte W\u00f6rter oder Phrasen drin vorkamen und das ist \u00fcber die Zeit aber immer mehr abgebaut worden. Und gerade sowas wie Google ist ja schon seit Jahren eher dabei, auch Leuten Fragen zu erm\u00f6glichen. Also da kann man schon seit Jahren einfach Fragen reinschicken und man kriegt irgendwie Antworten. Aber mein pers\u00f6nliches Problem mit sowas wie Google ist dann oft, dass es je nachdem, in welchem Thema man sucht, einfach mit Werbung zugem\u00fcllt ist. Also nicht nur bezahlte Werbung, das ist ja okay, irgendwie m\u00fcssen die ja auch ihre ganzen Sachen finanzieren, das ist ja okay. Aber irgendwie Webseiten, die darauf ausgelegt sind, m\u00f6glichst viele Suchergebnisse oder bei m\u00f6glichst vielen Suchen m\u00f6glichst weit oben bei Google vorzukommen, die dann aber alle nicht wirklich sinnvolle Ergebnisse liefern. Also es ist sehr abh\u00e4ngig davon, was man im Internet sucht, aber bei vielen Themen kommt einfach auch bei Google und bei anderen Suchmaschinen keine sinnvolle Ausgabe mehr raus. Und an der Stelle ist ChatGPT halt viel einfacher, weil man da ja die Frage reinschreiben kann und man kriegt halt eine Antworten. Man kann sich eben auch Quellen geben lassen. Die stimmen dann auch nicht immer so hundertprozentig mit dem \u00fcberein, was man wirklich gesucht hat, weil es manchmal auch einfach keine Webseiten gibt, die exakt das Thema so behandeln, wie man es gesucht hat. Das ist dann auch ein bisschen \u00e4rgerlich. Aber wenn man dann schon mal eine Antwort von ChatGPT hat, dann ist es mit dieser Antwort auch ein bisschen leichter, dann wieder das in Suchmaschinen reinzupacken und dann zu \u00fcberpr\u00fcfen, ob die Fakten immerhin stimmen. Und was ich jetzt auch \u00f6fter gesehen habe, ist, dass bei Suchmaschinen schon ein LLM beziehungsweise so ein Sprachmodell eingebaut ist, dass es mir eben schon passende Suchergebnisse mit Quellen anzeigt, ohne dass ich jetzt ChatGPT benutzen muss. Ja, was ich dann auch, also ich hatte letzte Woche mal wieder angefangen, die Sherlock Holmes B\u00fccher zu lesen und da ist mir aufgefallen, dass Sherlock Holmes und ChatGPT sehr viel gemeinsam haben. Im ersten Buch sagt Sherlock n\u00e4mlich, dass sein Gehirn sehr effizient deduzieren w\u00fcrde, um dann irgendwelche kriminalistischen R\u00e4tsel zu l\u00f6sen. Aber um anderen verst\u00e4ndlich zu machen, wie er darauf gekommen ist, dass das doch sehr kompliziert w\u00e4re und er dar\u00fcber dann nochmal extra nachdenken m\u00fcsste. Also er kann das dann? Das ist dann der Unterschied zu ChatGPT, was dann manchmal, wenn es um die Herleitung geht, doch sehr fragw\u00fcrdig ist, um das zu erkl\u00e4ren. Aber er braucht daf\u00fcr mehr gedankliche Leistung, um auf die richtige L\u00f6sung zu kommen. Und dazu hattest du ja einen Artikel gefunden, der ChatGPT auf die Probe gestellt hat und dann die These nennt, dass das, was ChatGPT als Ergebnis erzeugt, dem kahnemanschen schnellen Denken entsprechen w\u00fcrde. Also Kahneman war ein, wie hei\u00dft diese Wissenschaft, wo es um Geld geht?<\/p>\n<p>Janine: \u00d6konom?<\/p>\n<p>Helena: Ja, genau. Kahneman war eben ein \u00d6konom, der sich angeguckt hat, wie Menschen Entscheidungen treffen und hat dann ein sehr ber\u00fchmtes Buch geschrieben, was hei\u00dft &quot;Schnelles Denken, langsames Denken&quot;. Und er hat dann eben die These aufgestellt, dass menschliches Denken eben sich in zwei verschiedenen Prozessen gliedert. Das eine ist das schnelle Denken, das ist das, was passiert, wenn ich jetzt einen Satz sage, ohne vorher genau dar\u00fcber nachzudenken, was ich sage. So, es kommt einfach raus. In einem fl\u00fcssigen Gespr\u00e4ch spricht man einfach miteinander, ohne dass man irgendwie lange Gespr\u00e4chspausen h\u00e4tte. Und wenn man jetzt eben dar\u00fcber nachdenken w\u00fcrde, warum ich jetzt genau diese W\u00f6rter in dieser Form gesagt habe, w\u00fcrde ich das ja auch nicht unbedingt k\u00f6nnen. Also das ist die Art des Denkens, die so automatisch immer mitl\u00e4uft. Und hierauf basieren ja auch Fangfragen, das Ausnutzen, dass man, wenn man nicht wirklich \u00fcber etwas nachdenkt, sondern einfach dieses schnelle Reagieren hat, dann irgendwie zu einem falschen Schluss kommt. Und dann gibt es laut Kahneman noch das langsame Denken, also das Nachdenken, wo man dann vielleicht nicht mehr auf Fangfragen reinf\u00e4llt, weil man den Fehler nach ein bisschen Nachdenken sieht, den man sonst gemacht h\u00e4tte. Ja, wo man vielleicht auch Dinge nachrechnen muss oder logische Schl\u00fcsse nochmal \u00fcberpr\u00fcfen muss oder das, was man sagt, auch schl\u00fcssig begr\u00fcndet. Und das ist das, was ChatGPT nicht kann. Und in diesem Artikel wurden eben auch entsprechend solche Szenarien generiert, wo man dann feststellt, ja, ChatGPT ist bei Fangfragen, die man sich jetzt neu ausdenkt, auch nicht so gut. Das hat nat\u00fcrlich einige gelernt. Aber wenn man sich Szenarien ausdenkt, die relativ \u00e4hnlich zu bekannten Szenarien sind, kann man es eben damit durcheinander bringen, weil es ja eben nicht nachdenken kann. Aber das schnelle Denken kann es halt schon, diese spontane Dinge auf basierender Erfahrung generieren zu lassen. Gut, ja, wie wird ChatGPT im Alltag sonst noch genutzt? Also was ich jetzt zum Beispiel schon mal gemacht habe, ist, ich hatte vor, ein bestimmtes Gericht zu kochen und wollte dann irgendwie wissen, ja, okay, ich m\u00f6chte jetzt vielleicht mal andere Gew\u00fcrze benutzen, welche k\u00f6nnte ich denn da verwenden? Und damit das einem bestimmten Kochstil entspricht, ob man jetzt irgendwie indisch kochen m\u00f6chte oder ja, chinesisch oder so, das sind dann verschiedene Gew\u00fcrze, wo ich jetzt auch nicht immer hundertprozentig wei\u00df, was genau wohin geh\u00f6rt, und dann k\u00f6nnte ich das nachfragen und dann gab es leckeres Essen daraus. Was ich jetzt auch geh\u00f6rt hatte von Wissenschaftler*innen, ist, dass sie, weil wissenschaftliche Ver\u00f6ffentlichungen halt auf Englisch sind, gerne auch den Text Korrektur gelesen bekommen von ChatGPT, weil es eben nicht nur Rechtschreibung korrigieren kann, sondern auch Grammatik. Und somit es erm\u00f6glicht f\u00fcr nicht-englische Muttersprachler, besser verst\u00e4ndliche Texte zu erstellen. Und gerade im Wissenschaftsbereich ist das ja \u00fcblich, dass das meist auf Englisch passiert, aber viele ja nicht in englischsprachigen L\u00e4ndern geboren wurden und das so perfekt k\u00f6nnen. Und da l\u00e4sst man halt nicht den Text komplett generieren, sondern nur Korrektur lesen, da guckt dann auch nochmal ein Mensch drauf, ob es auch alles immer noch Sinn macht, was da steht. Aber es erm\u00f6glicht eben Dinge, die vorher nicht so m\u00f6glich waren. Ja, im Bereich vom Programmieren habe ich das durchaus auch schon ganz oft benutzt. Hier ist es nat\u00fcrlich auch beruflich sehr interessant. Das hat allerdings ein paar Einschr\u00e4nkungen, zu denen ich sp\u00e4ter noch komme. Ein Beispiel, was ich noch habe, ist, ich habe vor ein paar Jahren mal in einem Kundenprojekt ein bestimmtes Problem gehabt, was ich l\u00f6sen wollte, oder wo ich keine sinnvolle L\u00f6sung gefunden habe, in einer propriet\u00e4ren Software, wo ich dann viel im Internet gesucht habe und verschiedene Dokumentationen gelesen habe und es nicht gefunden habe. Und jetzt hatte ich mich daran erinnert und dann habe ich zum Testen mal ChatGPT gefragt und habe sofort die richtige Antwort bekommen. Also, wenn man nach l\u00e4ngerem im Internet suchen und Dokumentationen lesen keine Antwort gefunden hat, dann sollte man vielleicht sp\u00e4testens mal ChatGPT testen. Gerade bei so Softwareproblemen sieht man ja auch sehr schnell, ob es richtig ist, was ChatGPT behauptet, weil man es einfach ausprobieren kann. Und dann habe ich diesen Sommer mal wieder Kurse an der Uni gegeben und dann festgestellt, dass j\u00fcngere Teilnehmende selbstverst\u00e4ndlich sich von ChatGPT helfen lassen und die \u00e4lteren Teilnehmenden nicht.<\/p>\n<p>Janine: Okay.<\/p>\n<p>Helena: Also, es ist offenbar, ja, wie bei vielen Computertechnologien, dass was neu ist, wird von j\u00fcngeren Leuten eher eingesetzt. Ja, und ich denke, dass ChatGPT durchaus n\u00fctzlich ist, um so Programmcode besser zu verstehen. Das Risiko, wenn man jetzt noch lernen m\u00f6chte, ist nat\u00fcrlich, dass man nicht genug lernt, um es selbstst\u00e4ndig zu verstehen. Also, man kann dann vielleicht selbstst\u00e4ndig bestimmte Programmieraufgaben gar nicht mehr l\u00f6sen, weil das ChatGPT immer f\u00fcr einen macht. Solange es die richtigen L\u00f6sungen generiert, ist das vielleicht auch okay, weil wenn das ChatGPT kann, warum muss der Mensch das dann noch machen? Braucht man ja nicht mehr. Aber sobald es komplizierter wird und spezieller, dann f\u00e4ngt ChatGPT irgendwo an, halt Dinge nicht mehr so richtig gut hinzubekommen. Also, je spezieller die Themen werden, je allgemeiner die sind, desto besser ist halt auch die Antwort. Also, kann ich, wenn man programmiert, durchaus empfehlen, wenn man eine Frage nicht sofort beantwortet bekommt, erst mal ChatGPT zu fragen. Und man kann das ja, wie gesagt, sehr schnell ausprobieren. Ja.<\/p>\n<p>Janine: Ja. Wir hatten ja auf dem Mastodon-Account gestern eine kurze Frage gestellt, wer denn so wof\u00fcr ChatGPT nutzt. Und da landete auch eine Antwort drunter, wo auch das Python-Coden mit angegeben wurde, dass eine Person das halt benutzt, um Code zu generieren, wo zwar generell bekannt ist, was er tun soll, aber die Syntax jetzt eben nicht auswendig auf dem Schirm ist. Und dann liefert halt ChatGPT sehr schnell benutzbare Dinge, die mit kurzem dr\u00fcberfliegen auch gut verifiziert werden k\u00f6nnen, wenn das schon bekannt ist, was es eigentlich leisten soll an der Stelle, der Python-Code.<\/p>\n<p>Helena: Ja.<\/p>\n<p>Janine: Und das ist halt richtige Buzzwords liefert f\u00fcr Dinge, wo man sich vielleicht selber gerade nicht so gut auskennt.<\/p>\n<p>Helena: Und dann kann man damit wieder weiter suchen im Internet.<\/p>\n<p>Janine: Genau.<\/p>\n<p>Helena: Ja, das denke ich auch. Also, ich habe das dann bei den Kursen auch genutzt, weil ich dann live immer Dinge erkl\u00e4rt habe auf dem Beamer und die Teilnehmenden wollten dann eben auch das, was ich gezeigt habe, auch zugeschickt bekommen, aber gerne mit erl\u00e4uternden Kommentaren. Daf\u00fcr habe ich dann auch ChatGPT genutzt, um eben Kommentare hinzuzuf\u00fcgen, die erkl\u00e4ren, was passiert. An einigen Stellen musste ich dann auch was dazu schreiben, die dann das Warum erkl\u00e4ren. Gerade wenn man lernt, ist es auch wichtig, dass man das Was erkl\u00e4rt bekommt, was passiert. Das hei\u00dft auch, was ChatGPT gemacht hat, ist, denke ich, hilfreich. Aber das Warum, das wei\u00df ChatGPT dann nicht unbedingt. Deswegen habe ich das dann eben noch erg\u00e4nzt. Und bei Kommentaren in Programmierungen ist es ja generell so, man will eigentlich in erster Linie das Warum reinschreiben, weil das Was, das sagt ja auch der Code, wenn man den Code verstehen und lesen kann. Aber warum man das tut, das muss man dann eben kommentieren. Und das musste ich in diesem Fall eben auch. Das konnte ChatGPT nicht. Ja, es hilft sehr viel beim Programmieren. Jetzt ist nat\u00fcrlich das Problem, wenn ich das beruflich einsetze, dass man ja die Daten an eine amerikanische Firma schickt. Und ich darf jetzt in vielen Kundenprojekten diesen Code f\u00fcr die Datenanalysen nicht einfach an andere Firmen weitergeben. Also ich habe dann einen Vertrag unterschrieben, in dem drin steht, ich muss diese Firmengeheimnisse nat\u00fcrlich f\u00fcr mich behalten. Also darf ich die mit ChatGPT schon mal nicht teilen.<\/p>\n<p>Janine: Ja.<\/p>\n<h3>Wie sieht der Datenschutz bei chatGPT aus?  (00:45:58)<\/h3>\n<p>Helena: Ja, was uns dann zu dem n\u00e4chsten Abschnitt bringt. Wie sieht denn eigentlich der Datenschutz bei ChatGPT aus?<\/p>\n<p>Janine: Ja, Datenschutz bei ChatGPT, das Thema hatten wir versprochen. Und es ist ein wahnsinnig gro\u00dfes Thema, weil da sehr viele, viele Dinge dran h\u00e4ngen, was auch gesellschaftliches und so weiter angeht, wie ich finde. Und ja, ich werde sehr an der Oberfl\u00e4che bleiben. Gucken wir mal, was am Ende bei rauskommt. Also nat\u00fcrlich ist es hier auch wie bei vielen digitalen Anwendungen eben ein Thema, weil letztlich Daten eingegeben werden, die auch personenbezogene Daten sein k\u00f6nnten. Das hatten wir in der letzten Folge bei den Gesundheitsdaten auch schon als Thema. Und bei ChatGPT ist es nochmal besonders spannend, weil diese Technologie im Prinzip von jetzt auf gleich sehr vielen Menschen zur Verf\u00fcgung stand. Also ChatGPT hat am 30. November 2022 die \u00d6ffentlichkeit betreten und war dann eben da mit allen Konsequenzen. Wir haben das ja auch mit der Bildgenerierung durch das Thema. Dort wurde dann auch danach dar\u00fcber geredet, was hat das eigentlich f\u00fcr rechtliche Konsequenzen, welche Bilder da benutzt wurden. Und so \u00e4hnliche Themen gibt es eben bei ChatGPT nat\u00fcrlich auch. Und dieses Thema ist in den letzten zwei Jahren sehr, sehr gro\u00df geworden, weswegen sich das auch gar nicht so einfach runterbrechen l\u00e4sst. Und auch allgemein in dieses Ganze, wie gehen wir als Gesellschaft mit k\u00fcnstlicher Intelligenz um auf verschiedenen Ebenen, in verschiedenen Einsatzgebieten, steckt da auch alles so ein bisschen mit drin. Und ich habe mich dazu entschieden, mal ein Zitat aus dem T\u00e4tigkeitsbericht des Datenschutzbeauftragten des Bundes zu zitieren, der dieses Jahr im M\u00e4rz erschienen ist. Und dort steht:<\/p>\n<blockquote>\n<p>&quot;Das Tempo, mit dem innerhalb weniger Monate zahllose KI-basierte Innovationen an den Start gegangen sind, hat gro\u00dfe Hoffnungen geweckt, aber auch gro\u00dfe \u00c4ngste ausgel\u00f6st. Dass KI tiefgreifende Auswirkungen auf die Gesellschaft haben kann, steht au\u00dfer Frage. KI-Systeme k\u00f6nnen bemerkenswert positive Auswirkungen auf unsere Lebensqualit\u00e4t haben, sie k\u00f6nnen aber auch Freiheiten und Rechte von B\u00fcrgerinnen und B\u00fcrgern stark beeintr\u00e4chtigen, denn die zahlreichen Vorteile basieren in der Regel auf der Auswertung von gro\u00dfen, oft auch personenbezogenen Datenmengen. Je nachdem, wie KI eingesetzt wird, birgt sie damit das Potenzial f\u00fcr Grundrechtseinschr\u00e4nkungen und Diskriminierungen. Ein hohes Ma\u00df an Transparenz und Nachvollziehbarkeit der Ergebnisse und der Prozesse maschinengesteuerter Entscheidungen, der Grundsatz der Datenminimierung, die Einhaltung der Zweckbindung, aber auch die Vermeidung von Diskriminierungen und die klare Zurechnung von Verantwortlichkeiten sind daher Grunds\u00e4tze, die die Technologiegestaltung begleiten m\u00fcssen.&quot;<\/p>\n<\/blockquote>\n<p>Janine: Das ist aus dem T\u00e4tigkeitsbericht des Jahres 2023, also quasi ein Jahr nach ChatGPT, so ein Zwischenfazit, weil es eben so sehr aus dem Nichts kam und so super anwenderfreundlich war von vornherein, mit einer sehr simplen Eingabemaske und einer Oberfl\u00e4che, die direkt funktioniert hat, hat es sich auch schon so schnell verbreitet. Und zu dem Zeitpunkt waren aber viele Fragen noch offen, was die rechtlichen Hintergr\u00fcnde und den Datenschutz der eingegebenen Informationen angeht, was zum Beispiel darin gipfelte, dass Italien im M\u00e4rz 2023 ChatGPT vor\u00fcbergehend verboten hat und es im eigenen Land gesperrt hat, wegen unklarer rechtlicher Grundlagen. Das wurde circa einen Monat sp\u00e4ter wieder aufgehoben, weil OpenAI, der Betreiber von ChatGPT, eben die gestellten Anforderungen nachgeliefert hat. Und seitdem und auch schon vorher, weil ChatGPTs Ver\u00f6ffentlichung ist ja quasi nur so eine Spitze dessen, was da an KI-Entwicklung im Hintergrund schon mehrere Jahre vorher gelaufen ist oder seit sehr, sehr vielen Jahren. Ja, das f\u00fchrte jedenfalls jetzt auch dazu, dass es den Artificial Intelligence Act der Europ\u00e4ischen Union gibt, die KI-Verordnung, wie sie, glaube ich, auf Deutsch \u00fcbersetzt wundersch\u00f6n genannt wird, die inzwischen auch unterschrieben ist und verschiedene Dinge regeln soll. Dieser AI-Act ist seit diesem Jahr am 1. August in Kraft getreten, aber die Verpflichtung, ihn auch anzuwenden, tritt erst 2026 teilweise in Kraft und zieht sich dann noch bis zum 2. August 2027. Also bis dahin wird auf die freiwillige Selbstbedingsung, ich kenne das Wort nicht, Selbstverantwortung der Institutionen, Firmen und so weiter gesetzt, die eben k\u00fcnstliche Intelligenz benutzen. Die Frage ist, ob damit denn eigentlich alles gut ist. Sind auch meine eigenen Daten gesch\u00fctzt oder welche Daten k\u00f6nnen dadurch gesch\u00fctzt werden? Naja, vermutlich ist es nicht ganz so gut, weil zum einen tritt es halt erst viel sp\u00e4ter in Kraft und das wird bis dahin so der Selbstverwaltung der Firmen \u00fcberlassen. Aber zum anderen ist es auch so, dass halt bereits jetzt zur Verf\u00fcgung gestellte Daten sich auch nicht mehr wirklich entfernen lassen. Also was schon drin ist, ist schon drin und kann nicht so einfach gel\u00f6scht werden wie ein Foto, das irgendwo auf einem Cloud-Server liegt, weil es halt verarbeitet wurde. Und das steht auch in den Nutzungsbedingungen von ChatGPT mit drin, wo sie beschreiben, wie sie den Inhalt benutzen. Da steht &quot;We can use your content worldwide to provide, maintain, develop and improve our services.&quot; Also es wird weltweit angewendet, um diesen Dienst am Laufen zu halten, ihn zu pflegen und weiterzuentwickeln. Es gibt tats\u00e4chlich auch eine Opt-out-Klausel, also falls ihr ChatGPT nutzt und einen Account habt, guckt euch die Opt-out-Klausel mal an. Allerdings ist da wiederum die Einschr\u00e4nkung wie bei jedem dieser Services, wir k\u00f6nnen dann vielleicht leider nicht mehr speziell auf dich zugeschnittene Antworten liefern. Also diese Einschr\u00e4nkung muss man dann wahrscheinlich in Kauf nehmen. Und deswegen gilt eigentlich wie bei den meisten anderen technologischen Anwendungen auch, die man einfach so im Internet benutzen kann, welche Daten wir von uns aus zur Verf\u00fcgung stellen, sollten wir uns vorher gut \u00fcberlegen. Also was erz\u00e4hle ich einem ChatGPT in der Web-Anwendung \u00fcber mich? Mein Geburtsdatum? Oder suche ich da vielleicht nach irgendwelchen Krankheitssymptomen, wie das ja auf Google oft der Fall ist und so weiter? Das sind halt alles Sachen, die man eingibt und die irgendwann ein Bild von einem Menschen auf der Welt ergeben. Vielleicht wei\u00df niemand, dass man das selber ist, aber es sind am Ende doch die personenbeziehbaren Daten, die da vielleicht drin landen. Was \u00fcbrigens um den AI-Act, wo der noch kritisiert wird, auch nochmal am Rande mitzunehmen. Nicht alle KI-Systeme werden durch diesen AI-Act gleicherma\u00dfen reguliert. Meistens die, die irgendwie in der Wirtschaft eingesetzt werden, aber gerade der Einsatz von milit\u00e4rischen KI-Systemen oder KI-Systemen zur Strafverfolgung, da sind einige Punkte wohl offen geblieben. Das hei\u00dft, so was wie jetzt zum Beispiel aus einem Artikel vom Deutschlandfunk oder einem Beitrag &quot;Gesichtserkennung im \u00f6ffentlichen Raum ist an sich mit k\u00fcnstlicher Intelligenz verboten, kann aber vielleicht dann doch f\u00fcr Strafverfolgung in Sicherheitsbeh\u00f6rden nutzbar gemacht werden.&quot; Also, der AI-Act sagt nicht, dass solche Dinge nicht passieren, er sagt nur, wer es machen darf.<\/p>\n<p>Helena: Okay.<\/p>\n<p>Janine: Ja. Und weil wir das Thema in der letzten Folge auch hatten, bei den Gesundheitsdaten, es ist \u00fcbrigens laut dem AI-Act auch verboten, die Gef\u00fchlserkennung mittels KI am Arbeitsplatz einzusetzen. Also, das geht hier schon mal nicht in der EU dann.<\/p>\n<p>Helena: Ja, diese Gef\u00fchlszustandserkennung von Menschen war so eines der ersten gro\u00dfen Beispiele vor zehn Jahren oder so, auf Basis von Bilderkennung oder auch von Texten, die man geschrieben hat, dass man dann eben den Gef\u00fchls- und Erregungszustand der Person festzustellen, weil man irgendwie, keine Ahnung, spezielle Werbung in Superm\u00e4rkten an bestimmten automatisierten Bildschirmen zeigen wollte. Also, das war eines der Themen vor zehn Jahren.<\/p>\n<p>Janine: Und eine Randnotiz habe ich noch. Weil ich eben von dem Datenschutzbeauftragten und in der letzten Folge auch gesprochen habe, das waren jeweils Zitate aus der Amtszeit von Professor Ulrich Kelber als Datenschutzbeauftragter des Bundes. Seit dem 3.9. diesen Jahres haben wir eine Datenschutzbeauftragte im Amt, n\u00e4mlich Professor Dr. Luisa Specht-Riemenschneider. Also, demn\u00e4chst werde ich dann von die Datenschutzbeauftragte reden, wenn wieder so ein Thema aufkommt. Also, nicht wundern, dass es da einfach mal kurz gesprungen ist. <\/p>\n<h2>Welche LLMs lassen sich lokal ausf\u00fchren? (00:54:26)<\/h2>\n<p>Helena: Gut, also wenn wir jetzt wissen, dass Daten weitergeben an Chats GPT je nach Situation nicht so schlau ist, ist ja gleich auch ein Thema, kann man nicht so etwas \u00e4hnliches wie ChatGPT auch einfach lokal auf dem eigenen Rechner ausf\u00fchren? Da kann ich einfach zu sagen, ja, das geht. Und das hat sich so entwickelt, dass, ja, als ChatGPT erst mal ver\u00f6ffentlicht wurde, wurden die anderen gro\u00dfen Firmen im Bereich von IT, sowas wie Facebook und Google und Apple, erst mal sehr \u00fcberrascht davon, dass es jetzt dieses Produkt gibt, was so stark ja einem Hype unterlegt, dass sie dachten, okay, wir m\u00fcssen auch alle in diesem Bereich arbeiten. Und Facebook, beziehungsweise die Muttergesellschaft, die sich da mittlerweile gegr\u00fcndet hat, namens Meta, hat dann im M\u00e4rz 2023 ein eigenes Modell entwickelt mit dem Namen Llama. Und das wurde f\u00fcr Wissenschaftler*innen zur Verf\u00fcgung gestellt. Und die Ver\u00f6ffentlichung gab es dann ohne eben diese trainierten Gewichtungen. Die Gewichtsmatrizen waren nicht dabei. Das hei\u00dft, man h\u00e4tte es immer noch selber trainieren m\u00fcssen. Aber diese Gewichtungen, diese trainierten Daten wurden dann geleakt und \u00fcber BitTorrent-Netzwerke verteilt, sodass es dann pl\u00f6tzlich frei verf\u00fcgbar war, weil das Modell selber war ja schon offen. Dann waren jetzt auch noch die Gewichtungen, also die trainierten Daten, standen zur Verf\u00fcgung, wenn auch nicht unbedingt legal. Aber das hat dann dazu gef\u00fchrt, dass sehr viele Leute eben angefangen haben, sich auf Basis dieses Modells mit diesen Large Language Models zu befassen, also mit den gro\u00dfen Sprachmodellen, das ja oft LLM abgek\u00fcrzt wird. Deswegen ja auch der Name Llama mit Doppel-L, weil das einfach sehr naheliegend ist. Ja, Meta hat dann festgestellt, ja, das ist ja eigentlich gar nicht so schlecht, wenn so viele Leute auf Basis der eigenen LLMs Dinge lokal laufen lassen. Machen wir das doch weiterhin so und ver\u00f6ffentlichen die Modelle unter einer relativ offenen Lizenz. Und das ist seitdem auch mehrfach passiert. Und was jetzt ist diese Lizenz halt eben erm\u00f6glicht, dass man es einfach privat benutzen kann, aber keine kommerzielle Nutzung. Daf\u00fcr m\u00fcsste man eben eine kommerzielle Lizenz erwerben. Das werden sicherlich viele Leute auch nicht machen, die das benutzen. Aber gerade f\u00fcr Firmen, die dann eigene LLMs verwenden wollen, ist das nat\u00fcrlich dann interessant. Das hei\u00dft, dieses Gesch\u00e4ftsmodell ist f\u00fcr Meta durchaus interessant. Dann gibt es allerdings auch noch andere Firmen, die auf diesen Zug aufgesprungen sind. Unter anderem eine franz\u00f6sische Firma namens Mistral AI. Die haben ein Modell ver\u00f6ffentlicht mit dem Namen Mistral. Das ist unter der Apache-Lizenz ver\u00f6ffentlicht. Das hei\u00dft, es darf auch kommerziell benutzt werden und einfach weitergegeben werden. Diese Firma hat jetzt wiederum auch dann noch ein Speziell f\u00fcr Programmierer... ein Modell ver\u00f6ffentlicht namens Codestral, das dann wiederum aber keine kommerzielle Nutzung erlaubt, das Lizenzmodell daf\u00fcr. Gut, ich habe es trotzdem einmal ausprobiert. Ich hatte ja vorhin gesagt, dass ich meinen R-Code aus einem Kurs habe kommentieren lassen von ChatGPT. Ja, das habe ich eben auch mit diesem Codestral ausprobiert. Und dann hatte es sich erstmal beschwert, dass es ja nur Python k\u00f6nne und von R nicht so viel versteht. Und es war auch nicht in der Lage, mir irgendwie Kommentare dazu zu schreiben. Es hat versucht, in einem Flie\u00dftext ein bisschen den Code zu erkl\u00e4ren. Aber das war \u00fcberhaupt nicht die Aufgabe, die ich dem gegeben habe. Das war dann ein bisschen entt\u00e4uschend. Von daher ist es jetzt auch egal, ob ich das kommerziell nutzen darf oder nicht. Also wenn ich jetzt Dinge in einem Kundenprojekt nutze, dann ist das ja schon automatisch kommerzielle Nutzung, weil ich damit ja Geld verdiene.<\/p>\n<h3>Wie verwende ich LLMs lokal? (00:58:23)<\/h3>\n<p>Helena: Gut, aber wenn ich das jetzt mache, wie mache ich das dann? Es gibt ein Tool namens &quot;Ollama&quot;. Das ist nat\u00fcrlich dann auch so benannt wegen dem Llama-Modell. Und Ollama ist dann wiederum ein Tool, das ist jetzt selber kein Sprachmodell, sondern es ist eine Software, die im Prinzip erm\u00f6glicht, verschiedenste Sprachmodelle auszuf\u00fchren und leicht zugreifbar zu machen. Und damit lassen sich eben diese Sprachmodelle auf dem lokalen Rechner herunterladen und ausf\u00fchren. Und standardm\u00e4\u00dfig hat das Ganze ein einfaches Textinterface in einer Kommandozeile. Das hei\u00dft, es ist jetzt nicht so ultra benutzerfreundlich. Deswegen habe ich dazu noch ein Tool installiert namens &quot;OpenWebUI&quot;, was dann eine Benutzerschnittstelle, die so aussieht wie ChatGPT zur Verf\u00fcgung stellt. Und das funktioniert eben auch mit verschiedenen Sprachmodellen im Hintergrund. Man k\u00f6nnte sogar ChatGPT da einbinden. Ja, dann l\u00e4sst sich das Ganze einfach benutzen, quasi. Man kann einfach &quot;Mystril&quot; oder &quot;Llama 3&quot; herunterladen und damit chatten. Dann habe ich noch ein Plugin f\u00fcr den Code-Editor Visual Studio Code oder &quot;VS Code&quot;. Das hat den Namen &quot;Continue&quot;. Und was dieses Plugin erm\u00f6glicht, ist, dass man direkt im Code-Editor eben Vervollst\u00e4ndigungsvorschl\u00e4ge hat. Also es gibt ja... gab ja auch vorher schon Autovervollst\u00e4ndigungen von bestimmten Befehlen und so weiter in solchen Code-Editoren. Aber das Ganze ist dann eben AI-basiert. Und das Interessante ist jetzt, dass dieser Code-Editor auch in der Lage ist, dann den gesamten Code einzulesen in einem Projekt und dann auch Fragen anhand von dem eigenen Code zu beantworten. Das hei\u00dft, man kann dann auch Programmcode generieren lassen, der tats\u00e4chlich mit der eigenen Software klarkommt und darauf basiert. Weil wenn das jetzt eine Software ist, die jetzt nicht \u00f6ffentlich verf\u00fcgbar ist, dann k\u00f6nnen die Sprachmodelle ja nicht darauf trainiert worden sein und k\u00f6nnen einem dazu, wie man das benutzt, keine sinnvollen Antworten geben. Aber dadurch, dass das Ganze eben den Code analysiert und dann eben die richtigen Dateien mit als Kontext liefert, wenn man die Frage dahin schickt, bekommt man durchaus sehr hilfreiche Aussagen zu dem eigenen Code. Oder was man auch machen kann, ist, wenn man jetzt in ein neues Projekt reinkommt, wo man noch nicht eingearbeitet ist, dass man mithilfe von diesen Modellen in der Lage ist, erstmal zu verstehen, was hier eigentlich passiert, ohne dass man den Code selber lesen muss. Ja, was hier noch relevant ist, ist, es gibt, wenn man das selber ausf\u00fchren will, zwei begrenzende Faktoren. Das eine ist der Arbeitsspeicher und das andere ist die parallele Rechenkapazit\u00e4t. Und da gibt es jetzt zwei verschiedene Systeme, die das jeweils gut k\u00f6nnen. Also, viele Computer haben ja Grafikkarten, weil sie Dinge anzeigen sollen auf einem Bildschirm. Aber es gibt dann eben spezielle Spiele-Grafikkarten, die besonders schnell sehr viele Dinge parallel rechnen k\u00f6nnen und das ist etwas, was n\u00f6tig ist f\u00fcr diese Sprachmodelle. Der Nachteil von diesen Grafikkarten ist allerdings, dass sie relativ wenig Arbeitsspeicher haben, aber diese Sprachmodelle relativ gro\u00df sind. Wenn man jetzt zum Beispiel 8 GB Arbeitsspeicher in der Grafikkarte hat, dann kann man aber schon verschiedene Modelle ausf\u00fchren. Insbesondere Llama 3 hat verschiedene Modelle, die dann ganz einfach laufen. Aber insbesondere die kleineren Llama-Modelle laufen auch mit okayer Geschwindigkeit auf Computern ohne Grafikkarte, wenn diese viele Prozessorkerne haben. Und der Vorteil da w\u00e4re theoretisch, dass man in einem normalen Rechner sehr schnell auch sehr viel RAM haben kann, aber die gro\u00dfen Sprachmodelle, die dann auch eigentlich bessere Ergebnisse liefern, also die gr\u00f6\u00dferen Sprachmodelle hier, das sind ja alles gro\u00dfe Sprachmodelle, die sind dann deutlich langsamer. Die verbrauchen nicht nur mehr RAM, sondern brauchen auch deutlich l\u00e4nger f\u00fcr die Ergebnisse. Da wei\u00df ich jetzt nicht, ob man die \u00fcberhaupt auf normalen Computern laufen lassen will, au\u00dfer man m\u00f6chte es einmal kurz ausprobieren. Ja, ich meinte ja gerade so, die Sprachmodelle sind ja dann in der Regel nicht auf eigener interner Software trainiert worden. Das l\u00e4sst sich jetzt allerdings nat\u00fcrlich nachholen, weil wenn man eben diese Gewichtungsmatrizen hat, dann ist das ja ein Startpunkt, um dann weiterzulernen. Und eine wichtige Sache, die man mit all diesen Sprachmodellen, insbesondere die, die man halt lokal benutzen kann, machen kann, ist, ja, sie weitertrainieren und spezialisieren. Das hat zum Beispiel den Vorteil, dann kann man es halt auf einem kompletten, gro\u00dfen Softwareprojekt trainieren, statt immer nur einzelne Dateien, die noch in diese Kontextl\u00e4nge passen, die man mitgeben kann, mitzugeben. Und dieses Weitertrainieren von Sprachmodellen auf bestimmte Anwendungen nennt sich dann &quot;Finetuning&quot;. Und damit lassen sich eben f\u00fcr bestimmte Anwendungen Sprachmodelle optimieren. Und au\u00dferhalb der Programmierung w\u00e4re zum Beispiel ein sehr gutes Beispiel f\u00fcr dieses Finetuning, dass man spezialisierte Anwendungen machen kann, wie zum Beispiel, wenn eine Firma ein Chatbot im Kundensupport einsetzen will, dann kann man ja auf Basis der Antworten, die bisher die menschlichen Personen auf bestimmte Kundenanfragen gegeben haben, eben trainieren, weiter trainieren und dann generiert man sich dann eben einen Chatbot, der hilfreichere Antworten gibt als die Systeme, die vorher schon computergenerierte Textbl\u00f6cke haben, die oft fertiggeschrieben waren und gar nicht auf die Probleme, die man hatte, wirklich geantwortet haben. Ein Risiko nat\u00fcrlich, wenn man auf Vergangenheitsdaten irgendwie sowas trainiert, ist, wenn jetzt ein Produkt neu auf den Markt kommt, was eine Frage, die h\u00e4ufiger kam, abdeckt und man hatte vorher viele Supportanfragen, die dieses Produkt oder dieses Feature haben wollten und dann war immer die Antwort &quot;Nein&quot;, dass nat\u00fcrlich dann auch das Sprachmodell erstmal lernt. Die Antwort ist wahrscheinlich &quot;Nein&quot;, aber es gibt jetzt dieses Produkt. Da muss man dann eben aufpassen, wenn man solche Spezialisierungen macht, dass das Ding auch tats\u00e4chlich faktenm\u00e4\u00dfig mit dem aktuellen Zustand \u00fcbereinstimmt. Aber das l\u00e4sst sich ja durchaus machen.<\/p>\n<p>Janine: Ich stelle mir das mit der Spezialisierung ein bisschen so vor, du l\u00e4sst die unn\u00fctzen Sachen mit der Zeit weg und trainierst nur noch auf das, was du wirklich brauchst und haben willst und am Ende hast du einen wunderbaren Fachidioten.<\/p>\n<p>Helena: Ja, aber ich glaube, das ist auch vern\u00fcnftig. Also im Moment l\u00e4uft ChatGPT ja auf dem Level, ja, man hat ein ChatGPT und das kann irgendwie alles so ein bisschen. Aber wenn man eben spezialisierte Netze, also Sprachmodelle hat, dann brauchen die auch weniger Ressourcen, wenn sie laufen und k\u00f6nnen trotzdem gute Ergebnisse liefern.<\/p>\n<p>Janine: Ja.<\/p>\n<p>Helena: Und eine Frage, die ich mich auch stelle, weil das auch immer wieder ein Thema ist, den man im Bereich KI so bei Bildgenerierung oder Textgenerierung h\u00f6rt, ist, ja, jetzt werden so viele Texte von diesen Sprachmodellen erzeugt. Kommt man irgendwann an den Punkt, wo die wieder d\u00fcmmer werden, weil sie mit ihren eigenen Texten gef\u00fcttert werden? Und da frage ich mich dann, hat man nicht schon fast den Punkt erreicht, wo die gut genug sind, dass man eigentlich nur noch neue Fakten reinbekommen muss, weil sich, keine Ahnung, die Welt halt ver\u00e4ndert. Aber braucht man wirklich die Menge an neuen Daten jetzt auch noch f\u00fcr das Training? Also ich bin mir da nicht so sicher.<\/p>\n<p>Janine: Ja, also ich kann mir vorstellen, dass es irgendwann vielleicht jetzt nicht unbedingt d\u00fcmmer werden, aber ein Bias erhalten bleibt, der weiterhin angewendet wird, weil er in den Trainingsdaten eben vorhanden war, aber die Gesellschaft eigentlich gar nicht mehr betrifft. Also ich denke da an so was wie neuronale Netze, die die Kreditw\u00fcrdigkeit von Menschen beurteilen, wobei Frauen meistens schlechter abschneiden, weil sie fr\u00fcher schlicht und ergreifend keine Bankkonten hatten und deswegen ihre Kreditw\u00fcrdigkeit nicht nachgewiesen werden konnte. Und dass es auch in den letzten Jahren noch F\u00e4lle gab, wo Frauen, die auch gut verdienen, \u00fcber einen langen Zeitraum hinweg keine Kredite bekommen, weil der Algorithmus sagt, nee, also die Vergangenheit hat gezeigt, dass Frauen nicht so gut mit Geld sind. Also ich glaube, das ist eher vielleicht so ein Problem, dass ja dadurch, dass auch die OpenAI Menschen selber sagen, wir wissen nicht final, wie Entscheidungen getroffen werden und wie das alles sich gegenseitig beeinflusst. Das ist eine Blackbox in die wir nicht richtig reingucken k\u00f6nnen. Dass ich mir halt vorstellen kann, dass solche Biases auf verschiedenen Ebenen erhalten bleiben k\u00f6nnen \u00fcber eine gewisse Zeit.<\/p>\n<p>Helena: Ja, die sind nat\u00fcrlich in den ganzen Sprachmodellen auch noch drin vorhanden. Wenn man jetzt einfach nur, keine Ahnung, \u00fcber Programmierung oder sowas nachdenkt, dann spielt das vielleicht nicht so eine gro\u00dfe Rolle. Aber je nach Thema, mit dem man sich befasst, ist dann der Bias oder die Vorurteile, die da eintrainiert sind, spielen dann eine gr\u00f6\u00dfere Rolle. Und muss man dann schon ber\u00fccksichtigen, dass man die reproduziert.<\/p>\n<p>Janine: Ja.<\/p>\n<p>Helena: Ja, und man kann auch immer nur sagen, alles was irgendwie ChatGPT oder ein anderes Sprachmodell ausgibt, muss man entweder mit eigenem Fachwissen nochmal \u00fcberpr\u00fcfen oder irgendwie eine Plausibilit\u00e4tspr\u00fcfung machen, dass das auch stimmt. Dem einfach so zu vertrauen, ist unangemessen. Auch wenn die aktuellen Versionen von ChatGPT schon deutlich besser sind als die erste, die es gab, ist trotzdem immer, ja, eine gesunde Menge Misstrauen anzuwenden. Das ist ein sehr n\u00fctzliches Tool, aber man sollte sich \u00fcber die Grenzen im Klaren sein.<\/p>\n<p>Janine: Das klingt schon fast wie ein Fazit.<\/p>\n<h3>Fazit (01:08:18)<\/h3>\n<p>Helena: Ja, Fazit. Also mein Fazit ist, ChatGPT bzw. andere Sprachmodelle sind aus meinem Alltag jetzt nicht mehr wegzudenken. Daf\u00fcr benutze ich es inzwischen doch zu oft. Und ja, zusammenfassend kann man auch sagen, ChatGPT generiert immer nur ein Wort bzw. ein Token auf einmal, nimmt dann den gesamten Satz, der da jetzt steht, mit dem neuen Wort als Input. Das Ganze wird dann eben durch diesen Attention-Mechanismus durchgeschleift und \u00fcber diesen Mechanismus und den neuronalen Netzen, die danach noch kommen, werden eben Fakten und Beziehungen zwischen W\u00f6rtern angewendet. Und dann ist es auch in der Lage, eben Beziehungen festzustellen zwischen Begriffen, die nicht in den Eingangsdaten beim Training drin gewesen sein m\u00fcssen.<\/p>\n<p>Janine: Also mein Fazit ist auf jeden Fall, ich fand das mit dem schnellen Denken und langsamem Denken sehr interessant, diesen Vergleich, dass halt ja ChatGPT im Prinzip relativ in Anf\u00fchrungszeichen intuitiv, also gro\u00dfe Anf\u00fchrungszeichen, etwas ausgibt. Also wie, als w\u00fcrden wir als Menschen einfach dahinreden und vorher nicht genau \u00fcberlegen, wie der Satz endet. Und dass zwar die Kontexte, um diesen Satz zu erzeugen, eine Rolle spielen, aber eben ChatGPT nicht in der Lage ist, tiefer dar\u00fcber nachzudenken oder im R\u00fcckblick nochmal zu verifizieren, was habe ich da eigentlich gesagt. Im Vergleich zu Sherlock Holmes, der nur meistens keinen Bock hat...<\/p>\n<p>Helena: Ja, genau.<\/p>\n<p>Janine: genau das zu tun. Ja, ich finde auch immer noch das mit der spezialisierten Anwendung sehr interessant. Also ich glaube, eine der Antworten, die wir auch auf Mastodon bekommen hatten, hat auf Goblin Tools verwiesen. Goblin Tools ist f\u00fcr mindestens neurodivergente Menschen eine sehr freundliche Seite, wo man zum Beispiel einen Text eingeben kann, auch auf Basis von OpenAI Modellen, die einem das, was einem so durch den Kopf spukt und man gerne sagen w\u00fcrde, zum Beispiel auf eine sch\u00f6ne formale Art und Weise ausdr\u00fccken kann. Also du gibst den Eingangstext ein, das sind meine Gedanken, ich muss das aber jemandem schicken, mit dem ich irgendwie h\u00f6flich reden muss. Also mach das mal eine Spur formeller, so in die Richtung. Oder halt ein Professor hat mir etwas erkl\u00e4rt, das ich nicht verstehe, \u00fcbersetzt das mal f\u00fcr mich und brich das mal runter ...<\/p>\n<p>Helena: Ja.<\/p>\n<p>Janine: ... so in die Richtung. Das funktioniert wohl auch \u00fcber OpenAI und fand ich auch einen ganz netten Hinweis.<\/p>\n<p>Helena: Ja.<\/p>\n<p>Janine: Wie sowas auch im Alltag noch anders eingesetzt werden kann, wo es vielleicht auch wirklich eine Verk\u00fcrzung ist oder Blockaden l\u00f6sen kann, um irgendwie von A nach B zu kommen, gedanklich oder in Handlung.<\/p>\n<p>Helena: Ja, gerade wenn man irgendwie Texte schreibt in einem Bereich, wo wirklich auch die formalen Kriterien eine Rolle spielen, die halt nicht nur im freundschaftlichen Bereich sind, sondern eben vielleicht ja Bekannte, wo man sich an bestimmte Regeln halten muss.<\/p>\n<p>Janine: Ja.<\/p>\n<p>Helena: Wo man dann auch immer nicht, wenn man es dann doch zu selten macht, immer nicht hundertprozentig wei\u00df, ja, wie mache ich das jetzt? <\/p>\n<p>Janine: Ja, diese f\u00fcnf Zeilen E-Mail kosten f\u00fcnf Minuten Lebenszeit. Nein, 15.<\/p>\n<p>Helena: Ja, wenn man vorher schon mit Google nach irgendwelchen Geburtstagsspr\u00fcchen f\u00fcr Geburtstagskarte gesucht hat, kann man jetzt halt mit ChatGPT erstellen.<\/p>\n<p>Janine: Genau, wor\u00fcber wir nicht geredet haben, auch sehr bewusst nicht, weil ihr seht, das Thema ist schon jetzt sehr lang und umfangreich, sind nat\u00fcrlich andere Sachen. Also wir haben es ganz kurz in Nebens\u00e4tzen gehabt. Es ist unglaublich energieaufwendig. Es hat ein paar gesellschaftliche Schwierigkeiten und der Umgang mit der Technologie von k\u00fcnstlicher Intelligenz bringt auch immer so Sachen mit sich. Dar\u00fcber haben wir jetzt nicht geredet. Wir haben uns konkret auf, wie funktioniert es und wie wird es angewendet und was kann es da leisten?, konzentriert mit Absicht. Aber wir sind uns der anderen Themen im Hintergrund durchaus bewusst.<\/p>\n<h3>N\u00e4chste Folge: im Dezember (01:12:11)<\/h3>\n<p>Helena: Gut, das war das Thema Chats GPT und die n\u00e4chste Folge kommt nicht im November, denn da werden wir einmal eine Folge aussetzen, sondern sie kommt im Dezember und aktuell wissen wir noch nicht, welches Thema uns wir da vornehmen. M\u00f6glicherweise wird es eine Jahresr\u00fcckblicksfolge, wie wir sie oft hatten, aber vielleicht kommt die auch erst im Januar und uns f\u00e4llt noch ein anderes gutes Thema vorher ein.<\/p>\n<h3>Call to Action (01:12:39)<\/h3>\n<p>Janine: Genau, und wenn ihr nicht verpassen wollt, wie es weitergeht oder die vorherigen Folgen nachh\u00f6ren m\u00f6chtet, dann folgt uns doch gerne unter @datenleben@podcasts.social auf Mastodon oder guckt auf unserer Webseite vorbei www.datenleben.de. Dort k\u00f6nnt ihr uns nat\u00fcrlich auch gerne Feedback hinterlassen oder per E-Mail, falls ihr lieber E-Mails schreibt. Wir freuen uns \u00fcber beides und nat\u00fcrlich auch \u00fcber Themenvorschl\u00e4ge. Und falls euch unsere Arbeits- und Denkweise gef\u00e4llt, k\u00f6nnt ihr uns nat\u00fcrlich auch als Data Scientists f\u00fcr Analysen oder Projekte buchen. Das war's f\u00fcr dieses Mal.<\/p>\n<p>Helena: Ja, dann bleibt mir nur noch f\u00fcr eure Aufmerksamkeit zu danken und bis zum n\u00e4chsten Mal. Ciao!<\/p>\n<p>Janine: Tsch\u00fcss!<\/p>\n<h3>Outro (01:13:19)<\/h3>\n","protected":false},"author":2,"featured_media":891,"comment_status":"open","ping_status":"open","template":"","meta":{"footnotes":""},"tags":[],"class_list":["post-889","podcast","type-podcast","status-publish","has-post-thumbnail","hentry","post"],"_links":{"self":[{"href":"https:\/\/www.datenleben.de\/index.php\/wp-json\/wp\/v2\/episodes\/889","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.datenleben.de\/index.php\/wp-json\/wp\/v2\/episodes"}],"about":[{"href":"https:\/\/www.datenleben.de\/index.php\/wp-json\/wp\/v2\/types\/podcast"}],"author":[{"embeddable":true,"href":"https:\/\/www.datenleben.de\/index.php\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.datenleben.de\/index.php\/wp-json\/wp\/v2\/comments?post=889"}],"version-history":[{"count":1,"href":"https:\/\/www.datenleben.de\/index.php\/wp-json\/wp\/v2\/episodes\/889\/revisions"}],"predecessor-version":[{"id":890,"href":"https:\/\/www.datenleben.de\/index.php\/wp-json\/wp\/v2\/episodes\/889\/revisions\/890"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.datenleben.de\/index.php\/wp-json\/wp\/v2\/media\/891"}],"wp:attachment":[{"href":"https:\/\/www.datenleben.de\/index.php\/wp-json\/wp\/v2\/media?parent=889"}],"wp:term":[{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.datenleben.de\/index.php\/wp-json\/wp\/v2\/tags?post=889"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}