Die Kunst des Halluzinierens: Wie KIs denken!
Shownotes
🎙️ Über den 'Vor der Welle Ai' Podcast Moderiert von: Christoph Kwiatkowski & Katharina Mager-Micijevic
📝 Konzept: 'Vor der Welle Ai' ist ein Podcast, der sich tiefgründig mit der KI-Revolution und ihren vielschichtigen Auswirkungen beschäftigt. Chris und Katha führen Gespräche, die über die Oberfläche hinausgehen und sich den dringend benötigten Reflexionen widmen. In einer Welt, in der das Thema KI so groß und komplex ist, mit vielen offenen Fragen, ist es unerlässlich, sich ständig zu hinterfragen und zu verstehen, was diese Revolution auslöst und wie wir uns darin neu definieren und positionieren können.
🎉 Inhalt: Es gibt keine Nachrichten, sondern eine offene, ehrliche und reflektierende Diskussion über alle Aspekte der KI: die Chancen, die Risiken und die großen philosophischen Fragestellungen unserer Zeit. Wir nähern uns diesen Fragen, auch wenn wir sie vielleicht nicht endgültig beantworten können, aber wir streben danach, ein tieferes Verständnis zu erreichen – genau so, wie wir auch ohne Mikrofon darüber sprechen würden.
🤝 Gäste: Der Podcast wird regelmäßig Gäste einladen, die ihre eigenen, noch unbeantworteten Fragen und Gedanken mitbringen – aus ihrer jeweiligen Branche, ihrem Fachgebiet und ihrer persönlichen Lebensrealität. Diese vielfältigen Perspektiven bereichern die Diskussion und bieten einen realen Einblick in die unterschiedlichen Facetten der KI.
🔗 Verbindet euch mit uns:
- LinkedIn: Vorderwelle.ai LinkedIN
- Instagram: Vorderwelle.ai Instagram
- YouTube: Vorderwelle.ai YouTube
- Webseite: www.vorderwelle.ai
🌊 Über Vor der Welle Ai: Bei Vorderwelle.ai sind wir Pioniere in der KI-Integration. Unsere Leidenschaft ist es, Unternehmen jeder Größe mit maßgeschneiderten Strategien zu unterstützen, um KI effektiv zu nutzen. Wir legen großen Wert auf ein tiefes Verständnis und Akzeptanz von KI, wobei wir die Bedenken und Risiken sorgfältig abwägen. Unser Ansatz ist zukunftsorientiert, verantwortungsbewusst und progressiv. Wir streben danach, unsere Kunden sicher und erfolgreich durch den digitalen Wandel zu führen, indem wir innovative, zugängliche KI-Lösungen bereitstellen.
Transkript anzeigen
01:00:00: Deine KI denkt sich Dinge aus.
01:00:02: Chat GPT erfindet Fakten.
01:00:08: Du hast ein Ordner-System auf deinem
01:00:10: Computer, wo du die merken kannst, wo
01:00:12: habe ich welche Sachen abgelegt.
01:00:13: Das ist langweilig.
01:00:16: Jetzt haben wir Technologie, die das
01:00:18: alles nicht tut, sondern wenn du sie
01:00:20: über's fragst, dann erschafft sie das.
01:00:23: Und das ist auch ein Denkfehler, den
01:00:25: Leute annehmen, die fragen dann, wann
01:00:26: wurde die Allianzversicherung gegründet?
01:00:28: Und die denken, Chatchi-Biti, guck jetzt
01:00:30: nach irgendwo, dann liest der und dann
01:00:32: gibt der dir das quasi kopiert er das da
01:00:34: raus und kopiert's dir rein.
01:00:36: Das ist nicht so.
01:00:38: Ich habe das aber wirklich oft, wenn ich
01:00:40: auf der Autobahn bitte und dann bin ich
01:00:42: abgefahren und dann denke ich, Moment war
01:00:44: ich nicht gerade noch auf der Autobahn.
01:00:45: Das langsame Denken ist
01:00:47: quasi dieses System 2.
01:00:49: Das, was sich abgeschaltet
01:00:50: hat bei dir auf der Autobahn.
01:00:52: Und System 1 ist das schnelle Denken.
01:00:53: Das ist der Autopilot.
01:00:55: Diesen automatischen, reflexhaften,
01:00:58: unglaublich leistungsfähigen Modus.
01:01:00: Den haben wir digital abgebildet.
01:01:04: Nur den hat künstliche Intelligenz.
01:01:09: Und deswegen sagen wir, das was wir den
01:01:10: Leuten beibringen, ist ja hauptsächlich,
01:01:13: du musst die Verantwortung übernehmen.
01:01:15: Wenn du damit arbeitest, musst dein
01:01:16: System 2 auf Hochtouren laufen.
01:01:19: Du musst nämlich das für den machen.
01:01:21: Also es ist eine Ideenmaschine.
01:01:24: Eine Dreammaschine, die Dinge erschafft,
01:01:27: die uns inspirieren.
01:01:29: Das unterliegt auch Fehlern.
01:01:31: Das unterliegt Verzerrungen und es ist
01:01:34: spontan und unreflektiert.
01:01:37: Und heute unterhalten wir uns darüber,
01:01:39: warum das das absolute
01:01:41: Lieblingsfeature von uns beiden ist.
01:01:46: Hi Chris.
01:01:47: Hi Gatte.
01:01:47: Hast du gut geschlafen?
01:01:49: Ja schon.
01:01:50: Ich frag so du, weil ich mich vor allem
01:01:51: dafür interessiere, was du
01:01:53: geträumt hast heute Nacht.
01:01:54: Weißt du das noch?
01:01:56: Ganz grob.
01:01:56: So wie es bei Träumen manchmal ist, man
01:01:58: hat so eine Ahnung und ein paar Bilder
01:02:00: sind noch da, aber ich kann dir keine
01:02:01: Story mehr erzählen.
01:02:03: Ich kann mich auch nicht erinnern.
01:02:04: Ich kann mich auch nicht
01:02:05: erinnern, was ich geträumt habe.
01:02:07: Ich habe nur gestern Abend gedacht, dass
01:02:08: es wieder cool für die heutige Folge,
01:02:11: wenn ich mich an meinen Traum erinner.
01:02:13: Aber tatsächlich ist alles, da grenzt du
01:02:16: schon jetzt, tatsächlich ist alles
01:02:19: schwarz, ich erinnere mich nicht.
01:02:21: Aber das, ja, ich war auch sehr müde.
01:02:23: Aber dir ist klar,
01:02:24: warum ich dich frage, oder?
01:02:26: Jetzt weißt du warum.
01:02:28: Was hat wohl Träumen mit
01:02:29: künstlicher Intelligenz zu tun?
01:02:32: Und die Antwort ist wirklich viel.
01:02:36: Weil wir haben ja diese digitalen
01:02:40: Intelligenzen nach unserem Gehirn, quasi,
01:02:45: oder inspiriert von
01:02:46: unserem Gehirn gebaut.
01:02:48: Und das sind Dream
01:02:50: Machines, die erschaffen Dinge.
01:02:54: Und das ist irgendwie der größte Punkt.
01:02:59: Das ist das, worum es eigentlich geht und
01:03:01: ganz verrückterweise.
01:03:03: Ich habe das in Vorbereitung für heute
01:03:05: mal ein bisschen ge-googelt.
01:03:07: Ist das auch das, was man am
01:03:09: allerhäufigsten als Kritik liest?
01:03:11: Und zwar in Form von The
01:03:13: Danger of Hallucination.
01:03:16: Deine KI denkt sich Dinge aus.
01:03:19: Chatchity erfindet Fakten.
01:03:22: Und heute unterhalten wir uns darüber,
01:03:26: warum das das absolut liebe
01:03:29: Lieblingsfeature von uns beiden ist.
01:03:31: Und eigentlich für jeden auch sein
01:03:32: sollte, dass die Hallucinieren, dass die
01:03:35: Träumen und sich Dinge ausdenken.
01:03:39: Darum geht es für
01:03:40: diese ganzen Technologie.
01:03:42: Ich glaube, wir werden auch später noch
01:03:45: ein bisschen tiefer in dieses, wie wir
01:03:47: darauf kommen, und warum Träumen und wie
01:03:51: das alles so ein bisschen zusammenhängt.
01:03:53: Aber ich dachte, ich starte mal mit
01:03:56: meiner Anekdote, die ich jetzt total mit
01:04:00: Hallucination und Chatchity verbinde.
01:04:03: Ich habe damals im Studium, hatte ich ein
01:04:08: Rhetorikdozenten und der hat mit uns
01:04:10: Bullshit-Karaoke gespielt.
01:04:12: Hast du das schon mal gehört?
01:04:15: Das ist also Rhetorikkurs.
01:04:18: Wir sollten lernen, wie wir uns
01:04:19: artikulieren und Referate
01:04:20: halten und so was alles.
01:04:22: Und er hat dann den Monitor an die Wand
01:04:28: angemacht und hat einen
01:04:30: einfach nach vorne gebeten.
01:04:32: Immer zum Anfang vom Kurs hat da
01:04:33: irgendjemand rausgepickt und hat eine
01:04:37: Powerpoint angemacht, die er selber nicht
01:04:39: kannte und die auch
01:04:41: die Person nicht kannte.
01:04:42: Und das war dann irgendwie die
01:04:43: Herstellungsverfahren beim Hundefutter
01:04:45: und Qualitätsmanagement oder so.
01:04:47: Und dann mussten wir nach vorne und sehr,
01:04:52: sehr überzeugend, also die Aufgabe war so
01:04:55: überzeugend, wie möglich, diese 2,5
01:04:58: Minuten durchzuziehen.
01:05:00: Also es waren so, ich glaube, irgendwie 5
01:05:01: bis 6 Folien und dann immer so ein Timer,
01:05:04: 20 bis 30 Sekunden auf
01:05:05: einer Folie zu bleiben.
01:05:07: Das heißt, wir konnten auch nicht lange
01:05:08: auf die Folie gucken und
01:05:10: sagen, was steht denn da überhaupt?
01:05:11: Und das lese ich jetzt vor, sondern man
01:05:14: musste sehr improvisieren.
01:05:16: Und genau das Ziel war es, sehr
01:05:19: überzeugend zu klingen und
01:05:21: das zu meinen, was man da sagt.
01:05:25: Wulschit Karauke, das ist ja schon im
01:05:27: Namen, es war so, so witzig.
01:05:29: Wir haben uns echt weggeschmissen und die
01:05:32: Person, die vorne stand, ist so ernst
01:05:33: geblieben bei dem
01:05:34: Quatsch, was sie erzählt hat.
01:05:36: Und irgendwelchen Temperaturwerten und
01:05:38: was dann einem so einfällt in dem Moment,
01:05:40: wenn man dann so ein
01:05:41: Schaubild sieht oder so.
01:05:43: Und da musste ich in der Vorbereitung
01:05:46: oder so richtig vorbereitet
01:05:47: haben wir uns jetzt nicht,
01:05:48: aber daran musste ich total denken, dass
01:05:51: es für mich das so ein bisschen ist,
01:05:55: dass wenn ich bei GPD zum Beispiel einen
01:05:58: Text bekommen, der sehr, sehr überzeugend
01:06:00: ist und dann auch noch vielleicht eine
01:06:03: Studie irgendwie zitiert wird und dann
01:06:06: noch ein Name beisteht,
01:06:09: dann ist das für mich so, als würde der
01:06:11: gerade ein Wulschit Karauke spielen,
01:06:14: weil er hatte Aufgabe bekommen,
01:06:16: überzeugend Text zu
01:06:17: produzieren in diesem Moment.
01:06:19: Und meine Anfrage, sag mir was über die
01:06:22: Herstellung von Pundefutter,
01:06:25: so in dieser Schnelligkeit zu beantworten
01:06:29: und wenn ihm das wissen nicht da, es muss
01:06:30: das trotzdem beantworten.
01:06:33: Er ist GPD.
01:06:36: Und da habe ich total das nachsehen, weil
01:06:38: ich das Gefühl habe, ja,
01:06:39: das wurde eben so eingestellt.
01:06:41: Das ist ein Dienstleister-Modus und der
01:06:44: muss Text produzieren.
01:06:46: Und da ist erstmal im ersten Schritt
01:06:49: egal, ob das stimmt oder nicht.
01:06:54: So ein bisschen wie wenn du jemanden auch
01:06:55: an die Wand stellst, jetzt sag mir
01:06:57: endlich, jetzt sag mir
01:06:57: endlich, jetzt sag was,
01:06:59: sonst, ich weiß ja nicht, wie das kodiert
01:07:02: ist, aber sonst passiert was Schlimmes,
01:07:05: dann sagt jeder irgendwas.
01:07:07: Weißt du was ich meine, es ist so ein
01:07:08: bisschen
01:07:08: voreingestellt und es ist lustig,
01:07:15: weil ich bekomme auch so ein bisschen
01:07:16: Gefühl, Mitgefühl, der muss
01:07:18: das, der muss ja antworten.
01:07:21: Und dann denke ich, da ist eben Sachen
01:07:24: aus, wenn er es nicht weiß.
01:07:26: Ich sage übrigens immer, es hatten mir in
01:07:28: der letzten Folge,
01:07:29: glaube ich, schon mal kurz,
01:07:30: es ist natürlich ein S, aber mir fällt es
01:07:32: leichter, er zu sagen.
01:07:35: Ja, wie siehst du das? Was hast du da so
01:07:37: für einen ersten Bezug?
01:07:39: Wie ist das denn bei dir?
01:07:43: Jetzt habe ich dasselbe Bild wie du, weil
01:07:45: PowerPoint-Karaoke, so
01:07:46: haben wir das früher genannt,
01:07:48: ist das perfekte Beispiel.
01:07:50: Du kriegst was und dann musst du in
01:07:51: Bruchteilen von Sekunden
01:07:52: anfangen, darüber zu reden.
01:07:55: Was da nicht stattfindet, ist so ein
01:07:57: Bewusstes sich auseinandersetzen damit.
01:07:59: Man hört ja in dem Moment, wenn man vorne
01:08:01: steht, so wie die
01:08:03: Zuschauer auch was man gerade sagt.
01:08:06: Und weiß es vorher aber nicht, was werde
01:08:08: ich gleich sagen, so ungefähr.
01:08:09: Vielleicht manchmal so ein bisschen, aber
01:08:11: im Prinzip ist es ja so ein
01:08:12: Flow, so ein stressiger Flow.
01:08:17: Und das ist das perfekte Beispiel, da auf
01:08:19: dem ich noch nicht gekommen bin,
01:08:20: genau so funktionieren Sprachmodelle.
01:08:24: Bevor du das gesagt hast, war meine, ich
01:08:28: war ja viel als Hirnforscher unterwegs
01:08:31: für große Konzerne, um herauszufinden,
01:08:33: wie Tickenleute und wie bringen wir sie
01:08:35: dazu, Dinge zu verkaufen.
01:08:38: Und in dem ganzen Bereich gibt es
01:08:40: wahnsinnig viele Studien,
01:08:42: wo immer, wo wir Leute in so
01:08:46: Verzerrungsmomente bringen,
01:08:48: wo die halt
01:08:48: irgendwelchen Quatsch erzählen.
01:08:50: Ich kann da wirklich, ich kann
01:08:51: den ganzen Tag darüber reden.
01:08:52: Als Beispiel, wir lassen zwei Leute in
01:08:57: einer Interview-Situation,
01:08:59: nur einen Mann mit einer Frau sprechen.
01:09:02: Und danach, da musste die Attraktivität
01:09:05: der Frau bewerten, dieser Mann.
01:09:08: Und dann lädt man den
01:09:11: eine Woche später wieder ein
01:09:12: und zeigt ihm der andere
01:09:13: Frau und seine Bewertung dazu.
01:09:16: Wir sind, oh ja, genau,
01:09:17: die habe ich so bewertet.
01:09:18: Also keiner merkt, dass
01:09:19: man die Frauen austauscht.
01:09:21: Wir sind die ganze Zeit in so Modus von
01:09:24: automatischem Reagieren unterwegs.
01:09:28: Und da gibt es sich
01:09:29: Experimente, wo wir feststellen,
01:09:32: wie Leute ihre Erinnerungen verzerren,
01:09:36: wie sie sich Sachen ausdenken.
01:09:37: Und für euch ist es nicht
01:09:38: richtig, wenn ich sage Leute,
01:09:39: sondern unser Gehirn oder
01:09:42: noch richtiger unser System 1.
01:09:46: Lass mich da mal ein bisschen auswählen.
01:09:47: Es gibt diese zwei Denkmodi, in denen
01:09:51: unser Gehirn funktioniert.
01:09:52: System 1, das ist der intuitive,
01:09:56: wahnsinnig schnelle, automatische.
01:09:58: Wenn ich dich frage, was ist 2 plus 2,
01:10:00: dann liefert die System 1 die Antwort.
01:10:03: Du hörst 4 in deinem Kopf.
01:10:04: 5 ist richtig.
01:10:10: Oder Hauptstadt von Frankreich.
01:10:13: Oder du stehst auf einer Party.
01:10:16: Alles ist laut und du unterhältst dich
01:10:18: intensiv mit jemandem.
01:10:20: Du bist voll auf das Gespräch fokussiert
01:10:23: und plötzlich hörst du, wie jemand
01:10:25: anderes deinen Namen sagt.
01:10:27: Auch das ist System 1,
01:10:28: dass die ganze Zeit da ist
01:10:30: und die Umgebung monitort
01:10:32: und dir dann Bescheid sagt, sozusagen.
01:10:36: Dieses System 1 ist unglaublich schnell,
01:10:38: unglaublich
01:10:38: leistungsfähig, die ganze Zeit aktiv,
01:10:41: wie ein Radar, das die ganze Zeit die
01:10:43: Welt für uns statistisch auswertet
01:10:46: und sagt, da ist was Wichtiges,
01:10:48: dann wird der Kapitän
01:10:49: aktiviert, sozusagen.
01:10:51: Das ist System 2, das ist das, das wir
01:10:54: alle nicht benutzen wollen.
01:10:55: Wenn der Kapitän aktiviert wird.
01:10:57: Das ist da, wenn man Kalorien.
01:10:57: Durch System 1.
01:10:58: Richtig, richtig.
01:11:01: Wenn du 2 plus 2 passiert automatisch,
01:11:05: wenn ich sage 117,4 durch 13.
01:11:08: Eben.
01:11:10: Dann ist bei mir Stille im Kopf.
01:11:15: Wie ein leichtes Überforderungsgefühl,
01:11:18: das auch System 1, das
01:11:19: mir dieses Gefühl liefert.
01:11:20: Aber wir müssten ja beide jetzt quasi
01:11:23: uns hinsetzen, Zettel
01:11:25: und Stift dran erinnern.
01:11:26: Wie geht das?
01:11:27: Und dass wir mühsam das zu tun.
01:11:29: Und noch ein Beispiel,
01:11:30: dann ist, glaube ich, klar,
01:11:31: wenn man Autofahren lernt, zum Beispiel,
01:11:34: die ersten Fahrstunden,
01:11:35: das ist alles System 2.
01:11:38: Der Arsch will, dass ich
01:11:39: links in den Verkehr abbiege
01:11:40: und dabei einen Schulterblick mache,
01:11:42: noch den Gang wechseln und so was.
01:11:46: Der Fahrlehrer.
01:11:48: Der Fahrlehrer.
01:11:50: Ich hab mich mal in die
01:11:51: Situation hinein verdient.
01:11:52: Okay, nee, ist gut.
01:11:53: Wir lieben Fahrlehrer, vielen Dank,
01:11:55: dass du mir das Autofahren erinnert hast.
01:11:56: Nee, es hätte ja wirklich auch deinem
01:11:58: Hinterteil sein können.
01:11:59: Also, das ist ein Problem.
01:12:03: Ja, aber...
01:12:04: Der Fahrlehrer.
01:12:07: Der Sitz ist nass geschwitzt.
01:12:10: Du hast die ganze Zeit,
01:12:11: musstest du dieses System 2,
01:12:13: was wahnsinnig viel
01:12:13: Energie verbraucht benutzen,
01:12:17: um zu tun,
01:12:18: um nicht das Auto kaputt zu fahren
01:12:21: und um dem zu folgen
01:12:22: und dahin zu fahren, wo er will
01:12:23: und nicht zu erinnern, wie es geht.
01:12:25: Und je länger wir das machen,
01:12:26: desto mehr säkert das ein System 1.
01:12:30: Und wenn du manchmal
01:12:32: Strecken fährst, die du
01:12:33: schon x-mal gefahren bist,
01:12:35: dann steigst du ein, und plötzlich bist du da.
01:12:38: Ja.
01:12:39: Und fragst dich, was passiert?
01:12:41: Habe ich jemanden tot gefahren?
01:12:43: Ich hoffe nicht.
01:12:43: Ich hoffe, dass ich
01:12:44: wirklich auf der Autobahn bin.
01:12:47: Und dann bin ich abgefahren
01:12:49: und dann denke ich, Moment,
01:12:50: war ich nicht gerade
01:12:51: noch auf der Autobahn.
01:12:52: Also so...
01:12:54: Und natürlich bin ich total wach
01:12:57: und bin echt, echt,
01:12:59: also echt eine super Autofahrerin.
01:13:02: Das sagen übrigens
01:13:03: alle über sich, das ist auch interessant.
01:13:07: Aber
01:13:08: es ist wirklich so,
01:13:10: dass ich es nicht mehr...
01:13:12: Ja,
01:13:13: ich war halt nicht bewusst
01:13:15: in den Entscheidungen
01:13:17: und somit habe ich eben auch nicht
01:13:18: die Erinnerung an den Bewusst...
01:13:21: die bewusste Entscheidung, ne?
01:13:23: Aber wir treffen ja...
01:13:24: Weiß nicht, wie viel, hast du die Zahl,
01:13:26: wie viele
01:13:26: Entscheidungen wir am Tag treffen?
01:13:27: Ich glaube, es ist absurd viel,
01:13:31: aber am Tag hat 24 Stunden und so
01:13:32: viele Entscheidungen treff ich,
01:13:34: sehr abgefahren, aber...
01:13:35: Ja, genau, System 1, System 2,
01:13:38: super, super spannend.
01:13:39: Hat das auch was zu tun
01:13:41: mit schnellem Denken, langsamem Denken
01:13:43: von Kanemann?
01:13:44: Ist das so...
01:13:45: Das genau das.
01:13:46: Also das...
01:13:47: Das...
01:13:48: Das...
01:13:48: Das...
01:13:59: Du meinst du nicht so viel Kalorien,
01:14:00: das Hirn kann ein bisschen ausruhen
01:14:02: und du kommst trotzdem sicher an.
01:14:05: Und...
01:14:06: Jetzt, warum sprechen
01:14:07: wir so viel über das Hirn?
01:14:09: Diesen automatisch reflekshaften,
01:14:12: unglaublich
01:14:13: leistungsfähigen Modus...
01:14:15: den haben wir
01:14:16: digital abgebildet.
01:14:19: Nur den hat künstliche Intelligenz.
01:14:22: Künstliche Intelligenz
01:14:23: kann genau das andere
01:14:25: noch nicht.
01:14:27: die Sachen mühevoll und
01:14:29: kommen zu dem Schluss.
01:14:31: Ah, das ist falsch, ich muss mal abbiegen
01:14:32: und woanders hindenken.
01:14:35: Und macht das überhaupt Sinn?
01:14:37: Das haben die gar nicht.
01:14:38: Die feuern einfach nur ab.
01:14:40: So wie Powerpoint
01:14:41: Karaoke oder Bullshit Karaoke.
01:14:43: Oder wie dieses Autopilot verhalten,
01:14:46: das wir alle immer
01:14:47: wieder zeigen im Alltag.
01:14:50: Und das heißt, das
01:14:52: unterliegt auch Fehlern.
01:14:54: Das unterliegt Verzerrungen.
01:14:55: Und es ist spontan und unreflektiert.
01:15:01: Und auch ein Grund dafür, dass diese
01:15:02: Maschine halluciniert.
01:15:04: Weil sie eben nicht
01:15:05: diesen zweiten Prozess hat,
01:15:06: der dann, du hast was geschrieben,
01:15:09: ganz automatisch eine
01:15:10: WhatsApp oder bist wütend
01:15:11: und hast auf eine Mail geantwortet.
01:15:14: Null Kalorien verbrannt, die Antwort
01:15:17: floss so aus deinen Fingern raus.
01:15:19: Und dann liest du sie noch mal, dann
01:15:21: verbrannst du Kalorien.
01:15:22: Und dann denkst du, was
01:15:23: passiert, wenn ich die abschicke?
01:15:25: Wie reagiert der? Was
01:15:26: heißt das für meinen Job?
01:15:27: Wie lange habe ich den noch, wenn ich
01:15:28: diese Mail abschicke?
01:15:30: Das ist System 2. Das
01:15:32: hat Chat Giviti noch nicht.
01:15:35: Der wird die erste Mail abschicke.
01:15:36: Ich denke, auch wie oft
01:15:37: schreibe ich erst mal was.
01:15:39: Und dann denke ich, nee, Moment 2, ist
01:15:41: das wirklich 2 Wochen.
01:15:43: Nee, muss da mal nach recherchieren.
01:15:44: Das ist jetzt so wichtig.
01:15:46: Und ich will gut rüberkommen.
01:15:49: Das ist ja auch so ein Menschenthema.
01:15:52: Ich muss mir sicher sein,
01:15:53: bevor ich einen Fakt rausgebe.
01:15:56: Und genau, dann geht die Arbeit erst los.
01:15:59: Aber ich hab dann schon mal
01:16:00: so die Idee dahingeschmissen.
01:16:02: Und dann merke ich, nee,
01:16:03: es ist jetzt der Kontext,
01:16:04: wo relevant ist, ob das 2
01:16:08: Wochen oder 6 Wochen sind.
01:16:10: Und dann gucke ich natürlich noch mal
01:16:11: nach in die Mail vor 6 Wochen.
01:16:14: Was haben wir noch mal gesagt oder so.
01:16:16: Also, ja. Genau.
01:16:18: Ja, spannend. Nee, das
01:16:19: hilft, glaube ich, sehr,
01:16:21: das mal ...
01:16:24: das so aus der Abstraktion zu ziehen.
01:16:27: Und zu schauen, okay,
01:16:29: was ist jetzt vergleichbar?
01:16:31: Und wie ist das Gehirn aufgebaut?
01:16:33: Das fehlt ja vielen Menschen.
01:16:35: Da können sie gar nichts fühlen.
01:16:36: Dieses Wissen, weil wir uns
01:16:38: da jetzt nicht so intensiv
01:16:40: miteinander setzen.
01:16:42: In der Schule haben wir
01:16:42: so ein bisschen Biologie.
01:16:43: Und dann brauchst du intrinse Motivation,
01:16:47: um zu lernen und zu lesen.
01:16:48: Oder du hast das im Psychologiestudium.
01:16:50: Oder vielleicht auch noch in so
01:16:52: Konsumpsychologie oder so.
01:16:56: Also so Neurowissenschaften.
01:16:58: Aber wer setzt sich da
01:16:59: jetzt so intensiv miteinander?
01:17:01: Und erkennt das dann
01:17:02: auch noch in einer Art
01:17:04: kugelartigen Surrounding.
01:17:06: Ich geb da jetzt was ein
01:17:07: und da kommt was zurück
01:17:08: im Internet.
01:17:10: Da brauch es schon ein bisschen
01:17:12: Auseinandersetzungen.
01:17:13: Und auch wieder so ein
01:17:14: Gefühl dafür zu entwickeln,
01:17:16: was kann das jetzt eigentlich?
01:17:19: Und wie benutze ich das jetzt auch?
01:17:22: Und die ersten Monate
01:17:24: waren ja wirklich so ...
01:17:27: Es gab so einen Dreiklang.
01:17:30: Ich kann aber nur die
01:17:31: ersten zwei so ad hoc sagen.
01:17:33: Langsam ist das 10.
01:17:35: und schnellste System.
01:17:36: Oder das System 1 sagt
01:17:37: jetzt die ersten zwei.
01:17:39: Also große Warnung vorbei ist.
01:17:41: Und dann zweite
01:17:42: Warnung vor Halluzination.
01:17:44: Das ging ziemlich stark
01:17:46: dann auch durch die Medien.
01:17:48: Und Vorsicht, es kann lügen im Prinzip.
01:17:52: Es kann dir Quatsch erzählen.
01:17:55: Und das war eine ganz wichtige Botschaft.
01:17:57: Das ist total wichtig gewesen.
01:17:59: Dass wir das verstehen und das wissen.
01:18:02: Und eben unseren
01:18:03: Autopilot nicht anmachen.
01:18:05: Sondern wirklich nachvollziehbar steht,
01:18:08: in die Reflexion gehen.
01:18:09: Wie kann ich das benutzen und auch den
01:18:12: Inhalt durchdringen?
01:18:13: Es macht total viel Sinn, dass man selber
01:18:15: weiß, was man da tut.
01:18:18: Dass man es im Zweifel selber tun könnte.
01:18:21: Das ist vielleicht eine langweilige,
01:18:22: doberrepetitive Arbeit.
01:18:24: Aber man könnte es rein
01:18:25: theoretisch selber ausführen.
01:18:28: Sodass man es auch nachvollziehen kann,
01:18:29: ist das Stimmen die Fakten.
01:18:31: Ist das jetzt relevant?
01:18:34: Und dass es einfach ...
01:18:36: ... worin Leute geschult werden müssen.
01:18:38: Das ist nicht alles Google und
01:18:41: tatsächlich vertägt.
01:18:42: Und die hast du in der Quelle, sondern da
01:18:45: passiert was ganz Neues.
01:18:46: Und du sagst ja aber,
01:18:48: und das finde ich auch spannend, wie sich
01:18:50: jetzt so ein bisschen nach einem Jahr,
01:18:53: die Meinung auch vielleicht
01:18:56: sogar in zwei Lager teilt,
01:18:58: das ist kein Bug,
01:19:00: sondern das ist ein Feature.
01:19:02: Also es ist kein Fehler.
01:19:04: Das ist das Besondere und das Wertvolle
01:19:07: an ChatGPT beispielsweise.
01:19:11: Dafür sollten wir das auch benutzen.
01:19:13: Magst du darauf mal eingehen?
01:19:16: Wir haben ja schon Maschinen und
01:19:19: Software, die uns Dinge sucht.
01:19:21: Suchmaschinen.
01:19:22: Wir haben schon Tools, wo
01:19:24: du Sachen vertägen kannst
01:19:25: und irgendwo ablegen kannst.
01:19:27: Und du hast ein Ordnarsystem auf deinem
01:19:29: Computer, auf deiner Festplatte,
01:19:31: wo du die merken kannst, wo habe ich
01:19:33: welche Sachen abgelegt,
01:19:34: damit ich sie wiederfinde.
01:19:35: Wir haben Indizes und Plattformen und
01:19:38: alles, wo wir Dinge ablegen.
01:19:40: Und die haben wir auch wiederfinden.
01:19:42: Das ist langweilig.
01:19:43: Jetzt haben wir
01:19:44: Technologie, die das alles nicht tut,
01:19:47: sondern wenn du sie über's
01:19:48: fragst, dann erschafft sie das.
01:19:50: Das ist auch ein
01:19:51: Denkfehler, den Leute annehmen.
01:19:54: Die fragen dann ...
01:19:56: Ich arbeite bei der Allianzversicherung.
01:19:59: Dann fragen die, wann wurde die
01:20:01: Allianzversicherung gegründet?
01:20:03: Und die denken,
01:20:05: ChatGPT guckt jetzt nach irgendwo.
01:20:09: Oder sucht in seinem
01:20:10: gigantischen Ablagesystem,
01:20:13: geht da durch, eine
01:20:13: Allianzversicherung, macht das auf,
01:20:15: wie Wikipedia, dann liest der
01:20:17: und dann gibt der das quasi,
01:20:18: kopiert er das daraus
01:20:19: und kopiert's dir rein.
01:20:21: Das ist nicht so. Ergeneriert den Text.
01:20:25: Das ist ... diese
01:20:26: Sprachmodelle sind nichts anderes
01:20:29: als die
01:20:29: Autovervollständigung auf unserem Smartphone.
01:20:34: Die das nächste Wort vorhersagen kann,
01:20:36: wenn du die schon ein
01:20:37: bisschen benutzt hast.
01:20:38: Das ist nur millionenfach schlauer.
01:20:41: Das ist eine hyperintelligente
01:20:43: Autovervollständigung.
01:20:45: Du sagst, du gibst ihr
01:20:47: quasi irgendwelche Begriffe,
01:20:48: Allianzversicherung,
01:20:50: wann gegründet oder so.
01:20:52: Und dann versucht er
01:20:53: daraus, einen Text zu erschaffen,
01:20:57: der dich zufrieden macht.
01:20:59: Und zufrieden macht er dich nicht
01:21:01: unbedingt, wenn der richtig ist,
01:21:03: sondern wenn der gut klingt erst mal.
01:21:06: Das macht voll Sinn.
01:21:07: Ist total spannend, dass
01:21:08: es am Anfang der Gründung
01:21:09: so ein Konflikt gab.
01:21:11: Dann sagst du ihm, hey, ist das richtig?
01:21:15: Oder sagt er? Nee, das war Twix.
01:21:18: Das ist meine Zeit wieder, von Twix.
01:21:21: Sorry, Allianz, an dieser Stelle.
01:21:26: Ja, versteh was du sagst.
01:21:29: Weißt du, das ist ...
01:21:31: ich find's nützlich ...
01:21:33: Ich bin ja auch ein Hirngieg,
01:21:34: aber ich find's nützlich, das mit uns
01:21:36: selbst zu verbinden.
01:21:37: Wir haben das doch alle,
01:21:39: du hast ein erstes Impuls,
01:21:40: ein erstes Gefühl, oh, da
01:21:42: ist jetzt gemein zu mir.
01:21:43: Oh, das will ich unbedingt haben.
01:21:46: Diese Jacke, die Schuhe,
01:21:48: das Smartphone, das Auto,
01:21:50: das will ich unbedingt haben.
01:21:53: Und dann springt System
01:21:54: 2 ein und sagt, stopp,
01:21:57: dein Konto sagt, aber du
01:21:58: kannst gar nichts mehr haben.
01:22:00: Oder das macht gar keinen Sinn,
01:22:02: oder dein Schrank ist schon voller Dinge.
01:22:04: Oder du hast doch schon ein Smartphone.
01:22:07: Also, der Reasoning, also vernunft.
01:22:10: Genau, ja, genau.
01:22:12: Und das hat Chatchivit nicht.
01:22:13: Das hat er einfach nicht.
01:22:15: Er tut so, als hätte er es.
01:22:18: Hat er aber nicht, er simuliert ihn.
01:22:20: Er imitiert.
01:22:21: Er improvisiert und imitiert.
01:22:25: Total, und ohne drüber
01:22:26: nachzudenken, der macht ...
01:22:29: Der macht Powerpoint
01:22:30: oder Bullshit-Karaoke
01:22:31: auf extrem hohem Niveau
01:22:33: mit allem, was du ihm gibst.
01:22:36: Der hat keine Ahnung von
01:22:37: dem, was du ihm fragst.
01:22:38: Der weiß nix.
01:22:39: Was ist ja das, also ...
01:22:42: Im ersten Moment oder eigentlich immer,
01:22:44: ist es ja das ...
01:22:46: im Durchschnitt das
01:22:47: wahrscheinlichste Wort.
01:22:48: Ne?
01:22:50: Ja, genau.
01:22:50: Beziehungsweise das
01:22:51: wahrscheinlichste Token.
01:22:53: Weswegen er ja auch
01:22:54: Schwierigkeiten hat zu rechnen
01:22:55: oder zu buschervieren.
01:22:57: Das ist nicht so runtergebrochen.
01:23:00: Auf einen Buchstaben
01:23:01: oder auf eine Zahl geht's.
01:23:02: Sondern auf so ...
01:23:04: Kannst du vielleicht ganz
01:23:05: kurz mein Token noch erklären?
01:23:07: Das ist so ein Sinnabschnitt von einem
01:23:09: Wort oder einem Satz, ne?
01:23:12: Genau, ist gar nicht
01:23:13: so leicht zu erklären,
01:23:14: weil es eine Sinneinheit sagt man.
01:23:17: Also ...
01:23:19: Unter dem Tisch sitzt ...
01:23:21: Und dann ist ...
01:23:23: Unter dem vielleicht ein Token.
01:23:27: Weil unter irgendwas, das ist der Sinn.
01:23:30: Und dann ist vielleicht
01:23:31: zwischen zweiter Token.
01:23:32: Mhm.
01:23:33: Also die KI versucht es quasi,
01:23:36: in Sinnblöcke, in
01:23:38: semantische Sinnblöcke zu teilen.
01:23:41: Und das ist so ein bisschen der ...
01:23:43: der KI-Bekriff dafür, Token.
01:23:46: Und vielleicht auch bei
01:23:47: dem Beispiel zu bleiben.
01:23:48: Unter dem Tisch sitzt eine ...
01:23:51: Und dann schaut die KI,
01:23:52: was ist jetzt aus den
01:23:53: Billionen-Seitentext,
01:23:55: die ich gelesen hab,
01:23:57: das wahrscheinlichste
01:23:58: Wort, das als Nächstes kommt?
01:24:00: Katze, sagt mein System eins jetzt.
01:24:02: Bei mir Maus, was ich gesagt hast.
01:24:06: Ja.
01:24:07: Aber ja, genau.
01:24:08: Und so würden wir
01:24:08: unterschiedlich improvisieren auch.
01:24:12: So unterschiedlichen Tagezeiten.
01:24:13: Da wirkt auch wieder zu diesem Punkt,
01:24:15: wo jeder Antwort ist auch
01:24:17: anders auf dieselbe Frage.
01:24:19: Ein bisschen anders formuliert.
01:24:21: Total.
01:24:22: Das Modell ist ja auch ein anderes.
01:24:24: Es verändert sich ja
01:24:25: die ganze Zeit dadurch,
01:24:26: dass Millionen Leute es benutzen.
01:24:28: Und das ist das Wundervolle daran.
01:24:30: Das bedeutet aber, wir
01:24:31: müssen Menschen ausbilden
01:24:33: und den Beibringen, was
01:24:36: das heißt in der Benutzung.
01:24:38: Das heißt eben nicht,
01:24:39: dass du ChatGPT fragst.
01:24:43: Nach Fakten.
01:24:45: Dafür hast du Google.
01:24:47: Oder Perplexity, by the way. Perplexity.
01:24:50: Und ...
01:24:52: Oder ihn ...
01:24:53: ihn ...
01:24:54: Dinge ...
01:24:55: Dinge überprüfen lässt oder so was.
01:24:58: Das kannst du hier und da machen.
01:24:59: Oder ihm im Internet so lässt,
01:25:00: sogar das kann er inzwischen.
01:25:01: Aber das kann er nicht
01:25:02: wahnsinnig gut, muss ich sagen.
01:25:04: Wozu er da ist, ist,
01:25:05: dass du ihm was gibst.
01:25:06: Und er soll daraufhin was erschaffen.
01:25:09: Zum Beispiel ...
01:25:11: Ich bin ein ...
01:25:12: Ich bin fertig mit meinem Studium
01:25:14: und weiß jetzt nicht, was ich tun soll.
01:25:18: Was musst du wissen?
01:25:20: Und dann erschafft dir dir Ideen.
01:25:22: Ich ...
01:25:23: Wir sind ein Unternehmen.
01:25:24: Und ich bin der Geschäftsführer.
01:25:27: Und uns bricht gerade
01:25:28: ein großer Markt weg.
01:25:31: Hast du Ideen, wie
01:25:31: ich damit umgehen kann?
01:25:34: Also, es ist ein Ideenmaschine.
01:25:37: Eine Dream-Maschine, die Dinge erschafft,
01:25:40: die uns inspirieren.
01:25:41: Und was wir am häufigsten hören in
01:25:44: unseren Workshops ist,
01:25:45: wenn wir fragen, was wäre das Tollste,
01:25:48: was die KI für dich machen kann?
01:25:50: Und wir haben das nie ausgewertet.
01:25:52: Aber mein Gefühl sagt
01:25:53: mir, knapp am häufigsten ist,
01:25:55: dass die Leute sagen, die
01:25:56: sollen mich inspirieren.
01:25:58: Ja, nach Zeitfressern.
01:26:00: Genau.
01:26:01: Und dann kommt so
01:26:02: Autobatisieren und Dinge wegnehmen,
01:26:04: die ich nicht arbeiten mag.
01:26:06: Oder schon direkt die Use-Case-Ideen.
01:26:11: Ich hab dir gerade auch noch gedacht,
01:26:12: dass es so spannend ist.
01:26:14: Für mich ist KI ja immer ein Spiegel zu
01:26:17: dem, was bisher war.
01:26:19: Und was wir vielleicht
01:26:19: noch nicht so ergründet haben,
01:26:21: weil es nicht notwendig
01:26:22: war, weil so sind wir halt.
01:26:23: So verhalten wir uns halt.
01:26:25: Und gerade beim Brainstorming
01:26:27: ist es auch so, dass wir sagen,
01:26:28: je verrückt er hier
01:26:29: besser, es gibt keine Regeln.
01:26:31: Du hast eine Minute Zeit
01:26:32: und sagst so viele Punkte auf,
01:26:34: wie dir gerade einfällt.
01:26:35: Und wir bewerten das nicht,
01:26:37: wir bewerten das erst am Ende.
01:26:38: Und wir gucken, was da steht.
01:26:40: Und da kommt so ein Quatsch bei raus.
01:26:43: Wir hallucinieren, wir improvisieren auch
01:26:45: genau aus diesem System 1
01:26:47: zu dem Management-Thema X
01:26:50: oder zu der Strategie Ufzeln
01:26:52: oder zum Projekt.
01:26:54: Und da steht dann so was wie Quitschende.
01:26:56: Aber das provoziert ja wiederum jemanden,
01:27:01: wie so ein Steigbügel, um
01:27:02: auf was anderes zu kommen.
01:27:05: Und das ist für mich dieses Wertvolle,
01:27:08: dass das einfach auch so Baumannszenario,
01:27:12: mit 26 Unter-Szenarien in
01:27:15: der Situation X-Option-Set.
01:27:17: Und dann sehe ich das,
01:27:18: aber da steht irgendwas.
01:27:20: Es ist total egal, was da steht.
01:27:22: Es macht aber was, es
01:27:23: stimuliert mein System 1,
01:27:28: was dann anfängt mit
01:27:29: dem System 2 zu tanzen.
01:27:31: Und dann kommt da was
01:27:32: raus, was sich ja vorher nicht,
01:27:35: was einfach nicht
01:27:37: getriggert werden konnte.
01:27:40: Also wie auch so ein total spannendes
01:27:42: Gespräch halt dich wieder
01:27:44: stimuliert und dir eine Anregung gibt.
01:27:47: Also ich finde das
01:27:48: auch sehr unterschätzt.
01:27:51: Und ich sage das, weil
01:27:54: davor ja gewarnt wird.
01:27:56: Und sagen wir mal, wo die
01:27:59: eher nicht Enthusiasten,
01:28:00: die da auch sehr, sehr
01:28:01: pragmatisch hangeln, sagen,
01:28:03: okay, wie wird das jetzt integriert?
01:28:06: Und was ist daran gefährlich?
01:28:09: Die sagen ja, das muss eingedämmt werden,
01:28:11: es muss noch mehr Schranken
01:28:12: einprogrammiert werden.
01:28:13: Es muss noch mehr Schranken so
01:28:15: einprogrammiert werden,
01:28:16: dass es noch menschenmäßiger ist oder
01:28:18: dass es sich so verhält wie wir.
01:28:21: Und dann denke ich aber ja, aber genau
01:28:24: dieses menschliche würde man
01:28:26: dem ja dann abschneiden,
01:28:27: weil wir uns ja so verhalten.
01:28:30: Wir erzeugen auch sehr,
01:28:32: sehr viel Quatsch am Tag,
01:28:34: bisschen wie unser Einstieg ja auch.
01:28:36: Genau, und dann gibt es
01:28:40: eben andere, die sagen,
01:28:41: und ich glaube, da zählen
01:28:42: wir uns mal zu, die sagen,
01:28:43: das ist ein Feature, es
01:28:44: müssen alle aufgeklärt werden,
01:28:45: dass es so ist.
01:28:47: Aber wenn wir das jetzt abschneiden
01:28:50: würden und das regulieren würden,
01:28:51: also da wirklich ein Fokus drauflegen,
01:28:53: wie kann man es so einschränken,
01:28:55: dass es nicht mehr haluziniert, ist es
01:28:57: dann noch groß was wert?
01:29:00: Wenn das Ding nicht mehr haluzinieren
01:29:02: würde, komplett nicht mehr,
01:29:04: dann würde es nichts mehr tun.
01:29:06: Das haluziniert nur.
01:29:07: Ich glaube, das ist ganz wichtig.
01:29:10: Der macht nichts
01:29:11: anderes als haluzinieren.
01:29:13: Der träumt die Sachen herbei.
01:29:15: Der träumt dir einen schönen Text herbei,
01:29:16: der klingt wie Shakespeare.
01:29:18: Der träumt dir ein schönes Bild herbei,
01:29:19: das zu deiner Beschreibung passt.
01:29:21: Die Sachen, das Sprachmodell kann nichts
01:29:24: anderes als haluzinieren.
01:29:25: Und deswegen sagen wir, das
01:29:27: was wir den Leuten beibringen,
01:29:28: ist ja hauptsächlich, du musst die
01:29:30: Verantwortung übernehmen,
01:29:31: wenn du damit arbeitest, musst dein
01:29:33: System 2 auf Hochtouren laufen.
01:29:36: Du musst nämlich das für den machen.
01:29:38: Du musst es durchlesen, überprüfen, passt
01:29:41: das, ist das sinnvoll.
01:29:42: Du musst den bei komplexen Aufgaben,
01:29:45: wie an so einer ganz kurzen Leine durch
01:29:47: diese Aufgabe durchziehen
01:29:49: und ihn gedanklich
01:29:50: führen, weil das kann der nicht.
01:29:54: Dass der dem fehlt
01:29:55: dieses System, dass das tut.
01:29:58: Und was wir ja wirklich häufig sagen,
01:30:00: ist den Leuten, wenn wir
01:30:01: mit Chatchivity arbeiten,
01:30:03: dann verbrennen wir
01:30:04: oft genug mehr Kalorien,
01:30:06: als wenn wir es ohne machen würden.
01:30:08: Weil wir genau das tun müssen,
01:30:10: die Qualität unserer
01:30:11: Arbeit wird wesentlich höher.
01:30:14: Weil wir ihn ja auch genau für das
01:30:16: benutzen, was du eben gesagt hast.
01:30:18: Hey, nimm das mal
01:30:19: auseinander, kritisier das mal.
01:30:20: Welche Ideen hast du
01:30:21: noch? Wo ist da was falsch?
01:30:23: Mach mal irgendwas, ich
01:30:24: stecke hier fest gedanklich,
01:30:25: dass mich da rausholt.
01:30:27: Und dann macht er irgendwas und tut das
01:30:29: und provoziert dich zu
01:30:30: neuen Ideen, kritisiert dich,
01:30:31: tut irgendwas, wo wir dann
01:30:33: wieder weiter denken können.
01:30:35: Und das wirklich, ich glaube, das ist das
01:30:36: Wichtigste zu verstehen.
01:30:38: Die machen nichts
01:30:38: anderes als Halluzinieren.
01:30:40: Das sind ja auch, das ist ganz verrückt,
01:30:42: das sind ja auch eigentlich
01:30:42: überschaubar kleine Dateien.
01:30:44: Chatchivity ist so 200 Gigabyte groß.
01:30:47: Es gibt Computerspiele, die größer sind.
01:30:49: 200 Gigabyte wird, das ist ein Bruchteil
01:30:51: von dem, was der weiß,
01:30:52: was da rein, ein Bruchteil.
01:30:54: Das sind und Stable Diffusion oder so,
01:30:57: die sind 3 Gigabyte oder 4 oder so.
01:31:00: Und kann dir jedes
01:31:00: Bild, das du dir überlegst,
01:31:02: kann dir dieses Modell erschaffen.
01:31:04: Obwohl es so winzig klein ist,
01:31:06: das ist nochmal ein Indiz dafür,
01:31:08: für die, die das
01:31:09: Technischer verstehen wollen,
01:31:11: dass es nicht sein kann,
01:31:12: dass das Wissen da drin steckt.
01:31:14: Tut es nicht.
01:31:15: Der Abdruck von diesem
01:31:16: Wissen steckt da drin.
01:31:18: Und daraus wird dann
01:31:19: wieder neuer Kram generiert.
01:31:21: Das ist so die 60
01:31:24: Jahre alte Bibliothekaren,
01:31:26: die vorne am Schreibtisch sitzt.
01:31:28: Und ja, schon 40 Jahre da ist.
01:31:31: Und so ganz tolle
01:31:34: Geschichten erzählen kann.
01:31:36: Und ganz toll sagen kann, in Gang 3, da
01:31:38: findest du ne Geschichte.
01:31:39: Oder wie wär's mal hiermit?
01:31:41: Also so stelle ich mir
01:31:42: das auch manchmal vor.
01:31:43: Das ist ja wie ne riesen Bibliothek.
01:31:48: Und du wirst irgendwie schon
01:31:49: finden, wo nachts du suchst.
01:31:52: Aber du wirst auch sehr inspiriert.
01:31:54: So fällt dir sehr schwer,
01:31:55: auch erst mal in den
01:31:55: anderen Sachen vorbeizulaufen.
01:31:57: Genau, und die Bibliothekaren ist
01:31:59: wirklich ein tolles Bild.
01:32:01: Weil die wird dir helfen, aber die wird
01:32:04: auch mal falsch liegen.
01:32:06: Und die wird dich auch mal in den
01:32:07: falschen Gang schicken.
01:32:08: Oder dir n falsche
01:32:09: Empfehlung geben oder sowas.
01:32:11: Aber sie wird dir helfen.
01:32:12: Und du gibst ja nicht komplett deinen
01:32:14: Denkprozess an sie ab.
01:32:15: Du sagst ja nicht zu ihr,
01:32:17: schreib mal meinen Essay.
01:32:18: Und du sagst, ich muss
01:32:19: nen Essay da überschreiben.
01:32:23: Ich schau mal das an und sowas.
01:32:26: Das kann Chatchabity auch tun, dich
01:32:28: inspirieren und führen.
01:32:31: Und das heißt nicht,
01:32:33: dass man damit nicht auch
01:32:34: nen coolen Post schreiben kann.
01:32:37: Oder nen Angebot oder ne E-Mail.
01:32:40: Natürlich, natürlich.
01:32:41: Die kann der super schön
01:32:43: für dich herbeiträumen.
01:32:45: Genauso wie du's brauchst.
01:32:47: Aber du musst trotzdem die Kalorien
01:32:49: verbrennen und schauen,
01:32:50: ist das richtig?
01:32:53: Ja.
01:32:55: Wir haben ja auch so ne
01:32:55: Intuition, wann das so ist.
01:32:57: Ich find, wenn du das Gefühl hast, du
01:32:59: arbeitest mit Chatchabity
01:33:00: und lässt dir was schreiben, was
01:33:02: erschaffen für dich.
01:33:02: Und du hast das Gefühl, irgendwie fühlt
01:33:04: sich das nicht richtig an.
01:33:06: Betrügig hier ist das meine Arbeit.
01:33:08: Das spiegeln uns ja viele Leute,
01:33:10: dass sie diese inneren
01:33:12: Konflikte auch haben.
01:33:13: Dann sagst du, ja, nimm das ernst.
01:33:16: Dann bist du noch nicht fertig.
01:33:19: Du hast es raus. Das
01:33:20: stimmt, was dein Gefühl dir sagt.
01:33:22: Du hast die Arbeit
01:33:23: abgegeben an Chatchabity.
01:33:25: Der hat irgendwas dahin geträumt.
01:33:28: Und das passt aber eigentlich nicht.
01:33:30: Und jetzt bist du in
01:33:30: dieser Situation, wo du denkst,
01:33:31: okay, will ich noch
01:33:32: meine Kalorien verbrennen?
01:33:34: Oder bin ich fertig und weiß, es ist
01:33:36: eigentlich nicht so gut?
01:33:37: Ganz wichtig, der hat
01:33:38: natürlich auch nen Träumas Deal,
01:33:40: den er erst mal anwendet.
01:33:42: Und da sieht man irgendwann,
01:33:44: da kriegt man auch nen Gefühl dafür,
01:33:48: dass ...
01:33:51: Ja, das ist einfach ultra-ultra-wichtig.
01:33:54: Und diese Menschen, die das
01:33:56: aber so einfach übernehmen
01:33:57: und den Autopiloten anmachen,
01:33:59: das sind auch nicht die Menschen, die
01:34:01: damit jetzt erfolgreich werden.
01:34:02: Das ist meine Fantasie.
01:34:03: Die vielleicht so im letzten Jahr ne
01:34:06: ordentlichen Output hatten
01:34:07: und auch vielleicht noch
01:34:08: das nächste halbe Jahr.
01:34:09: Aber sie werden nicht
01:34:12: lange gut damit fahren können,
01:34:14: weil es so
01:34:15: offensichtlich für die Allgemeinheit
01:34:17: dann irgendwann wird,
01:34:19: dass da nicht viel
01:34:20: Energie reingeflossen ist.
01:34:22: Und diese Leistung kann
01:34:23: ich selber mir erarbeiten.
01:34:27: Also, das kann ich dann selbst bei
01:34:28: ChatGPT mir rausholen.
01:34:30: Dafür brauche ich dich
01:34:31: als Experten oder als ...
01:34:32: Mein Gegenüber nicht, wenn das so ... ja.
01:34:36: Offensichtlich.
01:34:37: Generell schwer.
01:34:38: Ganz offensichtlich, der
01:34:39: Traum, der erste Traum.
01:34:41: Der erste Traum von ChatGPT.
01:34:44: Also, nimm dir mal
01:34:45: hin den Vierten, Leute.
01:34:50: Was mir auch einfällt,
01:34:52: ist, dass das gefährlich ist.
01:34:53: Wir hatten gerade gestern ...
01:34:57: hat sich ein Unternehmen an uns gewandt,
01:34:58: ein großer Konzern, den
01:35:00: wir nicht nennen wollen.
01:35:01: Aber der hat ein System seinen
01:35:03: Leuten zur Verfügung gestellt.
01:35:05: Das haben wir uns ja gestern angeschaut,
01:35:07: wo quasi so, hey, das ist alles ChatGPT
01:35:10: über Microsoft Azure
01:35:12: quasi eingebaut.
01:35:14: Und dann gibt's
01:35:14: verschiedene Kategorien Marketing.
01:35:16: Dann klickst du da drauf.
01:35:17: Hier kannst du einen
01:35:18: LinkedIn-Post schreiben.
01:35:19: Dann stehen da so drei Einger bezahlen.
01:35:22: Wofür, welche
01:35:23: Zielgruppe, was, irgendwie sowas.
01:35:26: Oder hier, du musst eine
01:35:28: E-Mail an Kunden schreiben.
01:35:29: Da steht, wofür, was ist das Ziel.
01:35:31: Das gibt man in diese Zeilen ein.
01:35:33: Und dann generiert ChatGPT.
01:35:36: Und wir haben bei uns dann sofort die
01:35:38: Alarmsireen angegangen.
01:35:39: Sofort, als wir's gesehen haben.
01:35:41: Weil genau das suggeriert,
01:35:45: das tut die Arbeit für dich.
01:35:46: Das ist pack-checked und
01:35:47: legitimiert durch die Arbeit.
01:35:49: Ja, durch das Unternehmen.
01:35:51: Total, total.
01:35:52: Und man hat diese Dream-Machine genommen
01:35:54: und in diese Arbeitsbereiche geteilt.
01:36:00: LinkedIn-Post, Excel-Formeln,
01:36:05: Kunden-E-Mail und so weiter.
01:36:07: In diese Use-Cases, Anwendungsfälle.
01:36:09: Und das vorgedacht für die
01:36:12: Menschen, die das benutzen.
01:36:15: Und jetzt, nach unserem
01:36:16: Gespräch, muss jeder hören,
01:36:18: da passiert genau das, wovor wir warnen.
01:36:20: Man nimmt den Menschen
01:36:21: die Verantwortung weg,
01:36:23: diese KI durch den Denkprozess zu führen.
01:36:26: Da haben sich Leute ganz woanders, mit
01:36:28: denen man nie Kontakt hatte,
01:36:29: vorgedacht, wie willst du dein
01:36:31: LinkedIn-Post schreiben.
01:36:32: Nämlich so wie jeder.
01:36:34: Und auch vergessen, die Leute zu schulen.
01:36:36: Und der Konzern hat
01:36:37: gedacht, oh ja, KI haben wir alle.
01:36:38: Oh ja, KI haben wir erledigt.
01:36:39: Alle haben Zugang zu ChatGPD.
01:36:41: Ist ganz cool so.
01:36:42: Und dann festgestellt,
01:36:44: deswegen haben sie sich gewinnt,
01:36:45: nix passiert.
01:36:47: Wir dachten, wir werden
01:36:48: jetzt reich und erfolgreich.
01:36:49: Und Effizienz steigert
01:36:50: sich ins Unermessliche.
01:36:52: Nix passiert.
01:36:54: Ich meine, das ist im Grunde, das ist
01:36:56: cool, was wir gesehen haben.
01:36:58: Wenn du schon ein
01:36:59: bisschen das Verständnis hast
01:37:01: und tatsächlich im
01:37:01: Alltag auch, oder ich sag mal,
01:37:05: dass du auch noch Zugang
01:37:06: zu dem offenen System hast,
01:37:08: wo du in der
01:37:09: Tagzungehens-Erfahrung sammeln kannst,
01:37:11: deine eigenen Sachen ausprobieren kannst,
01:37:13: vielleicht sogar deinen
01:37:14: eigenen Use Case in GPT.
01:37:16: Oder dort auch noch anhängen kannst
01:37:18: an dieses bestehende Betriebssystem,
01:37:22: was jetzt mit eingebaut haben.
01:37:25: Oder die Software.
01:37:27: Aber das,
01:37:30: das nur das zu haben,
01:37:33: ist wirklich eine falsche Fährte.
01:37:37: Und das suggeriert falsche Sicherheit.
01:37:41: Und genau schneidet eben
01:37:42: auch die Möglichkeiten,
01:37:43: wirklich von KI zu profitieren.
01:37:45: Weil jeder Einzelne, der da arbeitet,
01:37:47: hat ja wahrscheinlich eine tolle Idee.
01:37:49: Und kommt dann auf ganz eigene Art und
01:37:52: Weise in seinem Bereich.
01:37:54: Und das ist ja manchmal wirklich so ...
01:37:57: so kleine Unterschiede,
01:37:59: aber doch feine Unterschiede,
01:38:00: was jeder Einzelne im Team beiträgt.
01:38:03: Und vielleicht, ja,
01:38:03: es gibt vielleicht 10,
01:38:04: die haben dieselbe
01:38:05: Jobbeschreibung oder dieselbe Position,
01:38:07: aber sind wir mal
01:38:08: ehrlich, das ist ja auch ...
01:38:10: das ist eine Wagesstellenbeschreibung.
01:38:12: Und der Mensch, der
01:38:13: kommt, der füllt die dann
01:38:14: auf seine Art und Weise aus.
01:38:16: Und der eine ist nicht so wie der andere,
01:38:19: und jeder bringt einen
01:38:20: eigenen Wert mit rein.
01:38:21: Und das ist das mit
01:38:23: der KI dann zu verbinden.
01:38:25: Und das anzudocken. Das
01:38:26: ist dann die große Magie.
01:38:28: Wenn dann aber diese beiden dann den
01:38:29: selben Text auf Link entschreiben,
01:38:31: dann gute Nacht.
01:38:32: Dann gute Nacht, ja.
01:38:35: Und das ist für mich ein
01:38:37: fundamentales Missverständnis,
01:38:40: was diese Technologie angeht.
01:38:43: Die Idee ist, so wie bei
01:38:45: jeder anderen Software,
01:38:46: wenn du was in Excel tun
01:38:47: willst und ich will dasselbe tun,
01:38:48: dann müssen wir beide
01:38:49: exakt dieselben Dinge machen.
01:38:52: Und ich kann es weniger gut als du.
01:38:54: Ich will mich selten knapp verdrücken.
01:38:56: Ja, ich bin also
01:38:57: abzuwarten, weiß ich nicht.
01:39:00: Aber wir müssen dieselben Dinge machen.
01:39:01: Oder einen Powerpoint oder einen Canva
01:39:03: oder ein so klassischer Software.
01:39:05: Wir müssen dieselben Knöpfe drücken,
01:39:06: dieselben Befehle eingäben,
01:39:07: dieselben Klicks machen, um
01:39:09: zum selben Ergebnis zu kommen.
01:39:11: Manchmal gibt es hier und dann einen
01:39:12: unterschiedlichen Weg,
01:39:14: aber auch die sind
01:39:15: dann quasi fest definiert.
01:39:18: Und so gehen gerade
01:39:19: Unternehmen je größer,
01:39:20: desto häufiger an diese
01:39:22: Technologie auch dann.
01:39:23: Das ist eine Software, da
01:39:25: müssen wir den Leuten beibringen,
01:39:27: welche Knöpfe sie in welcher Reihenfolge
01:39:29: zu welchen Zeitpunkt drücken müssen.
01:39:31: Und das ist grundsätzlich falsch.
01:39:33: Wenn man das so macht, meine Meinung,
01:39:36: braucht man KI gar nicht anzufangen.
01:39:39: Dann bleibt bei Google und suche und
01:39:41: trainiere die Leute darin,
01:39:42: wie sie Excel bedienen können und so was.
01:39:45: Ja, allein schon wegen dem Markt nicht.
01:39:47: Also, man muss es nicht anfangen,
01:39:49: nicht weil es vielleicht auch so ist,
01:39:51: aber vielleicht, wenn
01:39:53: es keiner machen würde,
01:39:55: ist das schon ganz cool.
01:39:56: Aber dadurch, dass so
01:39:57: vieles machen werden,
01:39:58: wirst du sofort ...
01:40:00: Ja, du wirst halt
01:40:01: nicht dasselbe erhalten,
01:40:04: als wenn du es offen machst.
01:40:06: Wenn du ...
01:40:07: Total, total, total.
01:40:09: Und da ist ja sogar den Gefahr drin,
01:40:12: wenn du Leuten das
01:40:12: sofort denkst, den beibringst,
01:40:14: so das zu benutzen, wie
01:40:15: wir es ihm geschildert haben,
01:40:16: in dieser Eingabemaske, um einen
01:40:18: LinkedIn-Post zu konstruieren.
01:40:19: Dann kommen da schlechte Posts raus.
01:40:22: Der Kunde hatte jetzt Glück,
01:40:23: dass seine Mitarbeiter smart
01:40:24: sind und das gemerkt haben.
01:40:26: Und deswegen, dass sie
01:40:27: das nicht benutzt haben.
01:40:29: Aber wie viele da draußen gibt es, wo die
01:40:31: Mitarbeiter das nicht merken?
01:40:33: Oder ist den egal?
01:40:34: Ich kann jetzt viel mehr
01:40:35: Posts machen, viel kürzerer Zeit.
01:40:37: Und alle davon sind schlecht.
01:40:39: Und die Welt da draußen
01:40:39: lernt mit jedem Tag mehr,
01:40:42: diese schlechten
01:40:42: KI-generierten Posts sofort zu sehen.
01:40:47: Das ist ein Problem, das ich nicht mehr habe.
01:40:47: Ich habe das nicht mehr gelesen, habe bei
01:40:47: meinem Leben auch mega.
01:40:50: Das ist eine Gewöhnung.
01:40:52: Wenn man das dann überall sieht,
01:40:54: verändert sich der Durchschnitt.
01:40:57: Insgesamt werden die Texte überzeugender,
01:40:59: besser durchschnittlich,
01:41:02: aber verdammt gut geschrieben.
01:41:04: Aber wenn das dann alle tun,
01:41:05: wenn man so tief drinschät,
01:41:06: dann sieht man es eben.
01:41:07: Aber wenn jemand, der sonst
01:41:09: gar keinen Kontakt damit hat
01:41:15: und die ist völlig in Ordnung,
01:41:17: wenn die Person dann eben so
01:41:19: eindrucksvolle Texte bekommt,
01:41:21: dann wird die das abfeiern, auch
01:41:22: vielleicht, und verwenden.
01:41:24: Aber da ist dann eben nicht eine Sekunde
01:41:26: Arbeit oder Mitdenken reingeflossen.
01:41:30: Und ganz wichtig noch mal zu sagen, hier
01:41:33: wird falsche Sicherheit suggeriert.
01:41:36: Das ist was wir wollen.
01:41:38: Wie als Unternehmen, liebe
01:41:39: Frau Müller, lieber Herr Meier,
01:41:41: das ist was wir wollen, das, was daraus
01:41:46: kommt, ist legitimiert.
01:41:48: Und das ist es eben
01:41:49: nicht. Das kann es nicht sein.
01:41:51: Ja, heißes Thema.
01:41:53: Heißes Thema. Und so verrückt auch.
01:41:56: Weil wir haben diese weirden
01:41:58: Dream-Machines erschaffen.
01:42:00: Und wir müssen ...
01:42:01: Das ist eine neue
01:42:02: Kategorie von Technologie.
01:42:05: Wir müssen neue Regeln
01:42:06: und neue Ideen generieren,
01:42:09: wie wir damit umgehen.
01:42:09: Und die sind ja wirklich weird.
01:42:14: Diese ganzen Sachen, wo
01:42:16: man Chechability sagt,
01:42:18: hey, jetzt gib dir mal Mühe.
01:42:20: Du kriegst auch dann,
01:42:21: wenn mir das gefällt,
01:42:22: kriegst du ein Trinkgeld von 100 Euro.
01:42:24: Und wir wissen aus Studien,
01:42:25: und wir beide machen es ja auch immer
01:42:26: wieder in verschiedenen Art und Weisen,
01:42:28: der Output wird länger.
01:42:30: Oder jetzt hol mal Tiefluft
01:42:32: und gib dir wirklich Mühe.
01:42:35: Und das provoziert diese Maschine,
01:42:37: die ja nur dein Texte
01:42:39: vollständig dazu ...
01:42:40: Ach guck, immer, wenn so was gesagt wird,
01:42:42: werden Texte besser,
01:42:43: länger und anspruchsvoller.
01:42:45: Das habt ihr gelernt aus Büchern,
01:42:48: aus den ganzen
01:42:49: Informationen, die wir ihr gegeben haben.
01:42:51: Und dann macht ihr das auch,
01:42:52: obwohl ihr jetzt natürlich keinen Lummer
01:42:53: hat und nicht atmet.
01:42:54: Ja, es ist wirklich abgefahren.
01:43:00: Und gleichzeitig gibt
01:43:01: es da auch wieder Wege,
01:43:04: dass du erklärst, natürlich.
01:43:06: Wir sind die Datengrundlage.
01:43:08: Und das ist ...
01:43:12: Ich hab vielleicht noch da
01:43:14: einen Mini-Auszug zu dem,
01:43:15: dass du gesagt hast, atmet tief durch.
01:43:19: Und mach es dann Schritt
01:43:20: für Schritt irgendwie so.
01:43:22: Da ist eine Theorie,
01:43:24: dass, weil wir so
01:43:25: unglaublich viele Foren haben,
01:43:28: wo Menschen sich mit
01:43:29: ihren Problemen dranwenden,
01:43:31: das, was Google nicht erfassen kann,
01:43:33: ist aber dann so wirklich ...
01:43:37: Unendlich viele
01:43:38: Kommentare und Unterhaltungen,
01:43:40: die sind vielen, vielen Foren.
01:43:42: Das ist ja das Erste, was die Leute im
01:43:45: Internet so toll fanden.
01:43:46: Da treff ich mich in Foren, die ganz
01:43:48: explizit zu Themen sind.
01:43:51: Ja, die Theorie ist, dass da
01:43:53: eben solche Sachen drinstehen.
01:43:54: Atme erst mal durch, mach mal langsam,
01:43:57: mach dir keine Sorgen, weil da Menschen
01:43:59: interagieren miteinander.
01:44:01: Atme erst mal durch.
01:44:02: Und jetzt ... gibt da da
01:44:05: Tochter erst mal ein Vibat-Zepfchen.
01:44:07: Oder ... keine Ahnung, wie's das ist.
01:44:09: Und diese Foren ...
01:44:12: Und diese vielen
01:44:13: Unterhaltungen zwischen Menschen,
01:44:14: die davon nicht aus dem Vorlassen,
01:44:17: wenn man sich über die
01:44:17: Datengrundlage Gedanken macht.
01:44:19: Das heißt ...
01:44:22: Da ist vieles, was
01:44:24: quasi Menschen motiviert,
01:44:27: motiviert dann eben
01:44:28: auch die Leistung von ...
01:44:29: ... so einer Maschine.
01:44:31: Weil's dann ... wahrscheinlich ist, ne?
01:44:35: Das ist dann wahrscheinlich,
01:44:36: dass so was dann erwartet wird.
01:44:38: Und dann wird's
01:44:39: detaillierter und mehr oder ...
01:44:41: ... persönlicher oder emotionaler.
01:44:45: In der ganzen Masse, der hat ja ...
01:44:48: Salopp gesagt, hat Judge
01:44:50: Bidiya einfach alles gelesen.
01:44:51: Das ganze Internet.
01:44:53: Ich hab letztens gelesen,
01:44:55: dass ungefähr 15 Prozent
01:44:56: des Textes, den die
01:44:58: Menschheit je erschaffen hat,
01:45:00: hat dieses Modell gelesen.
01:45:01: Ich weiß nicht, ob das stimmt.
01:45:02: Aber einfach wahnsinnig viel.
01:45:05: Und menschlicher Text in Foren, in
01:45:07: Büchern, in Roman hat's an sich,
01:45:09: dass wenn irgendwo
01:45:09: steht, atme mal tief durch,
01:45:12: dass danach eine ausführliche, lange
01:45:14: Antwort, Passage zu irgendwas kommt.
01:45:18: Und so lernt der.
01:45:19: Okay, wenn ich tief durch atme,
01:45:21: oder wenn das da steht,
01:45:23: dann muss ich den Text
01:45:24: länger produzieren danach.
01:45:26: Und wenn das so ist,
01:45:27: so primt man ihn ja, auch wenn man
01:45:30: Menschen auch primen kann.
01:45:32: Da gibt's ja unendlich viele Experimente,
01:45:33: wenn ich wieder an
01:45:34: den Anfang zurückkomme.
01:45:36: Menschen sind weicher in Verhandlungen,
01:45:39: wenn wir ihnen eine warme
01:45:41: Tasse in die Hand geben.
01:45:42: Oder sie auf einem weichen Stuhl sitzen.
01:45:45: Wenn sie verhandeln und im selben Raum
01:45:49: ist so ein Bildschirmschoner,
01:45:50: wo so eine Dollarnote rüberfliegt.
01:45:54: Das ist ein sehr guter Versuch.
01:45:56: Dann sind die viel,
01:45:58: da sind die viel, wie hier, bereiten
01:45:59: miteinander zu kooperieren.
01:46:01: Dann sind alle so ein bisschen ...
01:46:02: Wir unterliegen unser System eins,
01:46:06: und da liegt denselben Biasystem,
01:46:09: denselben Verzerrungen, wenn
01:46:11: man so will, wie Chatchivity.
01:46:13: Und so können wir den auch benutzen.
01:46:15: Die können wir ja für uns nutzen und ihn
01:46:17: manchmal dazu bewegen,
01:46:20: sich doch ein
01:46:20: bisschen mehr Mühe zu geben.
01:46:22: Ich glaub, hier können wir noch eine
01:46:24: große Debatte dranhängen.
01:46:26: Kann man alle Menschen da in Schulen.
01:46:29: Und kommt das nicht zu ganz viel
01:46:32: Informations- verzerrungen im Netz.
01:46:36: Und, und, und.
01:46:37: Aber ich glaube, das
01:46:38: heben wir uns für die Folge,
01:46:41: wo wir über ...
01:46:43: vielleicht Social Media
01:46:44: sprechen auf. Was denkst du?
01:46:47: Social Media und News und alles, ja.
01:46:50: Ja, wahrscheinlich, da ist auch ein
01:46:52: bisschen Strengstoff
01:46:53: in dem Thema natürlich.
01:46:54: Ich kann jetzt vielleicht
01:46:56: als Sneak Preview dazu sagen,
01:46:58: ich denke, ich bin ein
01:47:00: großer Fan von Menschen,
01:47:02: und denke, Menschen
01:47:03: sollten Verantwortung kriegen
01:47:04: und frei sein, selbst zu
01:47:07: entscheiden, was sie wehtun
01:47:09: und was sie weh für echt nehmen.
01:47:11: Und ich bin ein Gegner
01:47:13: davon, dass jemand für einen tut,
01:47:16: entscheiden, was zu sein,
01:47:17: sehen solltest du was nicht.
01:47:18: Auch bei KIs mag ich das nicht.
01:47:20: Und deswegen mag ich
01:47:21: auch diese Ansätze nicht,
01:47:23: wo man die Modelle nimmt und so sehr ...
01:47:26: So wie du eben gesagt
01:47:26: hast, man sperrt die ein,
01:47:28: in so einen sehr engen
01:47:29: Korridor, das tut es jetzt für dich.
01:47:31: Dafür passt man das große Potenzial.
01:47:35: Ja, ich glaub, das nehmen
01:47:36: wir so als Inspiration am Ende
01:47:38: und als Schlussnote.
01:47:41: Ja, lass ich auch.
01:47:44: Ja, ich ...
01:47:46: Das ist super cool, dass
01:47:47: wir Dream Machines haben.
01:47:49: Also ... wir leben im Science-Fiction.
01:47:51: Genau, wir können ja
01:47:53: dann mal abstimmen danach.
01:47:54: Das ist ein Bug oder ein
01:47:55: Feature, bin ich eine spannende.
01:47:57: Ja, das ist gut.
01:47:59: Vielen Dank, Chris. Machen
01:48:01: wir jetzt mit der Arbeit weiter.
01:48:02: Vielen Dank, Kata. Ja,
01:48:04: lass uns ein bisschen träumen.
01:48:06: Bis dann.
Neuer Kommentar