Das folgende Transkript wurde mit Einsatz von Google Speech-to-Text API und ChatGPT v4.0 erstellt und anschließend auf Richtigkeit geprüft. Manche in der Podcastfolge getätigte Aussagen wurden zugunsten besserer Verständlichkeit gekürzt oder zusammengefasst, ohne deren Aussage zu verändern. Sollten Ihnen inhaltliche Fehler auffallen, mailen Sie bitte Ihre Hinweise an podcast@vz-bln.de. Vielen Dank!
Intro:
[00:00:00] Patrick Lohmeier: Hast du dir schon mal Gedanken darüber gemacht, welche Intro-Musik wir verwenden könnten? Hast du einen Wunsch? Was passt denn zum Thema KI?
[00:00:06] Sebastian Rotter: Haben wir freie Auswahl?
[00:00:09] Patrick Lohmeier: Es wäre fast eine freie Auswahl, was den Stil betrifft. Etwas Synthie vielleicht?
[00:00:14] Sebastian Rotter: Ja, das klingt natürlich ganz hervorragend für ein 90er-Jahre-Intro. Auf der Datenautobahn unterwegs mit dem Experten.
[00:00:23] Patrick Lohmeier: Ich gucke mal, ob ich etwas Schönes finde.
[00:00:25] [Retro-Computermusik wird lauter]
Expertengespräch:
[00:00:42] Patrick Lohmeier: Wir haben uns im Vorfeld der heutigen Aufnahme schon darüber ausgetauscht, wie wir am besten unser Gespräch über KI im Verbraucheralltag beginnen sollen. Du hast mir gesagt: Bitte bloß nicht mit der computergenerierten Stimme, die einen von KI generierten Einführungstext vorliest. Das haben schon tausendundeine andere Podcastfolgen zum Thema KI gemacht, und ich glaube, du hast mir den richtigen Zahn gezogen.
[00:01:06] Sebastian Rotter: Ja, ich finde immer, beim Podcast ist die gute alte Anmoderation immer noch das beste Mittel.
[00:01:11] Patrick Lohmeier: Ich schaue gleich trotzdem mal, was ChatGPT so ausgespuckt hat, aber zuerst sage ich mal: Dies ist genau genommen - Der Podcast der Verbraucherzentralen. Mein Gast zum Thema KI, Konsum und Kundenrechte – was bringt 2024? ist der Digitalreferent der Verbraucherzentrale Berlin, Sebastian Rotter. Schön, dass du dir die Zeit genommen hast.
[00:01:32] Sebastian Rotter: Hallo!
[00:01:34] Patrick Lohmeier: gerade diese Zeit am Jahresende beschert uns einen guten Anlass, um zu sagen: Das war's jetzt mit KI in diesem Jahr. Aber auch, um mal in die Zukunft zu blicken und ein bisschen zu spekulieren, zu fordern – Erwartungen und Wünsche zum zukünftigen Einsatz von künstlicher Intelligenz im Alltag von Verbraucherinnen und Verbrauchern zu äußern.
[00:01:54] Sebastian Rotter: Ja, das finde ich auch. Das Jahr 2023 hat ja unheimlich viele Neuigkeiten und spannende Entwicklungen gebracht. Jetzt, wo es dann wieder langsam kühler wird und man es sich zu Hause gemütlich macht, ist vielleicht auch mal wieder die Zeit, zurückzublicken – nicht nur auf das persönliche Jahr, sondern vielleicht auch auf die Entwicklungen, die uns in diesem Jahr quasi im Wochenrhythmus vorangebracht haben in diesem Bereich.
[00:02:15] Patrick Lohmeier: Ja, du sagst da etwas ganz Richtiges und Wichtiges. Denn es ist so, dass selbst wenn wir uns mal aufgrund der aktuellen Nachrichtenlage beispielsweise für eine Woche oder zwei oder drei nicht mit dem Thema KI im Verbraucheralltag auseinandersetzen, merkt man dann, wenn man es dann eben wieder tut, dass unglaublich viel und vor allem schnell passiert. Das ist ein riesiges Thema, das sich natürlich jetzt nicht in einer halben bis dreiviertel Stunde unseres Gesprächs packen lässt. Also, um das Ganze mal so ein bisschen runterzubrechen: Was beschäftigt dich denn im Zusammenhang mit KI besonders in letzter Zeit?
[00:02:48] Sebastian Rotter: Ja, wenn ich von mir persönlich ausgehe, kann ich sagen, dass mich natürlich die ersten Unterhaltungen mit ChatGPT, die wahrscheinlich viele mittlerweile schon mal selber ausprobiert haben, in ihren Bann gezogen haben. Es hat unheimlich viel Spaß gemacht, meinen Urlaub in Sizilien mal spaßeshalber zu planen, um zu sehen, welche Vorschläge es gibt, wie man zehn Tage auf der Insel gut verbringen kann, was man vielleicht sehen sollte und was vielleicht auch nicht.
[00:03:11] Sebastian Rotter: Was mich aber mittlerweile noch viel mehr persönlich vom Hocker gehauen hat, sind Bilder- und Videogeneratoren auf Basis von künstlicher Intelligenz. Es gibt im Internet ein paar spannende Prompts – Prompts sind quasi wie Befehle, die man der KI gibt, die sie dann ausführt, quasi wie eine Nachricht, die ich bei ChatGPT eingebe.
[00:03:30] Sebastian Rotter: Auf dieser Basis werden dann Bilder oder möglicherweise auch Videos generiert, und es gibt ein paar relativ ausführliche Prompts im Internet, die man sich vielleicht mal raussuchen und dann einfach spaßeshalber selber mal dort eingeben kann. Die Bilder, die man dort generiert bekommt, sind wirklich unglaublich. Ich war da persönlich einfach absolut geflasht. Und gleichzeitig fällt mir jetzt, wo wir gerade darüber reden, noch etwas Gutes ein: Du hättest die Anmoderation natürlich auch von einem Prominenten machen lassen können, indem du quasi die Stimme nimmst und die Anmoderation von Thomas Gottschalk oder jemand anderem vorlesen lässt. Das wäre natürlich ein absoluter Hammer gewesen.
[00:04:04] Patrick Lohmeier: Die nicht-prominente Stimme moderiert uns folgendermaßen an.
[00:04:07] Computergenerierte Stimme: Heute bei genau genommen - Der Podcast der Verbraucherzentralen tauchen wir tief in die Welt der Künstlichen Intelligenz ein, die immer mehr Einzug in den Alltag der Verbraucherinnen und Verbraucher hält. Unser Gast Sebastian Rotter, Digitalreferent der Verbraucherzentrale Berlin, bringt Licht ins Dunkel dieses komplexen und oft missverstandenen Themas. Dieses Interview bietet einen ausgewogenen und tiefgründigen Einblick in die Welt der KI im Verbraucheralltag und regt zum Nachdenken über die Auswirkungen der Technologie auf unser künftiges Leben an.
[00:04:42] Patrick Lohmeier: Ja, das fand ich auch ganz interessant. Das überrascht mich ehrlich gesagt am meisten bei generativer KI-Software: dass sie eine wertende oder auch moralisierende Ebene hineinbringt. Ich finde das ganz spannend.
[00:04:57] Sebastian Rotter: Ja, um noch einmal daran anzuknüpfen, was du gerade gesagt hast: Genau das ist der Punkt, der mich persönlich so sehr interessiert. Je präziser du die Anfrage formulieren kannst, umso präziser kann das Programm im Rahmen seiner Möglichkeiten und seines erlernten Wissens umsetzen, was du gerne haben möchtest. Gerade wenn wir in so einen kreativen Bereich kommen, stellen sich da unheimlich viele, ja fast schon philosophische Fragen.
[00:05:20] Sebastian Rotter: Ist das eine kreative Leistung, die die Maschine dort erbringt? Ich würde vielleicht eher nein sagen, weil Kreativität für mich immer auch etwas Menschliches an sich hat. Aber dann wäre die nächste Frage: Ist es vielleicht die kreative Leistung, den Prompt so zu formulieren, dass die Maschine ihn entsprechend umsetzen kann? Ist das Schreiben einer guten Anfrage kreativ?
[00:05:40] Sebastian Rotter: Ein Zitat, das mir noch im Kopf geblieben ist: Vielleicht sind Germanistinnen und Germanisten die Programmiererinnen und Programmierer von morgen, weil sie ebenso gut mit Sprache und Linguistik umgehen können, dass sie dem Programm sehr gut mitteilen können, was sie eigentlich genau benötigen. Das ist jetzt natürlich eine relativ offen formulierte Frage oder Hypothese, aber ich finde es unheimlich spannend, darüber nachzudenken.
[00:06:03] Patrick Lohmeier: Und das tun wir ja bereits. Es wurde ja auch medial extrem viel berichtet. Ich glaube, mittlerweile sind die Informationsquellen zum Thema künstliche Intelligenz und was technisch gerade möglich ist, im Jahr 2023 relativ umfangreich. Deswegen sparen wir uns an dieser Stelle mal ein paar Basics und empfehlen einfach weitere Quellen für grundlegende Informationen über das Thema künstliche Intelligenz im Begleittext zu dieser Folge. Ich möchte lieber fortsetzen mit meiner Anschlussfrage: Über was wird gemäß deiner Einschätzung im Zusammenhang mit künstlicher Intelligenz im Verbraucheralltag bisher noch zu wenig gesprochen?
[00:06:38] Sebastian Rotter: Es ist ja so ein riesiges Thema mittlerweile, und gefühlt versucht jeder sich in diesem Bereich zu profilieren oder zu engagieren. Es gibt schon viele Aspekte, die in der Breite besprochen werden. Zwei Punkte möchte ich an dieser Stelle auf jeden Fall noch mal hervorheben. Zum einen, um noch mal auf das Bild zurückzukommen, das ich mit der KI generiert habe: Der erste Gedanke war "Wow!", darüber haben wir gerade schon gesprochen. Der zweite ist ein Thema mit dem Urheberrecht. Dadurch, dass das Bild von einem neuronalen Netzwerk erstellt wird, welches mit Trainingsdaten gefüttert wurde, und diese Trainingsdaten natürlich bereits bestehende Bilder von Menschen sind, die diese Bilder geschaffen haben, ist natürlich die Frage, inwiefern da jetzt Urheberrechtsverletzungen vorliegen. Denn ich bin mir sicher, dass der gigantische Trainingsdatensatz nicht komplett hinsichtlich der Urheberrechte der betreffenden Menschen, die diese Bilder geschaffen haben, abgeklärt worden ist. Die zweite große Frage, die keine Nischenfrage ist, betrifft die Rechenschaft: Wenn ich beispielsweise meinen digitalen Assistenten frage, wie ich meine Medikation einnehmen soll, und er mir möglicherweise eine falsche Antwort gibt, und ich dann eine Überdosis Medikamente nehme – wer ist dafür verantwortlich am Ende des Tages? Ich finde gerade, weil das Thema mittlerweile eine unheimliche Geschwindigkeit aufgenommen hat, ist es sehr wichtig, auch wenn es vielleicht nicht die naheliegendsten Fragen sind, darüber zu sprechen und diese breit und zügig zu beantworten.
[00:08:04] Patrick Lohmeier: Bei diesem Aspekt, den du gerade ansprichst, bezüglich der Urheberrechtsverletzung oder möglicher Urheberrechtsverletzung: Ist bereits ein Fall bekannt, oder sind sogar mehrere Fälle bekannt, in denen Kunstschaffende festgestellt haben, dass ein Teil ihrer Arbeit in einem von KI generierten Bild wiederverwendet wurde? Zum Beispiel ein Bildausschnitt, von dem sie sagen können: „Ich kann zu 100% nachvollziehbar beweisen, dass ich dieses Foto gemacht, dieses Gemälde gemalt oder diese Zeichnung angefertigt habe“ und das dann einfach wiederverwendet und von einer weiteren Person gekauft oder sich generieren lassen und auf ihren Blog oder auf die Nachrichten-Webseite gestellt wurde?
[00:08:41] Sebastian Rotter: Also die Trainingsdaten, man muss sich das ja so vorstellen, sind ein unheimlich großer Satz an Daten, die eingegeben werden. Und die KI sucht sich quasi die Logik selbst aus den Daten heraus, es wird ja bewusst nicht vorgegeben, bestimmte Regeln beispielsweise, ein Bild von Salvador Dali beispielsweise soundso auszusehen. Das würde das Programm dann versuchen selbst zu erlernen. Und wenn du dann sagst, okay, ich hätte gerne ein Bild von Dali, das Bild mit den schmelzenden Uhren beispielsweise, bekommst du es so eins zu eins eigentlich nicht reproduziert, aber gewisse Aspekte, wie die schmelzenden Uhren, das lässt sich wunderbar wiedergeben, wenn du beispielsweise sagst: „Male mir ein Bild im Stile von Salvador Dali“. Die Anfrage „Male mir das Bild von Salvador Dali soundso“ würde so nicht funktionieren.
[00:09:30] Patrick Lohmeier: Ja, ja, und ansonsten, wenn man sich im Unklaren darüber ist, aber daneben ein echtes Foto sieht oder ein KI-generiertes Bild, das einem Foto sehr stark ähnelt, kann man aktuell noch den Tipp geben, auf die Gliedmaßen, auf die Muskulatur, auf die Feinheiten in den Gesichtszügen zu achten. Da hapert es noch an den Technologien, zumindest aktuell, Ende 2023.
[00:09:52] Sebastian Rotter: Ein anderes Thema sind dann Stimmen. Beispielsweise hat die Tagesschau ja unlängst davor gewarnt vor vermeintlich falschen Sprachmeldungen von ihren Sprecherinnen und Sprechern. Insofern sind sie schon ein wenig weiter und da wird es auch weiterhin wichtig sein, gut aufzupassen.
[00:10:08] Patrick Lohmeier: Ja, und in solchen Fällen heißt es dann auch wieder für alle Verbraucherinnen und Verbraucher: aufgepasst.
[00:10:13] Sebastian Rotter: Aber das wäre natürlich dann das Nächste, also bei Prominenten sind natürlich sehr viele Textaufzeichnungen verfügbar, wo die Personen sprechen. Von deiner Mutter beispielsweise, die dich anrufen würde, um zu sagen: „Überweise mir 2000 €“, da würden derzeit noch wahrscheinlich die Sprachdaten fehlen. Aber auf Dauer, ich sage mal, könnte ich mir das auch vorstellen, dass es funktioniert. Aktuell funktioniert es natürlich besonders gut mit prominenten Personen.
[00:10:38] Patrick Lohmeier: Auf jeden Fall Stoff für eine mögliche zukünftige Podcast-Folge zum Thema Telefon-Scams. Ich habe mir das mal notiert.
[00:10:45] Patrick Lohmeier: Kommen wir mal kurz bevor es auch wieder dann ein bisschen spannender wird, möchte ich mal sagen und ein bisschen gewagt aus unseren Ausblicken für die Zukunft, was die aktuelle Lage betrifft: Wie sieht es denn da aus? Nicht jeder Mensch, der uns zuhört, nutzt solche Online-Tools, generiert sich Fotos, Texte, Audio-Clips mit KI-Technologien. Aber dennoch möchte ich mal behaupten, dass neun von zehn von uns Verbraucherinnen und Verbrauchern bereits jetzt mit KI-Technologien im Alltag in Kontakt kommen.
[00:11:14] Sebastian Rotter: Ein relativ klassisches Thema sind beispielsweise Navigations-Apps. Wenn du unterwegs bist und dir dein Navigationssystem eine intelligente Route vorschlägt, zum Beispiel weil auf der B27 ein Stau auf der ursprünglichen Route vorgesehen ist, oder weil mittlerweile ermittelt worden ist, dass eine andere Route möglicherweise ein paar Minuten schneller ist oder vielleicht ein bisschen umweltfreundlicher.
[00:11:36] Sebastian Rotter: All diese Vorschläge beruhen auf Verkehrsdaten, die erhoben werden. Das ist ein klassisches Thema, wo bereits seit mehreren Jahren Anwendungen im Hintergrund laufen und dir auf Basis der erhobenen Daten Vorschläge machen, wie du vielleicht besser von A nach B kommst. Ein anderer Bereich, in dem viel im Hintergrund operiert wird, sind Kreditvergabe-Systeme bei Banken.
[00:12:01] Patrick Lohmeier: Oh ja, davon habe ich gehört.
[00:12:02] Sebastian Rotter: Hier muss man immer ein bisschen unterscheiden. Die BaFin hat sich das in diesem Jahr im Zuge der neuesten Entwicklungen auch noch einmal genauer angeschaut.
[00:12:10] Patrick Lohmeier: Die BaFin macht was genau?
[00:12:12] Sebastian Rotter: Die BaFin, also die Bundesanstalt für Finanzdienstleistungsaufsicht, quasi die Kontrollinstanz für Banken, hat festgestellt, dass es je nach Kreditbranche variiert, ob teilweise oder vollautomatisierte Systeme eingesetzt werden. Wo das auch mit vollautomatisierten Systemen vorkommt, ist beispielsweise im Ratenkreditgeschäft. Das hat für die Kundin und den Kunden natürlich auch den Vorteil, dass sie kurz ihre Daten eingeben, dann wird auf Basis der KI-Anwendung errechnet, ob die Kreditvergabe stattfinden kann oder nicht, und innerhalb weniger Minuten kann dann der Kredit auch verteilt werden. Andere Geschäfte, wo es bei weitem noch nicht so ist, sind beispielsweise das Baufinanzierungsgeschäft. Hier setzen die Banken, auch laut BaFin, weiterhin zum Großteil auf die menschliche Mitarbeit, um da einfach noch mal eine zweite Kontrollebene zu haben, weil es sich da auch um größere Geschäfte handelt.
[00:13:04] Patrick Lohmeier: Ich wollte gerade sagen, weil die Vorgänge da wahrscheinlich komplexer sind und die Summen größer, mit denen da hantiert wird, als wenn ich jetzt zum Beispiel einen Onlinekauf tätige. Deswegen auch sehr wichtig, der Hinweis darauf, dass es Vorteile für uns Kundinnen und Kunden bringt. Denn wir wollen ja gerade, wenn wir in einem Onlineshop etwas kaufen und eine Ratenkreditzahlung in Anspruch nehmen, nicht ein oder zwei Tage darauf warten, dass jemand, also ein Bankangestellter oder eine Bankangestellte, händisch geprüft hat, ob wir denn kreditwürdig sind.
[00:13:32] Sebastian Rotter: Genau, das Onlineshopping-Geschäft ist aber natürlich auch ein weiterer Bereich, wo sehr viele KI-Anwendungen eingesetzt werden. Personalisierte Werbung beispielsweise wird natürlich auch auf Basis deiner letzten Suchanfragen auf dich zugeschnitten. Wenn du beispielsweise nach Hundefutter suchst, kannst du natürlich davon ausgehen, dass dir in der nächsten Zeit verstärkt Anzeigen im Tierkontext angezeigt werden.
[00:13:55] Patrick Lohmeier: Das ist aber keine neuere Entwicklung, das gibt es ja schon seit vielen Jahren.
[00:13:59] Sebastian Rotter: Exakt, und gleichzeitig werden diese Daten, wie lange du dich auf gewissen Seiten aufhältst, dazu genutzt, um dich in Zukunft vielleicht noch stärker zum Kauf zu bewegen.
[00:14:11] Sebastian Rotter: Ein weiterer Bereich, der sich, finde ich, in den letzten Jahren auch noch relativ stark vergrößert hat, sind Gesundheitsanwendungen. Also, gerade durch Smartwatches oder diese Fitness-Tracking-Armbänder, sogenannte Wearables – das heißt auf Englisch tragbare Geräte –, überwachen deine Gesundheitsdaten. Und auch da kannst du natürlich gewisse Vorteile daraus ziehen, beispielsweise indem du deinen Schlafrhythmus überwachst oder personalisierte Ziele von deiner Fitness-App vorgegeben bekommst. Die App sagt dir dann beispielsweise, dass du, auf Basis deiner aktuellen Ausdauer und Kondition sowie der Nährwerte, die du zu dir nimmst, jetzt auf 20 km Laufen gehen kannst oder was auch immer. Auch da kommen viele Anwendungen zum Einsatz, und ich würde sagen, auch in diesem Bereich gibt es seit mehreren Jahren Anwendungen, die im Hintergrund laufen und das Nutzererlebnis verbessern.
[00:15:03] Patrick Lohmeier: Du hast einige bereits sehr geläufige Beispiele genannt, und ich habe auch festgestellt, dass du es versucht hast, möglichst neutral zu umschreiben. Gibt es denn bei diesen Anwendungsfällen Instanzen, in denen du sagst, ja, das sehen wir als Verbraucherzentrale eher kritisch, oder fällt sogar negativ auf? Gibt es eine Entwicklung, die wir durchaus befürworten? Wo denkst du, sind da irgendwie starke Ausschläge in die eine oder andere Richtung?
[00:15:27] Sebastian Rotter: Also das Potenzial der Anwendungen, den Alltag von Verbraucherinnen und Verbrauchern zu verbessern, das ist zweifelsohne vorhanden. Gleichwohl müssen wir jetzt, gerade vor dem Hintergrund, dass im Jahr 2023 die Entwicklungszyklen der generativen KI so stark zugenommen haben, darauf achten, dass die Regulierung auch entsprechend Schritt hält. Es ist immer natürlich ein gewisser Zeitversatz normal. Ein Produkt kommt auf den Markt, dann wird geschaut, welche Risiken und Probleme daraus entstehen könnten, und dann dauert es in Zeiten analoger Regulierung natürlich immer das eine oder andere Jahr, bis dann auch die Regulierung Schritt hält. Die Geschwindigkeit, mit der wir unterwegs sind, ist einfach sehr hoch, die Dynamik ist sehr groß, insofern sollten wir darauf achten, dass wir da auch regulativ Schritt halten.
[00:16:09] Patrick Lohmeier: Und da sagst du, die Entwicklung generativer KI schreitet in einer so rasanten Geschwindigkeit voran, dass die Regulierungsmaßnahmen hinterherhinken?
[00:16:19] Sebastian Rotter: Genau, das wird ja auch auf EU-Ebene angegangen. Derzeit wird dort das zentrale Problem verhandelt, um das sich viele Diskussionen drehen: das sogenannte Blackbox-Problem. Eine Blackbox ist eine Kiste, in die man nicht hineinschauen kann, sie ist quasi von außen nicht einsehbar.
[00:16:33] Patrick Lohmeier: Also wie der Flugschreiber, wie wir früher gesagt haben.
[00:16:35] Sebastian Rotter: Genau. Bei selbstlernenden oder generativen KIs besteht das Problem darin, dass sie sich ihre Lösungswege selber suchen. Sie bekommen also vom Entwickler nicht vorgegeben, wie der Lösungsweg auszusehen hat. Genau darin besteht die Herausforderung, dass sie sich diese Lösungen aus den Daten selbst erarbeiten. Ein beispielhafter Fall, der dies gut erklärt: Wenn ich einer KI beibringen möchte, wie Pferde aussehen, indem ich ihr immer Pferde im Stall zeige und sage, das sind Pferde, und zum Vergleich Bilder von Kühen auf Weiden zeige und der KI sage, das sind Kühe, dann besteht die Gefahr, dass die KI nicht lernt, Pferde von Kühen zu unterscheiden, sondern Ställe von Weiden. Somit könnte sie am Ende alle Tiere im Stall als Pferde und alle Tiere auf Weiden als Kühe deklarieren, nur um das mal bildlich darzustellen.
[00:17:33] Sebastian Rotter: Der Entwickler, der die KI trainiert, weiß das möglicherweise nicht, und dadurch entsteht eine gewisse Verzerrung in den Trainingsdaten. Daher wäre es für Verbraucherinnen und Verbraucher gerade bei zentralen Themen, wie beispielsweise einer Kreditvergabe, super wichtig zu wissen, wie die KI zu dieser Entscheidung kommt. Also, dass Transparenz und Nachvollziehbarkeit über den Prozess, der zu so einer Entscheidung führt, hergestellt wird.
[00:18:01] Patrick Lohmeier: Spannend. Also momentan gibt es darüber hauptsächlich keinen regulatorischen Prozess, mit dem man dieses Problem in den Griff kriegen sollte. Ich meine, ein definierender Aspekt der generativen KI ist eben dieses Generative, also dass sie neue Dinge aus bestehendem Wissen schafft, und das nachvollziehbar zu machen bzw., wie du es beschreibst, im Nachgang transparent zu gestalten, insbesondere den Weg, wie die generative KI zu ihrem Wissen oder zu ihrer Entscheidungsfindung, z.B. bei Kreditentscheidungen, gekommen ist. Das stelle ich mir wirklich als eine große Herausforderung vor, die momentan gar nicht wirklich mit irgendwelchen Gesetzen in den Griff zu bekommen ist.
[00:18:42] Sebastian Rotter: Ja, man kann natürlich gewisse Maßnahmen ergreifen. Ein ganz zentraler Punkt ist aber natürlich, dass du eine hohe Qualität an Datensätzen benutzt, mit denen du die KI trainierst, um entsprechende mögliche Risiken oder diskriminierende Eigenschaften nach Möglichkeit schon von vornherein auszuschließen. Gleichzeitig wird jetzt natürlich zu überlegen sein, wie man eine gewisse Transparenz in der Entscheidungsfindung herstellt. Denn wenn du individuell betroffen bist, möchtest du natürlich auch wissen, wie das Ganze funktioniert, um dagegen vorgehen zu können. Eine Maßnahme könnte sein, das Verbandsklagerecht auf Sammelklagen gegen KI-Anwender auszudehnen, sodass beispielsweise die Verbraucherzentrale im Namen geschädigter Verbraucher gegen die Anbieter vorgehen und Entschädigung einfordern kann.
[00:19:34] Patrick Lohmeier: Wie viel Transparenz müssen Anbieter jetzt schon gewährleisten? Müssen sie beispielsweise, wenn es um so etwas wie Kreditentscheidungen geht, kenntlich machen, dass eine generative KI, also eine Software, diese Kreditentscheidung trifft? Also, ob ein Kunde oder eine Kundin für kreditwürdig erachtet wird oder nicht? Müssen sie das jetzt schon kenntlich machen oder reicht es zu sagen: „Na ja, das passiert bei uns im Hintergrund, also müssen wir es nicht extra erwähnen“?
[00:20:01] Sebastian Rotter: Eine Aussage darüber hätte jetzt relativ kurz Bestand, denn bereits im Dezember wird die EU wahrscheinlich ihren sogenannten AI Act, also ihre KI-Gesetzgebung, verabschieden. Fertig werden müssen sie spätestens bis Februar 2024, da im nächsten Jahr Wahlen anstehen, und voraussichtlich drängt die derzeitige Ratspräsidentschaft darauf, dass es noch in diesem Jahr einen entscheidenden Beschluss gibt und alles in hohem Tempo fertiggestellt wird. Diese Gesetzgebung ordnet die generativen KI-Anwendungen in verschiedene Risikogruppen ein. Insgesamt sind vier verschiedene Risikostufen vorgesehen, die von inakzeptabel, also quasi verbotenen Anwendungen, über hoch, mittel bis zu geringem Risiko reichen. Das Besondere daran ist dann, dass die Anwendungen, so wie sie derzeit bestehen, in diese vier Kategorien einsortiert werden und je nachdem, auf welchem Level sie sich befinden, unterschiedliche Schutz- und Transparenzbedingungen erfüllen müssen.
[00:20:54] Patrick Lohmeier: Okay, ich habe eine ungefähre Vorstellung davon, was niedriges Risiko bedeuten würde, aber was wäre beispielsweise eine KI-basierte Entscheidung mit hohem Risiko?
[00:21:06] Sebastian Rotter: Ein Beispiel dafür wären etwa Zugangsprüfungen zu Universitäten. Ein anderes könnte sein, dass es um KI-Assistenzen bei robotischer Chirurgie geht, also wenn es wirklich um Leben und Tod geht. In solchen Fällen müsste dann gesetzlich festgeschrieben sichergestellt werden, dass es eine hohe Qualität an Datensätzen gibt, es muss ein angemessenes Risikobewertungssystem geben, und es müssen ausführliche Unterlagen zur Protokollierung der Tätigkeiten angelegt werden, um die Nachvollziehbarkeit der Ergebnisse sicherzustellen.
[00:21:43] Patrick Lohmeier: Okay, das klingt natürlich auch ein wenig beruhigend zu wissen, dass die EU sich auf gesetzlicher Ebene darum kümmert. Gibt es noch irgendwelche Aspekte von KI im Verbraucheralltag, die du bzw. wir als Verband der Verbraucherzentralen kritisch sehen?
[00:22:00] Sebastian Rotter: Ja, es gibt einen wesentlichen Aspekt, der auch noch Teil der Debatte auf EU-Ebene ist. Da geht es um KI, die ausliest, ob du gerade persönliche Schwächen hast, beispielsweise ob du müde bist, ob du in letzter Zeit Antidepressiva gegoogelt hast oder ähnliche Dinge, oder ob du beispielsweise zu Spielsucht neigst.
[00:22:19] Patrick Lohmeier: Okay, also du hattest eben schon von Wearables gesprochen, also quasi Fitnessarmbändern oder -uhren, die deinen Gesundheitszustand, deine Herzfrequenz, deinen Kalorienverbrauch, deine körperliche Aktivität und Leistungsfähigkeit überwachen. Aber wie sollen da die großen Anbieter an unsere Daten zu Themen wie Spielsucht und anderen menschlichen Schwächen kommen?
[00:22:43] Sebastian Rotter: Das passiert natürlich, wie bei vielen anderen Anwendungen auch, über eine Profilbildung aufgrund deines Online-Verhaltens. Gleichzeitig gibt es mittlerweile auch Anwendungen, die versuchen, deine Gesichtsemotionen auszulesen oder beispielsweise auch aufgrund deiner Körperhaltung bestimmte Emotionen zu ermitteln. Hier setzt sich die Verbraucherzentrale ganz klar dafür ein, dass KI-Anwendungen, die Emotionen erkennen oder persönliche Schwächen ausnutzen, verboten werden.
[00:23:10] Patrick Lohmeier: Wir sind jetzt die ganze Zeit komplett im digitalen Raum, deswegen fällt mir diese Analogie gerade auch ein bisschen schwer, aber das alte Sprichwort besagt ja: Papier ist geduldig, und Gesetze dauern lange in der Umsetzung. Oder etwas wird so von wegen man könnte ja mal darüber nachdenken, gerade auf EU-Ebene, beschlossen, aber bis das auf nationale Ebene übertragen ist, dauert es ja auch oft Monate oder Jahre. Müssen wir uns so lange gedulden, bis dieses akute Thema KI auch im Verbraucheralltag von der Politik in den Griff gekriegt wird, oder geht das vielleicht sogar schneller?
[00:23:39] Sebastian Rotter: Das Besondere bei der Regulierung, die gerade auf EU-Ebene ansteht, ist, dass es sich dabei um eine EU-Verordnung handelt. Auf EU-Ebene gibt es zwei verschiedene Arten von Rechtsakten, die erlassen werden können: das eine sind Richtlinien und das andere, die gerade angesprochenen Verordnungen. Richtlinien müssen, nachdem sie auf EU-Ebene beschlossen worden sind, noch in jedem einzelnen Mitgliedstaat ratifiziert werden, heißt also, die beschlossenen Regeln müssen noch mal in nationales Recht übersetzt und das nationale Recht geändert werden. Das dauert dann natürlich auch noch mal einige Jahre, und die ein oder anderen Mitgliedstaaten schludern dann auch ein bisschen. Bei einer Verordnung – und das ist jetzt das Besondere und deswegen ist die Diskussion glaube ich auch so groß – entfaltet sie, sobald sie in Kraft tritt, Rechtsbindung in allen Mitgliedstaaten gleichzeitig und muss also nicht mehr in nationales Recht überführt werden.
[00:24:26] Patrick Lohmeier: Und das begrüßen wir natürlich, dass es auch in diesem Fall sehr schnell geht, weil es eben auch ein sehr schnelles Thema ist, um es mal ganz platt auszudrücken.
[00:24:33] Sebastian Rotter: Gut, die Debatte hat jetzt mehrere Jahre gedauert, insofern ist es jetzt auch andersrum gesagt schön, dass es jetzt vielleicht auch zum Schluss kommt. Umso wichtiger ist es dadurch, dass es dann EU-weit gilt, dass Verbraucherinnen und Verbraucher Auskünfte und Erklärungen gegenüber Betreibern von diesen Hochrisiko-KI-Systemen fordern können.
[00:24:50] Patrick Lohmeier: Alles klar. Jetzt habe ich zu Beginn dieser Folge auch ein bisschen den Blick in die Glaskugel versprochen und einen Ausblick auf 2024 und darüber hinaus gegeben. Angesichts der schnellen Entwicklungen im Bereich KI-Technologien und generativer KI ist es natürlich schwierig, belastbare Aussagen darüber zu treffen, wo genau wir Mitte 2024 sind und vielleicht auch in ein, zwei, drei Jahren. Aber jetzt im Kontext Verbraucherinnen und Verbraucheralltag und künstliche Intelligenz, wo siehst du da die Entwicklung hingehen?
[00:25:21] Sebastian Rotter: Ja, wir haben schon einige Male über Wearables gesprochen in dieser Folge. Ich glaube, das wird für 2024 auch noch einmal ein wichtiges Thema werden, denn aktuell nutzen viele ja Laptops, PCs, Tablets oder Smartphones. Möglicherweise gibt es aber bessere Produkte, mit denen man diese Anwendungen nutzen kann. Eins davon, das Mitte November auf den Markt kam, ist der sogenannte iPin. Erfunden wurde er von einigen Apple-Ingenieuren. Das Ding sieht aus wie eine Brosche, du steckst es dir auch an die Kleidung wie eine Brosche und es besteht aus einem Laserprojektor, einem Mikrofon und einer Kamera. Wenn du das Ding benutzen willst, drückst du einmal drauf und kannst es dann entweder zum Vorlesen verwenden, dir mit dem Mini-Projektor Sachen auf deine Handinnenfläche projizieren lassen oder beispielsweise auch die aktuelle Einkaufsliste vorlesen lassen.
[00:26:13] Sebastian Rotter: Das ist Mitte November in den USA auf den Markt gekommen. Wann es in Deutschland verfügbar sein wird, weiß man derzeit noch nicht. Da ist auf jeden Fall viel Bewegung drin. Weitere Prototypen oder Modelle sind auch von anderen Anbietern vorgesehen. Es gibt noch eins, das aussieht wie eine Halskette und anscheinend alles aufzeichnet, was du den ganzen Tag sprichst, und es als Notiz an dein Smartphone sendet. Wir werden mal sehen, wie das mit dem Datenschutz aussieht. Dieser Pin verspricht zumindest, dass er nicht aufzeichnet, solange man ihn nicht aktiviert, also im Sinne von: Du möchtest ihn benutzen, drückst drauf und kannst dann mit ihm interagieren, wie du möchtest, und danach geht er wieder aus. Wir werden mal schauen, wie die Umsetzung am Ende des Tages aussehen wird.
[00:27:20] Patrick Lohmeier: VR-Technologien, also Virtual Reality-Systeme, Helme und Anwendungen für den Heimgebrauch waren vor 3-4 Jahren das allergrößte und allerwichtigste Thema. Letztendlich hat sich herausgestellt, dass sie für die meisten von uns im Alltag keine nennenswerte Rolle spielen. Wie ist es denn bei diesen Wearables, bei Smartwatches, die entsprechende Funktionalitäten haben, oder flexiblen Schmuckstücken, also Sachen, die man sich einfach an die Brust oder um den Hals hängt? Kommt das zu einem Preis auf den Markt, den sich auch Otto Normalverbraucher leisten kann?
[00:27:36] Sebastian Rotter: Also in den USA geht der iPin bei 699 $ los. Trotzdem muss man sagen, dass diese Versuche, wie du schon beschrieben hast, ein bisschen auf der Suche nach dem nächsten großen Ding sind, was möglicherweise das Smartphone auf Dauer ersetzen könnte. Ehrlich gesagt, muss man einfach sagen, mit Hardware lässt sich auch einfach verdammt viel Geld verdienen, gerade wenn man sich in solchen Größenordnungen bewegt und den Anspruch hat, dieses mittlerweile für viele essentielle Gerät zu ersetzen. Insofern bin ich gespannt, was auf uns zukommt, und am Ende des Tages muss es dann ein Produkt sein, das sich für den Massenmarkt umsetzen lässt.
[00:28:19] Patrick Lohmeier: Und noch ein Blick auf das kommende Jahr und die Jahre darüber hinaus, aber ich möchte jetzt mal bei 2024 bleiben. Alles darüber hinaus wäre zu gewagt, etwas zu prognostizieren. Was diese EU-Verordnung betrifft, glaubst du, dass sie tatsächlich, sagen wir mal, Onlineshopping-Prozesse, Kreditvergabe-Prozesse maßgeblich beeinflussen wird, oder denkst du, dass sie, obwohl sie in eine gesetzliche Form gegossen wurde, spürbar für Verbraucherinnen und Verbraucher keine große Änderung mit sich bringt?
[00:28:47] Sebastian Rotter: Es wird sich auf jeden Fall etwas ändern, allerdings dauern die Verhandlungen zur Stunde noch an. Man hat auch in der Vergangenheit gesehen, dass sich gerade auf den letzten Metern noch mal einiges tut. Derzeit gibt es wohl auch noch Streit zwischen den Mitgliedstaaten darüber, was genau in welche Gruppe kommt und in welchem Ausmaß die ganzen Pflichten erfüllt werden müssen. Deutschland möchte beispielsweise laut Medienberichten derzeit die Nutzung von biometrischen Daten zur Strafverfolgung in diese inakzeptable Gruppe mit aufnehmen, was also dann ein Verbot zur Folge hätte. Frankreich als Gegenpol möchte sich die Möglichkeit weiterhin offenhalten. Da wird man bis zum 6. Dezember oder dann spätestens bis Februar 2024 noch zu einer gütlichen Einigung kommen müssen. Dementsprechend ist es gerade noch schwer zu sagen, was jetzt am Ende in der endgültigen Version drinstehen wird, aber es wird auf jeden Fall spürbar werden.
[00:29:36] Patrick Lohmeier: Was haben wir Verbraucherinnen und Verbraucher denn im Zusammenhang mit Smart-Home-Geräten oder virtuellen Assistenten und künstlicher Intelligenz für 2024 oder darüber hinaus zu erwarten?
[00:29:48] Sebastian Rotter: Beim Deutschen Zentrum für Künstliche Intelligenz läuft gerade ein Forschungsprojekt, in dem sie quasi ein ganzes Haus komplett smart gemacht haben, um die Vorteile für die Themen Barrierefreiheit und Teilhabe aufzuzeigen. Es gibt Komponenten wie beispielsweise höhenverstellbare Küchenplatten, das heißt, je nachdem, wie du dich körperlich aufstellst, kann die Küchenplatte sich heben oder senken. Es gibt intelligente Rollstühle, die dich zielgerichtet von A nach B bringen können. Du musst also nicht selber durch die Wohnung rollen, sondern kannst dem Rollstuhl sagen, dass du jetzt gerne in die Küche fahren möchtest, und dann steuert er dich dort zielgerichtet hin. Ich finde das ein super spannendes Thema. Ob das 2024 dann bereits alles massentauglich produziert werden kann, sei mal dahingestellt, aber auch da ist einfach unheimlich viel Bewegung drin.
[00:30:47] Patrick Lohmeier: Okay, spannend. Jetzt mal ein Schritt zurück von den technologischen Entwicklungen für 2024 und darüber hinaus und ein bisschen mehr auf das private Nutzungsverhalten schielend. Wir haben positive Aspekte der ganzen Entwicklungen im Bereich KI angesprochen, zum Beispiel die Schnelligkeit finanzieller Entscheidungen oder twenty-four-seven Kundenservice, also dass immer möglicherweise auch ein digitaler Ansprechpartner da ist, der auch Retourenminimierung führt. Aber ich glaube, gerade dieser Aspekt und diese vermeintlich positiven Aspekte führen bei vielen Menschen auch zu Verunsicherung. Was ist, wenn noch mehr Prozesse im Alltag automatisiert werden und jetzt von, ich sage mal in Gänsefüßchen, Robotern erledigt werden? Wenn ich beim Callcenter anrufe und eine Roboterstimme mich assistiert, oder wenn die Nachricht, die ich per Mail, SMS, WhatsApp oder iMessage bekomme, von einer KI geschrieben wurde, gibt es da auch Möglichkeiten, in die Zukunft blickend, Verbraucherinnen und Verbrauchern Unsicherheiten zu nehmen?
[00:31:52] Sebastian Rotter: Es ist natürlich ein zweischneidiges Schwert. Auf der einen Seite, wie du schon schön formuliert hast, gibt es viele Ansätze oder Anwendungen, mit denen Verbraucherinnen und Verbraucher in der Zukunft möglicherweise besser zurechtkommen werden, beispielsweise im Online-Shopping-Bereich.
[00:32:05] Patrick Lohmeier: Oder zu Hause mit digitalen Assistenten, im Smarthome-Bereich, Barrierefreiheit ist so ein großes Thema.
[00:32:14] Sebastian Rotter: Eine nicht so gewagte, aber steile These für das Jahr 2024 und darüber hinaus ist allerdings auch, dass Abzocker diese Anwendungen garantiert benutzen werden. Zum Beispiel SMS wie: „Hallo Mama, hier ist meine neue Nummer.“ Und insofern kann man natürlich versuchen, die Sorgen zu nehmen, und es hat auch viele Vorteile. Hier noch einmal ganz deutlich der Appell an alle, die sich für das Thema interessieren und vielleicht mit Sorgen erfüllt sind: Nicht so viel Berührungsangst haben! Wir sind jetzt gerade noch relativ in den Kinderschuhen. Das kann vielleicht in zwei bis drei Jahren noch einmal ganz anders aussehen, wenn die Geschwindigkeit so fortschreitet, wie es derzeit der Fall ist. Deswegen ist jetzt eine super Gelegenheit, sich mal ganz mit dem Thema auseinanderzusetzen, auch wenn vielleicht die Hürde für die eine oder andere Person höher ist als für andere. Einfach mal keine Berührungsängste haben, mal herausfinden, was es mit dem Chatbot so auf sich hat, vielleicht mal anmelden, sich ein bisschen damit unterhalten und ganz wichtig: Medienkompetenz aufbauen. Denn die Abzocker werden auch mit einer gewissen Geschwindigkeit voranschreiten.
[00:33:14] Sebastian Rotter: Die Verbraucherzentralen sind immer dafür da, dann weiterzuhelfen, wenn man mal in so eine Masche reingeraten ist. Aber am Ende ist natürlich am meisten geholfen, wenn diese Abzocker gar kein Feld haben, auf dem sie unterwegs sein können.
[00:33:27] Patrick Lohmeier: Danke, Sebastian, für deine Expertise. Ich merke schon, das zweischneidige Schwert bleibt uns auch 2024 erhalten, und wir können gespannt sein auf die Dinge, die da kommen. Vielen Dank jedenfalls für deine Expertise. Das war Sebastian Rotter.
[00:33:42] Sebastian Rotter: Immer wieder gerne, vielen Dank für die Einladung.
Outro:
[00:33:49] Patrick Lohmeier: Vielen Dank an meinen Kollegen Sebastian und an alle Menschen, die die Produktion dieser Podcastreihe ermöglichen. Und natürlich möchte ich mich bei Ihnen für Ihr Interesse an unserem heutigen Thema bedanken. Viele weitere Folgen von genau genommen können Sie in so gut wie allen Podcatchern und Audio Apps hören, wo Sie uns kostenlos abonnieren können. Wenn Sie uns bereits bei Spotify, Apple Podcast oder Audible hören und Ihnen unser Format gefällt, bewerten Sie uns doch mit ein paar Sternchen. Oder: empfehlen Sie uns weiter. So oder so freue ich mich über Ihren Zuspruch. Weitere Informationen rund um Ihre Verbraucherrechte in der digitalen und analogen Welt finden Sie unter www.verbraucherzentrale.de. In ein paar Tagen hören wir uns mit einer Podcastfolge zu einem anderen spannenden Thema wieder. Bis dahin erreichen Sie mich für Feedback und Themenwünsche per E-Mail an podcast@vz-bln.de. Dies war genau genommen – Der Podcast der Verbraucherzentralen, mein Name ist Patrick Lohmeier und freue mich aufs Wiederhören.
