00:00:00: Hallo und herzlich willkommen zu unserem Lernangebot KI in der Medizin. Ich begrüße heute wieder

00:00:12: Kerstin Ritter bei mir im Studio. Hi Kerstin! Hi Mike! Heute sprechen wir über Deep

00:00:19: Learning nachdem wir uns die letzten beiden Folgen intensiv mit Machine Learning beschäftigt haben heute also ein neues, ein weiteres Teilgebiet der künstlichen Intelligenz und da geht meine Frage direkt wieder an Kerstin. Kerstin was ist Deep Learning?

00:00:35: Deep Learning ist ein Teilbereich des maschinellen Lernens, was wiederum ein Teilgebiet der künstlichen Intelligenz ist.

00:00:43: Wie wir schon besprochen hatten,

00:00:46: ging es generell bei der künstlichen Intelligenz oft darum, regelbasiertes Lernen zu machen. Das heißt, man gibt einem Computer bestimmte Regeln und dieser Computer hält sich an diese Regeln, um bestimmte Entscheidung zu treffen. Während bei maschinellem Lernen und auch beim Deep Learning der Computer selbstständig anhand von Beispielen lernt.

00:01:06: Der Hauptunterschied zwischen Deep Learning und maschinellen Lernen ist, dass

00:01:12: beim Deep Learning häufig eine eigene Repräsentation der Daten gelernt werden.

00:01:18: Während beim maschinellen Lernen häufig menschliche Experten darüber befinden, welche Features am besten die Input-Daten beschreiben

00:01:26: und bestimmte Eigenschaften einfach rausgreifen, z.B. das ein Auto Räder braucht oder eine bestimmte Farbe hat, lernt ein

00:01:36: Deep Learning-Algorithmus die selbstständig anhand von Daten zu lernen. Das ist tatsächlich auch das was, diese Deep Learning-Algorithmen so erfolgreich macht. Das hört sich sehr stark danach an, als wäre Deep Learning eine

00:01:50: konstante Weiterentwicklung von maschinellem Lernen. Kann man das so sehen? Ja, das ist schwierig zu sagen. Deep Learning gibt es eigentlich

00:01:58: schon relativ lange, also natürlich hat generell maschinelles Lernen relativ frühe Anfänge.

00:02:05: Es gab dann bestimmte Weiterentwicklung schon in den 90er Jahren, die eigentlich zu diesen Erfolgen von Deep Learning schon hingeführt haben. Die Techniken sind gar nicht so neu, aber dadurch dass wir jetzt viel mehr Daten haben und auch bessere Rechenpower,

00:02:20: können wir diese Netzwerke trainieren und die haben dann letztendlich zu diesem Erfolg

00:02:25: geführt. Trotzdem, man kann eigentlich nicht sagen, dass es eine stetige Entwicklung war, sondern es gab immer

00:02:31: wieder neue Entwicklung, dann gab es Rückschläge, dann gab es andere Entwicklung.

00:02:36: Deep Learning ist so richtig erfolgreich und, man sagt, seit 2006 gibt's den Begriff, dass er immer häufiger  verwendet wurde, das begann mit

00:02:48: Geoffrey Hinton, mit der "Restricted Boltzmann Machine"

00:02:53: und seit 2012 gabs die großen Durchbrüche bei großen Machine Learning Challenges, in denen Deep Learning verwendet wurde. Würdest du sagen, dass oder könnte man sagen, dass das Deep Learning sozusagen eine Abzweigung vom maschinellen Lernen darstellt?

00:03:11: Ja, also man könnte

00:03:13: sagen, es ersetzt nicht die traditionellen und Standardverfahren, die sind immer noch in sehr vielen Bereichen nützlich, insbesondere da, wo gute Features existieren.

00:03:25: Aber man kann mit Deep Learning-Algorithmen direkt

00:03:29: Bilder verarbeiten, also man muss nicht sagen, was suchen wir denn genau auf den Bildern oder was könnten bestimmte Eigenschaften sein, sondern man gibt Bilder und versucht dann etwas

00:03:41: komplexere Probleme zu lösen. Ich kann Beispiel nennen aus der

00:03:46: MRT Bildgebung, aus dem Bereich in dem ich forsche. Ein Beispiel wäre, dass man das Hippocampus-Volumen nimmt und

00:03:55: auf Basis dieses Volumens zwischen Patienten mit Alzheimer und gesunden Kontrollen klassifiziert. Da würde man einen Standard-Maschinelles Lernenverfahren benutzen. Wenn man aber das gesamte MRT-Bild in so einen Algorithmus gibt, dann wäre das

00:04:10: eine Aufgabe für einen Deep Learning-Algorithmus, der dann die Struktur von diesen Bilddaten ausnutzen kann. Man

00:04:19: würde dann vermuten, dass sowohl das maschinelle Lernen als auch das Deep Learning auch in Zukunft im Bereich der künstlichen Intelligenz koexistieren werden.

00:04:27: Genau, wobei ich mich da nicht festlegen würde. Diese Deep Learning-Algorithmen

00:04:33: sind in vielen Aufgaben wirklich schon sehr gut und deswegen werden die von großen Firmen wie Google, Facebook und so weiter zur Datenanalyse, zur Bilderkennung, zur Spracherkennung und überall eingesetzt.

00:04:47: Gehen wir ein Schritt zurück, um da zu sehen, was würdest du sagen: was sind die wichtigsten

00:04:54: geschichtlichen, historischen Events, aus denen das Deep Learning heraus entstanden ist?

00:05:00: Schon in den 1950er Jahren wurde z.B. das Perceptron entwickelt. Das ist ein ganz einfaches Modell, mit dem man schon bestimmte Aufgaben lösen konnte. Das wurde dann

00:05:14: in den 60ern stark kritisiert. Das hat dann mit diesen sogenannten KI-Winter eingeläutet. Das Problem war nämlich, dass dieses Perceptron ganz einfache Probleme

00:05:24: nicht lösen konnte.

00:05:27: Dann war es relativ ruhig. In den 90er Jahren kamen dann die Support Vector Machines auf, über die hat wir das letzte Mal kurz gesprochen. Das sind maschinelle

00:05:39: Lernalgorithmen, die man für Klassifikations- oder auch Regressionsaufgaben einsetzen kann,

00:05:46: deren Hauptmerkmal ist, dass die Margin z.B. zwischen zwei Klassen maximiert wird. In den 90er Jahren wurden auch sogenannte Convolutional Neural Networks von Yann LeCun entwickelt.

00:05:57: Das sind diese Netzwerke, die besonders gut in der Bilderkennung sind. Das sind Netzwerke, Deep Learning-Netzwerke, die die Bildstruktur ausnutzen können.

00:06:07: Die wurden damals schon eingesetzt, z.B. um handschriftliche Zahlen

00:06:17: zu erkennen. Da gibt es einen Datensatz, MNIST heißt der, der sehr beliebt ist im maschinellen Lernbereich und da geht es im Prinzip darum,

00:06:24: Zahlen zu erkennen, die handschriftlich geschrieben sind. Dann gab es 2006 die Entwicklung der Restricted Boltzmann Machine und dann 2012 gab es

00:06:35:

00:06:36: vor allen Dingen die Challenge ImageNet. Da hat man Millionen von Bildern und über 1000 Kategorien und dann geht's darum, dass man einen Algorithmus trainiert, der zwischen diesen Kategorien unterscheiden kann. Durch Deep Learning sind die Fehlerquoten hier ganz stark

00:06:52: gesunken. Ein ähnliches Beispiel, etwas später, gibt's im Bereich der Spracherkennung, wo

00:06:58: die Klassifikations-Algorithmen viel besser mit Deep Learning funktioniert haben als mit Standard-Maschinellen Lernen. Also haben wir

00:07:06: mit Deep Learning schon fast eine Geschichte von knapp 70 Jahren. Du hast einige Sachen genannt, die tatsächlich in der Vergangenheit lagen.

00:07:16: Werfen wir vielleicht mal ein Blick auf Beispiele aus dem Hier und Jetzt. Es gibt ja ganz viele verschiedene Felder, in den Deep Learning heutzutage zur Anwendung kommt. Vielleicht können wir mal einige

00:07:29: herausgreifen und wichtige nennen. Einige haben wir auch bereits genannt. Kerstin, was würdest du sagen, vielleicht noch mal

00:07:37: beginnend mit einem Beispiel aus der Medizin möglicherweise? In der Medizin werden viel diese sogenannten Convolutional Neural Networks eingesetzt,

00:07:46: also z.B. bei der Erkennung von Hautkrebs oder bei der Segmentierung von Bildgebungsdaten, z.B. der Prostata oder von Läsionen im Gehirn.

00:08:03: Es gibt Chatbots

00:08:04: in der Medizin. Da gibt es ja Firmen, die das machen wie Ada Health z.B. Es gibt

00:08:13: auch einen online Psychotherapeuten.

00:08:16: Also da passiert viel. Viel auch z.B. in der Spracherkennung. Kann man anhand der Sprache erkennen, ob jemand eine bestimmte Erkrankung hat

00:08:25: oder ob jemand z.B. depressiv ist? Das wäre ein Beispiel oder auch ob es vielleicht in Richtung Demenz geht?

00:08:34: Ein anderes Beispiel ist Schizophrenie. Ob die Sprache ein bisschen zerfasert und teilweise vielleicht undeutlich wird bzw. ob sich schon wahnhafte Züge erkennen lassen.

00:08:46: Da passiert momentan sehr viel. Man muss da natürlich immer aufpassen und gucken, auf was für Daten wurden das trainiert. Zum Beispiel bei Sprache:

00:08:55: Wenn es nur auf Sprachdaten von Männern trainiert wurde, dann ist es natürlich schwierig, dass auf Frauen zu generalisieren, wenn es nur auf einem bestimmten Dialekt trainiert wurden, ist es schwierig für andere Dialekte und Sprachen.

00:09:08: Aber da passiert unglaublich viel. Um noch ein ganz interessantes Thema anzusprechen:

00:09:15: Es gibt sogenannte Generative Adversarial Networks. Das sind Netzwerke, in denen zwei unterschiedliche Netzwerke konkurrieren, nämlich eines, dass neue Daten generiert, nämlich sogenannte Fake-Daten

00:09:29: und ein anderes Netzwerk, dass versuchst zwischen dem Fake-Daten und tatsächlichen Daten zu unterscheiden. Indem die beiden

00:09:37: konkurrieren, werden diese generierten Daten immer besser und werden den tatsächlichen Daten immer ähnlicher. Das setzt man in der Medizin ein, um Daten zu

00:09:48: generieren, also neu zu erschaffen. Da kann man z.B. aus MRT-Daten CT-Bilder

00:09:58: erzeugen. Das ist natürlich sehr interessant. Wenn für eine bestimmte Person bestimmte Daten nicht vorhanden sind, dass man die dann aus anderen vorhandenen Modalitäten vorhersagen kann.

00:10:07: Ist es so, dass die KI mittels Deep Learning mittlerweile auch

00:10:13: Behandlungsmethoden vorschlagen kann oder ist das nach wie vor dem Mediziner überlassen? Ja, die Idee ist natürlich schon, dass man das dann auch benutzt, um zu sagen, welche Person eigentlich von einer bestimmten Behandlung profitieren wird. Zum Beispiel in der Onkologie und bei Tumorboards, da gibt es sehr viele Ideen und auch Ansätze,

00:10:34: wie man das machen kann. Das Grundproblem, dass wir haben ist, dass wir oft

00:10:41: nicht gute Daten dafür haben. Wenn wir vorhersagen wollen, welche Therapie bei wem am besten ist, braucht man natürlich

00:10:48: Daten von vielen Leuten, die unterschiedliche Therapien bekommen haben und dann auch die Verläufe dazu. Wir haben im Bereich Multiple

00:10:57: Sklerose haben wir ein Projekt dazu, wo es

00:11:01: nicht direkt darum geht, die Therapie vorherzusagen, aber vorherzusagen, wie sich die Krankheit entwickeln wird.

00:11:09: Das ist eine sehr schwierige Aufgabe, weil das

00:11:13: immer sehr unterschiedlich ist. Deswegen wird die Erkrankung auch die, mit den 1000 Gesichtern genannt und es dann natürlich wieder davon abhängt, welche Medikamente man gibt. Im Bereich MS gibt es verschiedene Medikamente, die

00:11:27: zugelassen sind und die teilweise starke Nebenwirkungen haben. Dann ist es ein Ausprobieren. Man guckt, was verträgt die Personen gut, kommt es zu einem neuen Schub?

00:11:37: Wenn ja, wechselt man das Medikament und geht so weiter, das ist ein iterativer Prozess. Man kann sich hier ganz gut vorstellen, dass es recht schwer ist, hier einen

00:11:48: guten, schönen Datensatz zu generieren, den man dann wirklich dazu verwendet,

00:11:53: Vorhersagen zu machen. Aber natürlich, das ist genau die Grundidee von personalisierte Medizin, dass man Informationen über eine Person ausnutzt und dann vorhersagt, welche Therapie denn am

00:12:04: besten funktioniert. Würdest du sagen, wir haben sehr viel über Daten gesprochen, dass es nur sozusagen im Moment ein Mangel an Daten ist

00:12:14: und dass es nur eine Frage der Zeit ist, bis die KI Behandlungs- oder Therapiemethoden vorschlagen kann oder wird?

00:12:24: Ja, grundsätzlich würde ich sagen, je mehr Daten wir haben, desto besser.

00:12:29: Andererseits haben wir auch darüber gesprochen, dass es nicht nur genügt einfach mehr Daten zu haben, sondern man braucht auch gute Daten und standardisierte Daten. Das ist wirklich eines der Hauptprobleme, dass die Daten

00:12:41: nicht unbedingt vergleichbar sind zwischen unterschiedlichen Krankenhäusern, teilweise sogar nicht zwischen unterschiedlichen klinischen Abteilung. Deswegen ist es so wichtig, dass daran gearbeitet wird,

00:12:55: wie man Wissen repräsentiert, wie man Daten repräsentiert in der Medizin und wie man das vereinheitlicht, um dann diese Daten

00:13:03: besser nutzen zu können. Ein bisschen sieht man das bei seltenen Erkrankungen, wo schon

00:13:07: mehr versucht wird, über Krankenhäuser hinweg minimale Datensets zu generieren, der dann einheitlich für alle ist, die gleiche Sprache benutzt. Sowas ist dann natürlich super dankbar für spätere Algorithmen. Also neben dem

00:13:23: reinen Sammeln von Daten geht's dann tatsächlich um eine übergreifende Standardisierung bei der Erhebung solcher.

00:13:32: Genau, im besten Fall wirklich bei der Erhebung. Es gibt natürlich auch Methoden, die darüber hinweg lernen können.

00:13:39: Als Beispiel bei den MRT-Bildern: es gibt unterschiedliche Scannertypen, es gibt unterschiedliche Magnetfeldstärke, es gibt unterschiedliche Sequenzen und

00:13:49: das heißt, die Daten sind schon unterschiedlich zwischen unterschiedlichen Forschungsinstituten oder auch Krankenhäusern. Und wenn

00:13:59: man ganz viele Daten von all diesen Krankenhäusern hat, dann kann ein Algorithmus auch darüber hinweg lernen, dass es diese Unterschiede gibt. Da gibt es Methoden, aber das ist natürlich

00:14:13: mühsamer und man braucht tendenziell auch mehr Daten dafür.

00:14:17: Jetzt hast du vorhin von einem Beispiel gesprochen im Bereich des Deep Learning. Du hast das Perceptron genannt.  Hierbei handelt es sich um eine Verschaltung künstlicher Neuronen.

00:14:30: Damit haben wir einen weiteren wichtigen Teilbereich, nämlich dass der neuronalen Netzwerke. Vielleicht

00:14:37: können wir da mal ein Stück drauf eingehen? Kerstin, was sind künstliche neuronale Netzwerke? Ja, also künstliche neuronale Netzwerke sind eigentlich die Grundlage von

00:14:47: Deep Learning und künstliche neuronale Netzwerke bestehen aus künstlichen Neuronen.

00:14:53: Das sind eine Abstraktion von menschlichen Nervenzellen, in dem Sinne, dass man ein bestimmtes Input-Signal hat und dann ein bestimmtes Output-Signal oder Eingabedaten und Ausgabedaten.

00:15:06: Das funktioniert so, dass die Eingabedaten

00:15:11: auf eine bestimmte Weise gewichtet werden, aufsummiert werden und dann wird eine nicht-lineare Funktion appliziert, die dann entscheidet, ob dieses Neuron feuert, also aktiv ist oder eben nicht. Das ist

00:15:25: eine Abstraktion von einem biologischen Neuron. Das ist nicht dasselbe, es ist davon inspiriert. Es ist eine der Kernfragen, inwieweit

00:15:34: künstliche neuronale Netzwerke biologische neuronale Netzwerke abbilden. Biologische neuronale Netzwerke sind wahnsinnig kompliziert und wahnsinnig verschaltet, aber die Grundidee kommt schon

00:15:46: von den menschlichen Neuronen. Dann hat man ein künstliches Neuron, wie gesagt, man hat Eingabedaten und Ausgabedaten, in der Mitte findet eine bestimmte Berechnung statt

00:15:57: und bei den künstlichen neuronalen Netzwerken verschaltet man solche Neuronen miteinander.

00:16:03: Dann kommt man zu sogenannten mehrschichtigen Perceptrons. Man hat dann eine Eingabeschicht, das kann z.B. ein Bild sein, das können aber auch irgendwelche anderen Daten sein. Dann hat man meistens

00:16:16: eine oder auch mehrere "hidden layers", versteckte Schichten, in denen bestimmte Berechnungen gemacht werden. Am Ende hat man ein

00:16:26: Output-Signal, eine Ausgabeschicht. Das kann z.B. die Kategorie sein, die man lernen möchte. Wenn man z.B. Hunde Bilder von Hunden hat und Bilder von Katzen, dann möchte man

00:16:38: vielleicht lernen, ob auf diesem Bild ein Hund oder eine Katze zu sehen ist und das wäre dann genau das, was man dann

00:16:46: als Output aus diesem Netzwerk herauskriegen möchte. Das Wesentliche an diesen Perceptrons ist, dass die Neuronen hier in Schichten

00:16:53: organisiert sind. Du hast gesagt, dass biologische neuronale Netzwerke wesentlich komplexer

00:17:02: in der Freischaltung sind. Was würdest du sagen, was sind weitere wichtige Unterscheidungsmerkmale künstlicher neuronaler Netzwerke und biologischer?

00:17:11: Man nimmt zum Beispiel diese Nicht-linearität, dann nimmt man eine bestimmte Funktion, die dann dazu führt ob das Neuron feuert oder nicht feuert. Da weiß man aus der Biologie, dass es da

00:17:25: auch unterschiedliche Neuronen gibt, die nicht unbedingt solchen Funktionen folgen. Das ist ein weiterer Unterschied. Außerdem sind die

00:17:36: Neuronen auch nicht

00:17:37: unbedingt in solchen Schichten organisiert, sondern folgen unterschiedlichen Prinzipien, auch innerhalb des Gehirns. Du sprichst immer von "feuern"

00:17:49: der Neuronen. Was können wir uns darunter vorstellen? Bedeutet freuen, dass tatsächlich ein Impuls ausgeht zu einem weiteren Neuron?

00:17:58: Genau, das bedeutet das, dass das Neuron aktiv ist. Das

00:18:04: wird dann zum Beispiel auf 1 gesetzt, das Neuron, und das wird dann weitergegeben oder es wird nicht gefeuert, dann wird es zum Beispiel auf Null gesetzt.

00:18:13: Es führt immer zu einer Form von Output. Selbst wenn es auf 0 gesetzt wird, ist sozusagen keine Entscheidung erfolgt, oder?

00:18:21: Genau, es liegt daran.. also, man hat nicht nur dieses eine Neuron. Das

00:18:27: hat z.B. dazu geführt, dass man bestimmte nicht-lineare Funktionen, relativ einfache, nicht lernen kann, sondern man hat eine Verschaltung von

00:18:36: vielen solcher Neuronen. Das

00:18:39: ist das wesentlich. Damit können beliebige komplexe nicht-lineare Funktionen gelernt werden, weil man diese Nicht-linearität da drin hat. Sonst hätte man nur

00:18:50: lineare Funktionen, die miteinander verschaltet werden, die dann wieder eine lineare Funktion abbilden können, aber eben nicht beliebige nicht-lineare Funktion. Deswegen werden Deep Learning-Netzwerke als

00:19:04: universaler Funktionsapproximator angesehen, weil sie sehr gut beliebige Funktionen lernen können aus Daten. Wenn man einen Trainings-Datensatz hat, dem zufällige Daten gibt und der Algorithmus lernt da eine Funktion abzubilden, wenn man es genügend komplex macht, so dass man eine

00:19:22: recht gute Klassifikationsgenauigkeit kriegt, also wie gesagt sogar zufällige Daten. Nur wenn man dann

00:19:29: Testdaten dazu gibt, dann wird das dann wieder nicht funktionieren. Dann wird das runtergehen. Deswegen versucht man

00:19:38: innerhalb von Trainingsdaten

00:19:41: Funktionen zu erzeugen, also etwas zu lernen, was dann auch wirklich generalisiert werden kann.

00:19:48: Es fiel schon ganz häufig der Begriff des Lernens. Kannst du noch mal konkreter darauf eingehen, wie lernt ein neuronales Netzwerk?

00:19:56: Das Lernen, das ist das Anpassen der Gewichte. Ich hatte ja am Anfang gesagt, dass ein künstliches

00:20:04: Neuron, dass man die Input-Daten hat und dass die dann gewichtet werden,

00:20:11: jeder Input wird mit einer Zahl multipliziert und das wird dann aufsummiert. Diese Gewichte,

00:20:17: die werden gelernt in einem neuronalen Netzwerk. Das passiert so, dass nach und nach die Beispiele

00:20:25: durch dieses Netzwerk geschoben werden und dann wird geguckt, welcher Output kommt denn eigentlich raus: Ist es der richtige oder ist der falsche?

00:20:33: Dann schaut man sich eine Verlustfunktion an, da gibt es wieder verschiedene. Wenn man z.B. eine Regression hat, könnte das sehr mean squared error sein, also der vorhergesagte [Wert] minus dem tatsächlichen Wert quadriert.

00:20:46: Dieser Fehler wird zurückgegeben und daraufhin werden diese Gewichte angepasst.

00:20:53: Letztendlich ist das eigentlich ein riesiges Optimierungsproblem, weil

00:20:59: künstliche neuronale Netzwerke heutzutage wahnsinnig viele Parameter haben, 1.000 bis 10.000, teilweise sogar Millionen von Parametern. Man kann sich das

00:21:10: so vorstellen,

00:21:11: dass man eine ganz hochdimensionale Funktion hat, die Gewichte sind die einzelnen Koordinaten-Achsen, wie gesagt, das ist ein Raum, den kann man sich eigentlich nicht vorstellen, und

00:21:22: das, was man minimieren möchte, ist die Verlustfunktion.

00:21:25: Und dann muss man ein Minimum in diesen Daten finden. Wenn man sich das im zweidimensionalen überlegt, dann hat man bei der x-Koordinate ein Gewicht und bei der y-Koordinate die Verlustfunktion. Dann kann man sich ja unterschiedliche Funktionen vorstellen und sucht dann eben das Minimum. Am liebsten möchte man natürlich das globale Minimum finden, aber man landet

00:21:48: häufig in einem lokalen Minimum. Deswegen ist es auch so, dass es nicht immer eindeutig ist,

00:21:56: was ein Deep Learning-Netzwerk ...,

00:21:59: wie das gelernt wird. Es gibt keine eindeutige Lösung. Wenn man bestimmte Daten eingibt, dass dann nur ein Netzwerk rauskommt. Sondern es gibt verschiedene Lösung und das hängt z.B. davon ab, mit welchen Anfangsdaten man anfängt, also wie man diese Gewichte initialisiert.

00:22:13: Dadurch ergeben sich dann verschiedene Strukturen oder verschiedene

00:22:17: Architekturen? Bei dem Beispiel wäre die Architektur vorgegeben. Das heißt, man überlegt sich, wie die Neuronen organisiert sind, ob sie in Schichten organisiert sind, wie viele Schichten wir haben, was für eine Verlustfunktion wir haben und so weiter

00:22:31: und dann wäre das Zufällige, was man mit rein gibt, wie man die Daten initialisiert. Da gibt es auch verschiedene Schemata für. Das andere wäre

00:22:44: auch genau die Frage, mit was für einer Architektur man daran geht.

00:22:50: Da ist es eben auch nicht so, dass es nur ein bestimmtes künstliches neuronales Netzwerk gibt, sondern ganz unterschiedlich Architekturen, die unterschiedlich gut für

00:23:00: unterschiedliche Probleme sind. Das was ich gerade vorgestellt habe, dieses mehrschichtige Perceptron, das ist ein Beispiel für ein feed-forward fully connected neuronales Netzwerk. Das heißt, jedes

00:23:13: Neuron ist mit jedem Neuron der nächsten Schicht verbunden. Dann gibt es die sogenannten Convolutional Neural Networks. Das sind Deep Learning-Netzwerke optimiert für

00:23:23: Bilddaten. Das heißt, deswegen sind sie auch prädestiniert für die Analyse von Bildgebungsdaten in der Medizin.

00:23:29: Dann gibt es rekurrente Netzwerke, die sind besonders gut, um Sequenzdaten zu analysieren, wenn man z.B. das nächste Wort in einem Satz vorhersagen möchte oder

00:23:39: generell in der Medizin z.B. Zeitreihendaten analysieren möchte, von funktionellen MRT-Daten oder EEG-Daten oder Sprachdaten.

00:23:50: Was wir eben noch kurz angesprochen hatten, waren diese Generative Adversarial Networks, mit denen man neue Daten generieren kann.

00:24:00: Dies sind die festgelegten Architekturen, die wiederum für spezifische Anwendungsfelder dienen. Aber dann meintest du, es hat jedes dieser Architekturen dann nochmals zufällige

00:24:14: Aspekte aufgrund der Komplexität.

00:24:17: Das sind die groben Architekturen und dann kann man aber auch innerhalb der Architekturen wieder sehr viel unterschiedliche Dinge machen. Da sind viele Parameter die festgelegt

00:24:32: werden müssen. Man nennt das dann auch

00:24:34: Hyperparameter, z.B. bei Convolution Neural Networks. Vielleicht kann ich dir noch mal kurz die Grundidee von Convolutional Neural Networks

00:24:42: erklären. Wie gesagt, das sind Deep Learning-Netzwerke, optimiert für Bildgebungsdaten und die nutzen eben die Bildstruktur aus. Das funktioniert so, dass kleine Filter

00:24:52: gelernt werden, die über ein Bild rüber gehen und dann nach bestimmten Eigenschaften in diesen Bildern suchen. Zum Beispiel in den ersten Schichten sind das sowas wie Kanten oder bestimmte Blobs, oder bestimmte Formen.

00:25:06: In späteren Schichten können das komplexere Objekte sein, wie z.B. Augen oder Nasen

00:25:13: Und ganz spät können z.B. ganze Gesichter erkannt werden. Also das heißt, hier wird eine hierarchische Repräsentation von Daten gefunden.

00:25:22: Da kann man sich z.B. überlegen: wie viele Filter sollen denn eigentlich gelernt werden, wie groß sind die Filter,

00:25:31: gehen die über jeden Voxel rüber oder lassen die bestimmte zwischendurch aus?

00:25:36: Dann kann man aber auch noch mehr drüber nachdenken, wie bestimmte einzelne Teile von diesen Schichten miteinander vernetzt sind. Man muss du z.B. noch

00:25:45: gucken, dass man die Bildgröße wieder reduziert zwischendurch, also wieder Komplexität rausnimmt. Dann kann man unterschiedliche Nicht-linearitäten nehmen und so weiter. Man hat relativ viele Freiheitsgrade.

00:25:59: Das legt man am Anfang fest, das kann man auch versuchen zu optimieren, da gibt es unterschiedliche Wege für, und dann hängt es aber immer noch davon ab, wie du ganz am Anfang die Gewichte initialisiert.

00:26:11: Da gibt es z.B. auch ein Trick, wenn man wenig Daten hat, dass man dann Gewichte nimmt, die man bei einem anderen

00:26:20: Datensatz vorinitialisiert, die man woanders schon gelernt hat

00:26:24: und die dann einfach auf das neue, auf den neuen Datensatz anwendet und so startet, mit einer Art

00:26:33: Apriori-wissen, was sinnvoll sein könnte. Dass das nennt man dann Transfer Learning. Das hört sich

00:26:41: nach einem sehr hohen Grad der Abstraktion an, aber in jedem Falle nach einem sehr hohen Grad der Komplexität. Das

00:26:50: birgt natürlich vielerlei Herausforderungen. Was sind die Herausforderungen bei der Entwicklung, bei der Entstehung eines solchen neuronalen Netzwerks?

00:26:59: Es kommt darauf an, aus welcher

00:27:03: Perspektive man die Herausforderung sieht. Aus Sicht des Entwicklers, der solche neuronalen Netzwerke anpassen und entwickeln möchte, sind es tatsächlich diese vielen Parameter, die festgelegt werden müssen oder die man auch lernen möchte. Das ist ein recht aufwendiger Prozess, da muss man viel Überlegung reinstecken und auch Sachen ausprobieren: was funktioniert denn eigentlich gut für bestimmte Daten?

00:27:26: Dann, auch aus der Sicht des Entwicklers, aber auch gegebenenfalls aus der Sicht des Anwenders,

00:27:31: ist ein Problem, das häufig genannt wird, dass Deep Learning eine Blackbox ist. Damit meint man, dass man

00:27:40: vor allen Dingen aus Sicht des Anwenders, aber auch teilweise aus Sicht des Entwicklers nicht richtig nachvollziehen kann, warum ein Algorithmus eigentlich zu der einen oder anderen Entscheidung kommt. In der Medizin wird das natürlich wichtig. Warum wird die eine Therapie oder eine andere Therapie empfohlen?

00:27:55: Zum Teil beruht das auf einem Missverständnis. Es ist nicht so, dass hier irgendeine Magie in diesen Netzwerken liegt.

00:28:04: Die sind zum größten Teil deterministisch, bis auf einen zufälligen Anteil, je nachdem, wie die Gewichte initialisiert worden sind, aber ansonsten sind sie schon deterministisch. Man kann sich diese ganzen Gewichte angucken.

00:28:16: Man kann sich die ausgeben [lassen] und weiß dann genau, was eigentlich in diesem Netzwerk drin steht. Das Problem ist nur, dass aus menschlicher Perspektive

00:28:25: das schwierig zu überblicken ist. Wenn Millionen von Parametern, kleinen Gewichten,

00:28:29: kleinen Veränderungen hier gelernt werden, dann ist das aus der menschlichen Perspektive etwas, das schwierig nachvollziehbar ist. Was meinst du,

00:28:38: gibt es in naher Zukunft eine Möglichkeit, das Problem zu lösen? Denn es wäre für mich als Anwender natürlich schon immer schön. Beispielsweise wenn ich ein Patient bin und ich habe eine Health App und

00:28:49: es wird ein Diagnose gegeben, dass man auch weiß, warum es zu dieser Entscheidung der KI kam.

00:28:56: Ja, hier gibt es auch schon einige Lösungen zu, je nachdem was für Daten reingesteckt werden. Man kann sich zum Beispiel angucken,

00:29:03: welches Feature oder welche Charakteristik von einem Patienten am wichtigsten war für die spätere Diagnose und dann zugucken, ob das medizinisch Sinn macht.

00:29:14: Im Bereich von Bildgebungsdaten gibt es sogenannte Heatmap-Methoden. Die geben die Relevanz oder die Wichtigkeit von einzelnen

00:29:25: Pixeln oder auch Voxeln an für die finale Klassifikationsentscheidung. Die zeigen z.B. welche Bereiche

00:29:34: auf einem Bild

00:29:35: besonders wichtig waren. Damit haben wir noch nicht verstanden, was hat das Netzwerk genau gelernt, welche Filter und so weiter, sondern wir haben eher ein Indiz, was war denn grundsätzlich wichtig. Wenn wir z.B. wissen, dass der Hippocampus wichtig ist für eine Alzheimer-Diagnose und dass der Algorithmus sich auch auf den Hippocampus stützt, dann ist das was, was Vertrauen in den Algorithmus

00:29:56: schafft. Hier gibt es verschiedene Methoden, wie man solche Heatmaps berechnen kann und es konnte gezeigt werden, dass sie insbesondere auch sehr gut dafür sind, um auch Bias

00:30:05: in Daten zu erkennen. Es gibt diese bekannte Beispiel, wo Pferde nur anhand von einem Emblem

00:30:15: am unteren Rand des Bildes erkannt worden sind, also so gar nicht das Konzept des Pferdes gelernt worden ist, sondern einfach nur, weil bei allen Pferdebildern ein Emblem dran war, hat sich dieser Algorithmus darauf

00:30:27: gestürzt und das ausgenutzt. Damit hat der Algorithmus nichts Falsches gemacht hat.

00:30:31: Er hat was wichtiges gelernt, aber natürlich aus der menschlichen Sicht nicht das gemacht, was er eigentlich hätte machen sollen.

00:30:38: Hier wird viel dran geforscht und es wird auch immer natürlich geguckt, braucht man denn überhaupt so ein komplexes Modell? Geht nicht auch ein einfacheres Modell, wo man dann genauer weiß, was eigentlich passiert? Das muss man immer im Blick haben und auch schauen,

00:30:52: je nachdem was für Daten man hat,

00:30:55: brauch man ein komplexes Modell und wenn ja, was was nutzt dieses komplexe Modell eigentlich aus. Das ist auch das, was ich so spannend finde, weil das ein gegenseitiger Lernprozess ist.

00:31:05: Man versucht auf der einen Seite zu sagen, was ist in den Daten wichtig und dann nimmt man einen einfachen maschinellen Lern-Algorithms und auf der anderen Seite nimmt man z.B. ein Convolutional Neural Network und schaut, was findet denn der Algorithmus eigentlich wichtig in den Daten und findet ein Mediziner oder eine Medizinerin das auch wichtig in den Daten. Es

00:31:22: bestehen, wie du beschrieben hast, sehr viele Herausforderung nach wie vor in der Weiterentwicklung von Deep Learning oder von neuronalen Netzwerken. Wie sieht es mit der Akzeptanz bei der Verwendung oder der Anwendung von KI in der Medizin aus?

00:31:38: Könntest du da eine Einschätzung geben? Ja, also ich glaube, es wird immer mehr

00:31:43: realisiert, was für ein Potenzial solche KI-Verfahren haben. Ich habe ja

00:31:51: schon in meiner Promotion z.B. an maschinelle Lernalgorithmen gearbeitet in der Medizin. Da war das noch relativ neu und es war auch teilweise etwas schwierig, die Sachen zu publizieren in medizinischen Journals.

00:32:04: Ich glaube, dass es jetzt immer präsenter wird und das viele

00:32:10: das auch gut finden. Was ich manchmal erlebe ist, dass Leute etwas unrealistische Erwartungen haben, dass

00:32:16: die Algorithmen auch über schlechte Daten hinweg gut lernen und generalisieren können oder dass sie eine Art Wundermaschine sind, die dann plötzlich in Daten etwas entdecken, was überhaupt nicht in den Daten

00:32:29: vorhanden ist. Aber ich glaube, es ist auf jeden Fall eine Offenheit dafür da.

00:32:35: Man muss dann weiter gucken, es ist jetzt viel eher forschungsbasiert, man muss mit der Zeit gucken, ob...

00:32:42: sie müssen vorher gut validiert sein. Das ist was, was wir noch nicht so richtig angesprochen haben: ob sie gleich gut für Frauen und Männer z.B. funktionieren oder auch für andere Subgruppen, bestimmte Personen mit Komorbiditäten

00:32:56: oder auch für Leute unterschiedlicher Ethnien. Das sind so Sachen, die man mehr und mehr rausfinden muss und dann auch eben immer validieren muss und auch immer wieder gucken

00:33:06: muss, funktionieren die eigentlich noch gut oder hat sich was verändert.

00:33:12: Es gibt ja dann immer wieder weiteres medizinisches Wissen, das man eventuell einbauen muss. Es wird, glaube ich, ein langer, iterative Prozess sein, aber ich

00:33:21: glaube schon, dass mehr und mehr Relevanz davon

00:33:26: sehen. Wie ich das verstanden habe, muss auch innerhalb der Medizin und unter den Medizinern Aufklärungsarbeit geleistet werden, was KI genau ist und wie sie funktioniert. Was mich des Weiteren interessieren würde,

00:33:41: würdest du sagen, dass es bestimmte medizinische Bereiche oder Bereiche in der Medizin gibt, in denen sich die KI

00:33:48: im Moment insbesondere weiterentwickelt? Ein ganz großer Bereich ist der Bildgebungsbereich,

00:33:57: der ist sehr wichtig. Dafür sind diese Algorithmen sehr gut, auch in der Mustererkennung, also Sequenzierung von bestimmten

00:34:05: Strukturen in Daten. Das ist ein großer Bereich. Was man auch versucht ist, Natural Language Processing z.B. von Arztbriefen.

00:34:14: Das sind Daten, also da forsche ich nicht selber, aber das was ich höre ist, dass viel auch sehr mühsam ist, weil Leute sehr unterschiedlich ihre Arztbriefe gestalten

00:34:25: und es schwierig ist, da die richtige Information rauszulesen. Das hat man zwar teilweise bei den Bildgebungsdaten auch. Es gibt eine Firma in den USA, die haben 80 Radiologen eingestellt, um

00:34:36: Bilder des Gehirns

00:34:39: vernünftig zu labeln und alles aufzuschreiben, was ist denn dort. Sind da vielleicht Schlaganfälle, Tumore, Lakunen, Läsionen und so weiter.

00:34:53: Es ist natürlich

00:34:55: besser, wenn jemand das per Hand gelabelt hat, dann hat man die Informationen, die vollständigen Informationen zu diesem Bild, als wenn jemand in den Arztbrief nur punktuell bestimmte Sachen reinschreibt, die für ihn wichtig waren in der weiteren

00:35:11: Diagnostik. Es gibt auch hier Electronic Health Records. Da werden auch Daten analysiert.

00:35:17: In der Notfallmedizin und auch in der Intensivstation, da gibt es auch einiges, was man versucht. Da werden

00:35:27: konstant die Leute gemonitored, dass man da früher erkennt, wenn ein Notfall auftritt.

00:35:34: Es ist sehr vielfältig, es geht in alle möglichen Richtungen. Das ist wirklich sehr spannend.

00:35:39: Ja, wie wir sehen konnten, gibt es bereits vielfältige Einsatzmöglichkeiten von KI-Verfahren in der Medizin.

00:35:46: Gleichzeitig entstehen weitere Prozesse, Dynamiken, Synergieeffekte, die neue Entwicklungen ermöglichen. Wie sich KI-Verfahren konkret in den einzelnen Bereichen

00:35:59: Medizin anwenden lassen bzw. Anwendung finden, erfahren wir in unserer superspannenden zweiten Staffel von Dr. med. KI!

00:36:08: Bis dahin bedanke ich mich bei Kerstin für ihre spannenden Beiträge und sage tschüss, bis zum nächsten Mal! Vielen Dank, das hat viel Spaß gemacht! Tschüss.