Letztes Semester

Modellierung II

Dozent:innen: Univ.-Prof. Dr. Michael Wand
Kurzname: 08.079.318
Kurs-Nr.: 08.079.318
Kurstyp: Vorlesung/Übung

Voraussetzungen / Organisatorisches

Die Vorlesung setzt formal die Inhalte von Modelierung 1 voraus, aber gute Kenntnisse in Mathematik (Nebenfach oder Hauptfach Mathematik/Physik) sind i.d.R. ebenfalls ausreichend.
Vorkenntnisse in maschinellem Lernen und/oder Computer Vision sind sehr hilfreich, aber nicht zwingend erforderlich (wir starten, falls nötig, mit einer Kurzeinführung).
 

Empfohlene Literatur

Weitere Literatur ist in der Webseite der Vorlesung angegeben.

Inhalt

Während der erste Teil (Modellierung I) sich vor allem elementare Methoden (größtenteils auf Basis linearer Modelle) angeschaut hat, geht es nun darum, wie man statistische Informationen aus Daten extrahieren kann. Dabei steht methodisch vor allem das Lernens mit "tiefen Netzwerken" im Mittelpunkt. Konzeptionell dreht es sich um die Frage der Generalisierung: Wie und wann kann man aus Beispielen überhaupt verallgemeinern? Insbesondere ist immer noch Gegenstandt aktueller Forschung, warum tiefe Netzwerke so gut funktionieren (d.h., so gut generalisieren). Gegen Ende der Veranstaltung werden wir einige Ansätze sehen, mit denen man sich diesen Fragen nähern kann.

Die Veranstaltung setzt zwar keine Vorkenntnisse in maschinellem Lernen voraus, die Einführung in die Grundbegriffe wird aber kompakt gehalten und methodische Themen sind komplementär zu der Grundvorlesung "Machine Learning" ausgelegt.

Behandelt werden u.a. die folgenden Inhalte:

1 Grundlagen

  1. Einführung / Wiederholung Machine Learning (bei Bedarf)
  2. Generalisierung, "Model Selection" und der Zusammenhang zu "Bayesschen" Methoden
  3. Einführung Deep Learning

2 Klassische Verfahren (komplementär zur Vorlesung ML)

  1. Matrixfaktorisierung, Einbettungen, Kernels
  2. Gauß'sche Prozesse
  3. Markov-Random Fields

3 Verständnis tiefer Netze ("A Deeper Look into Deep Learning")

  1. Informationstheorie
  2. Lineare Approximation von Netzen durch Gaussche Prozesse (Neural Tangent Kernel etc.)
  3. "Double Descent" - das Generalisierungsverhalten überparametrisierter Netze/Modelle

Optionale Inhalte (falls Zeit ist):

  1. Differentialgeometrische Modelle, Fischer-Information
  2. Ideen aus der statistischen Physik (Symmetrie, Renormierung, Phasenübergänge)

Die Veranstaltung ist vor allem im letzten Teil thematisch forschungsnah und wendet sich eher an Studierende im Master (wobei interessierte Studierende im Bachelor trotzdem willkommen sind).

Zusätzliche Informationen

Wichtig: Die Veranstaltung wird (teilweise) als "blended-learning" Veranstaltung durchgeführt. Hierzu sollten Sie unbedingt die weiteren Informationen auf der Webseite der Veranstaltung unter

https://luna.informatik.uni-mainz.de/mod2-23/

durchlesen. Hier finden Sie auch bereits (fast) alle Vorlesungsvideos und weitere Angaben zu Organisation, Literatur und Hintergründen. Auf der Webseite finden Sie auch eine Anleitung, wie Sie sich beim Mattermost-Team der Veranstaltung anmelden können (dies sollten Sie unbedingt tun, falls Sie teilnehmen möchten).
 

Termine

Datum (Wochentag) Zeit Ort
24.04.2023 (Montag) 12:15 - 13:45 04 432
2413 - Neubau Physik/Mathematik
08.05.2023 (Montag) 12:15 - 13:45 04 432
2413 - Neubau Physik/Mathematik
15.05.2023 (Montag) 12:15 - 13:45 04 432
2413 - Neubau Physik/Mathematik
22.05.2023 (Montag) 12:15 - 13:45 04 432
2413 - Neubau Physik/Mathematik
05.06.2023 (Montag) 12:15 - 13:45 04 432
2413 - Neubau Physik/Mathematik
12.06.2023 (Montag) 12:15 - 13:45 04 432
2413 - Neubau Physik/Mathematik
19.06.2023 (Montag) 12:15 - 13:45 04 432
2413 - Neubau Physik/Mathematik
26.06.2023 (Montag) 12:15 - 13:45 04 224;04 432
2413 - Neubau Physik/Mathematik
26.06.2023 (Montag) 12:15 - 13:45 04 224;04 432
2413 - Neubau Physik/Mathematik
03.07.2023 (Montag) 12:15 - 13:45 04 432
2413 - Neubau Physik/Mathematik
10.07.2023 (Montag) 12:15 - 13:45 04 432
2413 - Neubau Physik/Mathematik
17.07.2023 (Montag) 12:15 - 13:45 04 432
2413 - Neubau Physik/Mathematik