Eingaberaum
Bereiche: je kräftiger blau, desto größer die Ausgabe y über 0,5 · je kräftiger orange, desto kleiner y unter 0,5.
Tippe ins Diagramm, um dort einen Punkt zu prüfen.
Das Neuron
Dicke der Pfeile = Betrag des Gewichts · gestrichelt = negatives Gewicht
Aktivierungsfunktion
Gewichte und Schwellenwert
Werte kannst du auch direkt eintippen (Komma oder Punkt).
Punkte prüfen
Fortlaufend zufällige Punkte
Neuron trainieren
Worum geht es?
Beim Erkunden hast du w1, w2 und S selbst eingestellt. Jetzt soll das Neuron die passenden Werte selbst finden – aus Beispielen.
Die Beispiele sind Punkte, bei denen die richtige Antwort schon feststeht: ● heißt „soll feuern“, ✕ heißt „soll nicht feuern“. Das Neuron startet mit irgendwelchen Werten und liegt deshalb anfangs oft falsch.
Beim Training nimmt es sich einen Punkt nach dem anderen vor. Liegt es falsch, verschiebt es seine Werte ein kleines Stück – und damit die Trenngerade. Das wiederholt es, bis alle Punkte auf der richtigen Seite liegen.
So funktioniert maschinelles Lernen: Der Computer lernt aus Beispielen mit bekannter Lösung, statt dass ihm jemand die Regel vorgibt.
1 Beispiele wählen
Tippe ins Diagramm, um einen Punkt zu setzen. Tippe auf einen Punkt, um ihn zu löschen.
2 Trainieren
- Lernschritt: Das Neuron prüft einen einzigen Punkt (orange umkreist) und korrigiert sich, falls es falsch liegt.
- Eine Epoche: einmal alle Punkte nacheinander.
- Automatisch: so lange, bis alle Punkte richtig liegen.
Wie korrigiert das Neuron seine Werte?
3 Lernfortschritt
Nach jeder Epoche wird gezählt, wie viele Punkte falsch lagen. Sinkt die Kurve, lernt das Neuron.
Einstellungen: Lernrate und Tempo
Die Lernrate bestimmt, wie groß jeder Korrekturschritt ist. Klein = vorsichtig, aber langsam. Groß = schnell, aber die Gerade springt hin und her.
Rätsel
Aufgaben
Stelle w1 = 1, w2 = 1 und S = 3 ein und erzeuge 100 Zufallspunkte. Beschreibe, wo die Punkte liegen, bei denen das Perzeptron feuert.
Verändere danach nur S. Was passiert mit der Grenze zwischen ● und ✕?
Tipp
Blende die Trenngerade ein und halte sie fest, bevor du S änderst.
Finde Werte für w1, w2 und S, sodass das Perzeptron genau dann feuert, wenn x1 mindestens 2 ist – egal, wie groß x2 ist.
Tipp 1
Eine der beiden Eingaben soll keinen Einfluss auf das Ergebnis haben.
Tipp 2
Was bewirkt ein Gewicht von 0? Wie muss die Trenngerade dann verlaufen?
Halte die Trenngerade fest. Verdopple dann w1, w2 und S. Was ändert sich im Diagramm, was im Rechenweg? Begründe mit der Formel.
Tipp
Was passiert mit einer Ungleichung, wenn du beide Seiten durch 2 teilst?
Wähle die UND-Funktion. Stelle die Gewichte zuerst von Hand so ein, dass alle vier Punkte richtig liegen. Lass das Perzeptron danach selbst lernen und vergleiche seine Lösung mit deiner.
Tipp
Nur der Punkt (1 | 1) soll feuern. Die Trenngerade muss ihn von den anderen drei abtrennen.
Wähle XOR und lass das Perzeptron automatisch lernen. Was beobachtest du? Erkläre, warum ein einzelnes Perzeptron diese Aufgabe nicht lösen kann.
Tipp 1
Versuche, mit dem Finger eine Gerade zu ziehen, die alle ● von allen ✕ trennt.
Tipp 2
Ein Perzeptron kann nur Punktmengen trennen, die sich durch eine einzige Gerade trennen lassen.
Wähle die zufällige Punktwolke. Trainiere mehrmals mit η = 0,01 und mit η = 1. Wie wirkt sich die Lernrate auf den Lernverlauf aus?
Tipp
Achte auf die Anzahl der Epochen und darauf, wie stark die Gerade bei jedem Schritt springt.
Wähle nacheinander Stufe, Sigmoid, ReLU und linear. Prüfe jeweils die Punkte (0 | 0), (1 | 1) und (4 | 4) bei w1 = w2 = 1, S = 2. Vergleiche die Ausgaben und beschreibe den Unterschied der vier Funktionen.
Tipp
Schau dir den Graphen der Aktivierungsfunktion unter dem Neuron an. Welche Werte kann y jeweils annehmen?
Trainiere die UND-Funktion mit Sigmoid und vergleiche den Verlauf des Fehlers mit dem der Stufenfunktion. Warum lernt ein Neuron mit Stufenfunktion nicht per Gradientenabstieg?
Tipp
Die Lernregel braucht die Ableitung f′(z). Wie sieht die Ableitung der Stufenfunktion aus?
Wähle ReLU und die ODER-Funktion. Stelle w1 = −1, w2 = −1 und S = 1 ein und trainiere. Was passiert? Erkläre mit der Ableitung von ReLU.
Tipp
Berechne z für alle vier Punkte. Welchen Wert hat f′(z) dann jeweils?