Zwei Beispiele für den geschäftlich relevanten Fortschritt der Leistung des ML seit 2010
Bereits in den späten 80er Jahren hatten die dann vorliegenden Verfahren zur Rückpropagierung (Backpropagation) von Schätzfehlern in die Struktur der Gewichte neuronaler Netze zur Verbesserung von deren Voraussagekraft erstaunliche Erfolge hervorgebracht. Es ging dabei aber vorwiegend um synthetische Beispiele mit wenig realem Geschäftsnutzen. Zehn Jahre später gelang es, mit einem neu entwickelten Typ von neuronalen Netzen (Convolutional Neural Networks (CNN) - Faltungsnetzen) die maschinelle Erkennung handgeschriebener Ziffern so zu perfektionieren, dass damit Postsortierung in den USA automatisiert werden konnte: ein großartiger Fortschritt. Ab jetzt konnte Schrift zuverlässig gelesen werden, die nicht "maschinenlesbar" im damaligen Sinne war (OCR).
Mit den rasanten Leistungssteigerungen der Gleitkomma-Arithmetihik in Microprozezessoren, dem Scale-out-Prinzip der Rechenzentrumsarchitektur und schließlich dem Infrastrukturansatz der Cloud verbilligte sich Hardware-Leistung für rechenintensive Anwendungen um einen mehr als 6-stelligen Faktor seit den 80er Jahren. Neuronale Netze konnten jetzt viel breiter und ab ca. 2015 auch viel tiefer werden. Eine Parameterzahl von 100 Millionen zu bestimmender Gewichte wurde zum Normalfall. Mit dieser Entwicklung sank die Fehlerrate in dem von 2010 bis 2017 jährlich weltweit stattfindenden "Imagenet" Wettbewerb von 28% auf 2,3%, und fast alle teilnehmenden Wettbewerber erreichten in 2017 Werte unterhalb der menschlichen Fehlerrate von 4,6%. Bei diesem Wettbewerb ging es nicht um "Toy-problems": mit 1.000.000 Trainingsbildern musste ein selbst geschaffenes Netz trainiert werden, das 1000 Kategorien in 100.000 Beispielen erkennt, die das Netz vorher nie gesehen hatte. Das ergab die genannte Fehlerrat
Es ist heute eine Tatsache, dass Neuronale Netze bei überschaubarem technischem Aufwand nicht nur Bilder, sondern auch andere Muster in Form von Audio, Sprache, Video und anderen flächigen oder sequentiellen Datenstrukturen wesentlich präziser und natürlich viel schneller erkennen können als Menschen. Daraus ergeben sich weitreichende Geschäftspotenziale für Assistenzsysteme und für Systeme, die Dinge erkennen können, die Menschen gar nicht zugänglich sind. Ähnlich frappierende Ergebnisse erzielt Machine Learning auf Gebieten jenseits des überwachten Lernens, bei denen es nicht um Klassifikation, sondern um die Erkennung von Strukturen und die Erzeugung neuer Daten geht, die zu solchen Strukturen passen.
Für industrielle Anwendungen ist darüber hinaus das dritte Gebiet des ML in langfristiger Perspektive besonders interessant: Mit Reinforcement Learning (RL, "bestärkendem Lernen"), können Maschinen die Fähigkeit zu strategisch motiviertem Handeln erwerben. Dies ist heute nur in eng begrenzten Feldern möglich, aber die Perspektive ist kaum zu unterschätzen. Das bekannteste Beispiel ist das System ALPHA-GO, das in 3 Jahren nacheinander alle Weltmeister des GO-Spiels entthronte. GO ist das komplexeste Strategiespiel der Welt, es gibt mehr Brettpositionen, als die Erde Atome hat. Es ist also unmöglich, alle erreichbaren Ergebnisse eines Zuges bis zum Spielende vorauszuberechnen. Es geht darum auf Basis der aktuellen Bewertung der Spielsituation, Erfahrung und heuristischer Optimierung die gewinnende Strategie zu ermitteln. Nachdem ALPHA-GO nachgewiesen hatte, dass Menschen gegen ein so agierendes System keine Chance mehr haben, lernte die Variante ALPHA-ZERO das Spiel Schach und schlug die weltweit führenden Schachcomputer, die vorher die menschlichen Schachweltmeister geschlagen hatten in ebenso vernichtender Weise. Das ist insofern bemerkenswert, als neuronale Netze nicht nur durch ihre komplexe Hardware-Basis Vorteile erzeugen können, sondern sogar gegen andere Maschinen gewinnen, die von Menschen programmiert wurden. Die Überlegenheit liegt offenbar im Prinzip des Machine Learning selbst.
In der Entwicklung von Problemlösungsstrategien können kompetent trainierte Maschinen offenbar aufgrund größerer Erfahrung als Menschen sie wegen ihres Begrenzten Lebens sammeln können deutlich größere Kreativität und völlig innovative Wege entwickeln. ALPHA-GO stellte mit seiner vollkommen unkonventionellen Spielweise die Jahrhunderte alten Erkenntnisse der GO-Meister vollkommen in Frage. Die industrielle Nutzung solcher Potenziale für maschinelle Kreativität steht aber erst am Anfang.