Jeopardy & Watson

(Deutscher Text im Anschluss!)

On February 16 to 18, NBC aired a three-part special edition of game show Jeopardy!. Two former champions, Ken Jennings and Brad Rutter, competed with a recently developed computer system.

The episodes can be seen here: part 1, part 2 (part 1 includes the episodes from the first two days, part 2 is the third episode, kindly without commercials).

The system is named after IBM founder Thomas J. Watson. Further involved in this IBM project were teams of Carnegie Mellon University (CMU, Pittsburgh PA), Massachusetts Institue of Technology (MIT, Cambridge MA), University of Southern California Viterbi School of Engineering (USC, Los Angeles CA), University of Texas (Austin TX), Rensselaer Polytechnic Institute (RPI, Troy NY), University at Albany (Albany NY), University of Trento (Italy) and University of Massachusetts Amherst (Amherst MA).

The "Global Language Monitor" published the following list, showing what was needed to make "Watson" run:

• 90 IBM Power 750 servers
• Each of the 90 IBM Power 750 servers is equipped with eight processors
• A total 2,880 Central Processing Units (CPUs)
• 1 network-attached storage (NAS) cluster
• 21.6TB of data
• 15 full-time technical professionals, as well any number of advisors and consultants
• 5 years of development time
• ’1,000s’ of computer algorithms to run simultaneously
• 1 overlying algorithm to review the results of all the others
• 1 power robotic finger

The article names "a minimum of $100,000,000 funding for personnel, some $25,000,000 in equipment, as well as all the costs associated with cooling, administration, transportation, and the like."

The fight "man vs. machine" has always been popular; we all remember the chess game between IBM's "Deep Blue" computer and chess world champion Garry Kasparov in 1997. But not only is to ask what point is intended to be proven with comparisons like these. It has to be said that already the label "comparison" is misleading because it implicates a match of equal opportunities. But did such a competition really happen here?

Definitely it was not an easy job “Watson” had to do to win Jeopardy!. But the main problem is not (as often said) the idea of this game show that the contestants have to find the question to a given answer. This sounds complicated, but in fact it’s not as bad as all that. In fact, what happens in Jeopardy! is nothing more than a turnaround of a linguistic convention. Not a real question is in search, the contestant simply has to add “Who is…” or “What is…” to his answer. This is contrary to our language habits, but it’s easy to program and nothing a super computer like “Watson” would be needed for.

The problem with Jeopardy! is this: In, say, a chess game, the computer has to check a big number of possible moves to finally pick the most promising one. This is obviously a problem that can be solved by a mathematical algorithm. Computers are specializing in things like that. But in Jeopardy!, the computer first has to analyze a verbal question, which, in addition, sometimes is weird or spiced-up with puns, sometimes associative knowledge is needed. Questions one has to think outside the box to see the direction in which the answer may to be found.

„Watson“, as the game showed, is able to do this, but during the ongoing rounds one could see quite clearly how he does it. The secret seems to be pattern recognition and ­logic operation, and also the good old German saying “high speed is no wizardry” comes to mind. The computer scrutinizes the questions for keywords, their sequence and their combination and then checks what’s in his giant data stock about them. During the show it was visible (by superimposition) that “Watson” usually found more than one possible answer, and he used the maximum statistical likelihood to decide which answer he finally gave. Apparently “Watson” compares the keywords he found in his data stock with the question, so he can see between which of these keywords the most precise intersection shows up – and all this at an unbelievably high speed.

Is there any connection to intelligence now?

Since a while, the AI research differentiates between high-level and low-level AI. While there is no real progression in the first area, “Watson” is a good example to show that the latter is quite useful already. That “Watson” gave some grotesquely wrong answers during the show (for example he relocated Toronto to the U.S.) doesn’t change this – here is simply the GIGO principle at work: garbage in, garbage out.

Up yet, the question “what is intelligence” hasn’t been answered clearly. Also this blog has no reasonable answer to offer. But one thing can be said: Intelligence must include the possibility to make a willful choice, and there must be the chance to use failures or mistakes to narrow the possible solutions down in comparable cases.

„Watson“, quite surely, didn’t meet these criteria. Or would he have been able to decide not to give an answer that statistically he considered to be the correct one? We can take it for granted that this was not possible.

An even harder question is whether a system like this can work in a way that could be called “adaptive”. Up to now we don’t even know how our own brain does the trick to transform experiences into neuronal connections. We know that our brain stores our experiences, but we are still not able to (re-)locate them somewhere inside the brain. Experience becomes part of a self-regulating network, and we can neither tell where the information sits nor in which way it materialized. This is why it’s always again ridiculous when someone says: Our brain is something similar to a computer. It’s not.

So let’s not fool ourselves. “Watson” is related to intelligence as much as a canvas is related to the painting someone creates on it. “Watson” is a number cruncher without self-awareness or any idea about what he’s doing (and why). This is not meant to play down “Watson’s” performance. “Watson” is simply trained to simulate intelligent behavior, and within narrow confines this works quite well. A couple of useful applications are surely on the way now – especially if meaningful answers to verbally formulated questions are wanted. An internet search engine, for example, that won’t drag along simply a big number of more or less matching links after typing in a keyword but really answers questions – that could be a job for “Watson”. It’s easy to find several more possibilities to use such a system in real life – from time table information to analyses of errors to the point of medical diagnostic. And that’s a lot. At least a giant PR coup for IBM.

Vom 16. bis 18. Februar sendete NBC eine dreiteilige Sonderausgabe der Quizshow Jeopardy!, in der zwei frühere Gewinner, Ken Jennings und Brad Rutter, gegen ein neuentwickeltes Computersystem antraten.

Wer die Folgen nicht gesehen hat, hier sind sie:

Teil 1, Teil 2 (Teil 1 umfasst die Folgen vom 16. und 17., Teil 2 die Folge vom 18. Februar, dankenswerterweise werbefrei).

Das Computersystem ist benannt nach dem IBM-Firmengründer Thomas J. Watson. Außer IBM involviert in das Projekt waren Teams der Carnegie Mellon University (CMU, Pittsburgh PA), des Massachusetts Institue of Technology (MIT, Cambridge MA), der University of Southern California Viterbi School of Engineering (USC, Los Angeles CA), der University of Texas (Austin TX), des Rensselaer Polytechnic Institute (RPI, Troy NY), der University at Albany (Albany NY), der Universität Trento (Italien) und der University of Massachusetts Amherst (Amherst MA).

Der "Global Language Monitor" veröffentlichte die folgende Liste, die zeigt, was alles benötigt wurde, um "Watson" zum Laufen zu bringen:

• 90 IBM Power-750-Server
• Jeder der 90 IBM Power-750-Server ist mit acht Prozessoren ausgestattet
• Insgesamt 2800 Central Processing Units (CPUs)
• 1 an das Netzwerk angefügter Speichercluster (network-attached storage, NAS)
• 21,6 TB (Terabyte) an Datenbestand
• 15 Vollzeit-Techniker, dazu jede Menge Hilfspersonal und Berater
• 5 Jahre Entwicklungszeit
• Tausende von simultan laufenden Computer-Algorithmen
• 1 übergeordneter Algorithmus, der die Resultate der anderen überwacht
• 1 Robot-Finger

Ferner nennt der Artikel Kosten in Höhe von "mindestens 100.000.000 Dollar für Personal, ungefähr 25.000.000 Dollar für das Equipment, dazu kommen die Kosten, die mit Kühlung, Verwaltung, Transport usw. verbunden sind."

Der Kampf "Mensch gegen Maschine" wurde schon immer gern ausgerufen; man erinnert sich sicherlich noch an das Schachspiel zwischen dem IBM-Computer "Deep Blue" und dem Schachweltmeister Garri Kasparow im Jahr 1997. Aber abgesehen einmal von der grundsätzlichen Frage, was mit solchen Wettbewerben eigentlich unter Beweis gestellt werden soll, führt bereits diese Etikettierung in die Irre. Sie impliziert nämlich einen Wettkampf mit gleichen Mitteln. Hat ein solcher Wettkampf hier aber überhaupt stattgefunden?

Die Aufgabe, die "Watson" in Jeopardy! zu lösen hatte, war nicht einfach. Die Schwierigkeit lag dabei allerdings nicht so sehr in dem immer wieder herausgestellten Prinzip der Spielshow, auf eine vorgegebene Antwort die passende Frage finden zu müssen. Das klingt zwar schwer, ist aber in Wirklichkeit halb so wild. Tatsächlich nämlich steckt dahinter nichts weiter als eine Umkehrung sprachlicher Konvention. Es wird nicht wirklich nach einer Frage gefahndet, sondern es wird einfach nur gefordert, dass der Kandidat "Wer ist..." bzw. "Was ist..." vor seine Antwort hängt. Das widerspricht unseren Sprachgewohnheiten, ist aber leicht zu programmieren und insofern nichts, wofür man einen Supercomputer wie "Watson" benötigen würde.

Schwierig bei Jeopardy! ist etwas anderes: Bei einem Schachspiel etwa muss der Computer eine große Anzahl von Spielzügen durchrechnen und den meistversprechenden Auswählen. Das ist vorrangig ein mathematisches Problem, das mit einem Algorithmus gelöst werden kann. Und darauf sind Computer nun einmal spezialisiert. Bei Jeopardy! dagegen kommt es darauf an, zunächst eine verbale Fragestellung zu analysieren, die noch dazu oft verdreht formuliert oder mit Wortspielen verknüpft ist, oder die assoziatives Wissen erfordert. Fragen also, bei denen man "um die Ecke denken" muss, um überhaupt erkennen zu können, in welcher Richtung sinnvollerweise nach einer Antwort zu suchen ist.

„Watson“, das hat sich gezeigt, kann diese Aufgabe erfüllen; während der Spielrunden wurde aber auch sehr schnell deutlich, wie er es macht. Das Geheimnis dürfte in Mustererkennung und logischer Verknüpfung bestehen, und auch das gute alte Sprichwort „Geschwindigkeit ist keine Hexerei“ spielt eine wichtige Rolle. Der Computer klopft die Fragen auf Schlüsselbegriffe, deren Reihenfolge und ihre Kombination ab, um dann zu überprüfen, was er dazu in seinem enormen Datenbestand hat. In der Sendung war per Einblendung zu sehen, dass „Watson“ in aller Regel mehrere mögliche Antworten fand. Welche Antwort er dann tatsächlich gab, entschied der Computer anhand der größten statistischen Wahrscheinlichkeit. Letztere errechnet er offenkundig danach, zwischen welchen der gefundenen Lösungsstichworten sich die präziseste Schnittmenge herstellen lässt. Und das alles passiert wahnsinnig schnell.

Hat das nun irgendetwas mit Intelligenz zu tun?

In der KI-Forschung hat sich schon vor einiger Zeit die Unterscheidung zwischen starker und schwacher KI eingebürgert. Während man mit ersterer nach wie vor nicht wirklich vorankommt, ist "Watson" ein Beispiel dafür, dass letztere schon sehr brauchbar ist. Dass er in der Sendung einige grotesk falsche Antworten gab (so verlegte er u.a. Toronto in die USA), ändert daran nichts – hier gilt „GIGO“: garbage in, garbage out.

Die Frage, was Intelligenz ist, ist bis heute nicht eindeutig beantwortet. Auch in diesem Blog soll kein Antwortversuch riskiert werden. Was man aber sagen kann, ist dies: Zur Intelligenz gehört die Möglichkeit, eine bewusste Auswahl zu treffen, und auch die Fähigkeit, aus dem Scheitern bzw. aus gemachten Fehlern die Möglichkeit abzuleiten, in vergleichbaren Fällen die Suche nach einer Antwort anders einzugrenzen.

"Watson" hat mit Sicherheit schon das erste Kriterium nicht erfüllt. Oder hätte er tatsächlich die Freiheit gehabt, eine statistisch von ihm als wahrscheinlich richtig errechnete Antwort nicht zu geben? Man darf davon ausgehen, dass diese Möglichkeit nicht bestand.

Ob ein solches System so ausgebaut werden kann, dass man es als „lernfähig“ bezeichnen könnte, ist eine noch weit schwierigere Frage. Bis heute wissen wir ja noch kaum, wie unser eigenes Gehirn das eigentlich macht – Erfahrungen in neuronale Verbindungen umzusetzen. Bis heute sind wir nicht imstande, eine gemachte Erfahrung irgendwo im Gehirn zu lokalisieren. Sie wird Teil eines sich selbst regulierenden Netzwerkes, und wir wissen weder, wie sie entsteht, noch können wir sie greifbar lokalisieren oder sonstwie dingfest machen. Deswegen ist es auch immer wieder lächerlich, zu sagen, unser Gehirn sei so etwas ähnliches wie ein Computer. Mitnichten!

Bleiben wir also auf dem Teppich. „Watson“ hat mit Intelligenz soviel zu tun wie eine Leinwand mit dem Bild, das jemand auf ihr malt. „Watson“ ist ein Rechenknecht ohne Bewusstsein und irgendeine Vorstellung dessen, was er tut (und warum). Das soll seine Leistung nicht schmälern, es scheint mir nur sinnvoll zu sein, sie richtig einzuordnen. „Watson“ ist darauf dressiert, intelligentes Verhalten zu simulieren. Das immerhin klappt schon recht gut und lässt einige sehr nützliche Anwendungen erahnen: solche Problemstellungen nämlich, bei denen auf verbal formulierte Fragen sinnvolle Antworten gefunden werden sollen. Eine Internetsuchmaschine etwa, die nicht auf Stichwort einfach nur eine große Zahl mehr oder weniger passender Links anschleppt, sondern tatsächlich Fragen beantworten kann. Es fallen einem sofort etliche Möglichkeiten ein, solche Systeme in der Praxis anzuwenden, von der Fahrplanauskunft über Fehleranalysen bis hin zur medizinischen Diagnostik. Das ist nicht wenig. Und ein gigantischer PR-Coup für IBM sowieso.