Jeopardy & Watson

(Deutscher Text im Anschluss!)

On February 16 to 18, NBC aired a three-part special edition of game show Jeopardy!. Two former champions, Ken Jennings and Brad Rutter, competed with a recently developed computer system.

The episodes can be seen here: part 1, part 2 (part 1 includes the episodes from the first two days, part 2 is the third episode, kindly without commercials).

The system is named after IBM founder Thomas J. Watson. Further involved in this IBM project were teams of Carnegie Mellon University (CMU, Pittsburgh PA), Massachusetts Institue of Technology (MIT, Cambridge MA), University of Southern California Viterbi School of Engineering (USC, Los Angeles CA), University of Texas (Austin TX), Rensselaer Polytechnic Institute (RPI, Troy NY), University at Albany (Albany NY), University of Trento (Italy) and University of Massachusetts Amherst (Amherst MA).

The "Global Language Monitor" published the following list, showing what was needed to make "Watson" run:

• 90 IBM Power 750 servers
• Each of the 90 IBM Power 750 servers is equipped with eight processors
• A total 2,880 Central Processing Units (CPUs)
• 1 network-attached storage (NAS) cluster
• 21.6TB of data
• 15 full-time technical professionals, as well any number of advisors and consultants
• 5 years of development time
• ’1,000s’ of computer algorithms to run simultaneously
• 1 overlying algorithm to review the results of all the others
• 1 power robotic finger

The article names "a minimum of $100,000,000 funding for personnel, some $25,000,000 in equipment, as well as all the costs associated with cooling, administration, transportation, and the like."

The fight "man vs. machine" has always been popular; we all remember the chess game between IBM's "Deep Blue" computer and chess world champion Garry Kasparov in 1997. But not only is to ask what point is intended to be proven with comparisons like these. It has to be said that already the label "comparison" is misleading because it implicates a match of equal opportunities. But did such a competition really happen here?

Definitely it was not an easy job “Watson” had to do to win Jeopardy!. But the main problem is not (as often said) the idea of this game show that the contestants have to find the question to a given answer. This sounds complicated, but in fact it’s not as bad as all that. In fact, what happens in Jeopardy! is nothing more than a turnaround of a linguistic convention. Not a real question is in search, the contestant simply has to add “Who is…” or “What is…” to his answer. This is contrary to our language habits, but it’s easy to program and nothing a super computer like “Watson” would be needed for.

The problem with Jeopardy! is this: In, say, a chess game, the computer has to check a big number of possible moves to finally pick the most promising one. This is obviously a problem that can be solved by a mathematical algorithm. Computers are specializing in things like that. But in Jeopardy!, the computer first has to analyze a verbal question, which, in addition, sometimes is weird or spiced-up with puns, sometimes associative knowledge is needed. Questions one has to think outside the box to see the direction in which the answer may to be found.

„Watson“, as the game showed, is able to do this, but during the ongoing rounds one could see quite clearly how he does it. The secret seems to be pattern recognition and ­logic operation, and also the good old German saying “high speed is no wizardry” comes to mind. The computer scrutinizes the questions for keywords, their sequence and their combination and then checks what’s in his giant data stock about them. During the show it was visible (by superimposition) that “Watson” usually found more than one possible answer, and he used the maximum statistical likelihood to decide which answer he finally gave. Apparently “Watson” compares the keywords he found in his data stock with the question, so he can see between which of these keywords the most precise intersection shows up – and all this at an unbelievably high speed.

Is there any connection to intelligence now?

Since a while, the AI research differentiates between high-level and low-level AI. While there is no real progression in the first area, “Watson” is a good example to show that the latter is quite useful already. That “Watson” gave some grotesquely wrong answers during the show (for example he relocated Toronto to the U.S.) doesn’t change this – here is simply the GIGO principle at work: garbage in, garbage out.

Up yet, the question “what is intelligence” hasn’t been answered clearly. Also this blog has no reasonable answer to offer. But one thing can be said: Intelligence must include the possibility to make a willful choice, and there must be the chance to use failures or mistakes to narrow the possible solutions down in comparable cases.

„Watson“, quite surely, didn’t meet these criteria. Or would he have been able to decide not to give an answer that statistically he considered to be the correct one? We can take it for granted that this was not possible.

An even harder question is whether a system like this can work in a way that could be called “adaptive”. Up to now we don’t even know how our own brain does the trick to transform experiences into neuronal connections. We know that our brain stores our experiences, but we are still not able to (re-)locate them somewhere inside the brain. Experience becomes part of a self-regulating network, and we can neither tell where the information sits nor in which way it materialized. This is why it’s always again ridiculous when someone says: Our brain is something similar to a computer. It’s not.

So let’s not fool ourselves. “Watson” is related to intelligence as much as a canvas is related to the painting someone creates on it. “Watson” is a number cruncher without self-awareness or any idea about what he’s doing (and why). This is not meant to play down “Watson’s” performance. “Watson” is simply trained to simulate intelligent behavior, and within narrow confines this works quite well. A couple of useful applications are surely on the way now – especially if meaningful answers to verbally formulated questions are wanted. An internet search engine, for example, that won’t drag along simply a big number of more or less matching links after typing in a keyword but really answers questions – that could be a job for “Watson”. It’s easy to find several more possibilities to use such a system in real life – from time table information to analyses of errors to the point of medical diagnostic. And that’s a lot. At least a giant PR coup for IBM.

Vom 16. bis 18. Februar sendete NBC eine dreiteilige Sonderausgabe der Quizshow Jeopardy!, in der zwei frühere Gewinner, Ken Jennings und Brad Rutter, gegen ein neuentwickeltes Computersystem antraten.

Wer die Folgen nicht gesehen hat, hier sind sie:

Teil 1, Teil 2 (Teil 1 umfasst die Folgen vom 16. und 17., Teil 2 die Folge vom 18. Februar, dankenswerterweise werbefrei).

Das Computersystem ist benannt nach dem IBM-Firmengründer Thomas J. Watson. Außer IBM involviert in das Projekt waren Teams der Carnegie Mellon University (CMU, Pittsburgh PA), des Massachusetts Institue of Technology (MIT, Cambridge MA), der University of Southern California Viterbi School of Engineering (USC, Los Angeles CA), der University of Texas (Austin TX), des Rensselaer Polytechnic Institute (RPI, Troy NY), der University at Albany (Albany NY), der Universität Trento (Italien) und der University of Massachusetts Amherst (Amherst MA).

Der "Global Language Monitor" veröffentlichte die folgende Liste, die zeigt, was alles benötigt wurde, um "Watson" zum Laufen zu bringen:

• 90 IBM Power-750-Server
• Jeder der 90 IBM Power-750-Server ist mit acht Prozessoren ausgestattet
• Insgesamt 2800 Central Processing Units (CPUs)
• 1 an das Netzwerk angefügter Speichercluster (network-attached storage, NAS)
• 21,6 TB (Terabyte) an Datenbestand
• 15 Vollzeit-Techniker, dazu jede Menge Hilfspersonal und Berater
• 5 Jahre Entwicklungszeit
• Tausende von simultan laufenden Computer-Algorithmen
• 1 übergeordneter Algorithmus, der die Resultate der anderen überwacht
• 1 Robot-Finger

Ferner nennt der Artikel Kosten in Höhe von "mindestens 100.000.000 Dollar für Personal, ungefähr 25.000.000 Dollar für das Equipment, dazu kommen die Kosten, die mit Kühlung, Verwaltung, Transport usw. verbunden sind."

Der Kampf "Mensch gegen Maschine" wurde schon immer gern ausgerufen; man erinnert sich sicherlich noch an das Schachspiel zwischen dem IBM-Computer "Deep Blue" und dem Schachweltmeister Garri Kasparow im Jahr 1997. Aber abgesehen einmal von der grundsätzlichen Frage, was mit solchen Wettbewerben eigentlich unter Beweis gestellt werden soll, führt bereits diese Etikettierung in die Irre. Sie impliziert nämlich einen Wettkampf mit gleichen Mitteln. Hat ein solcher Wettkampf hier aber überhaupt stattgefunden?

Die Aufgabe, die "Watson" in Jeopardy! zu lösen hatte, war nicht einfach. Die Schwierigkeit lag dabei allerdings nicht so sehr in dem immer wieder herausgestellten Prinzip der Spielshow, auf eine vorgegebene Antwort die passende Frage finden zu müssen. Das klingt zwar schwer, ist aber in Wirklichkeit halb so wild. Tatsächlich nämlich steckt dahinter nichts weiter als eine Umkehrung sprachlicher Konvention. Es wird nicht wirklich nach einer Frage gefahndet, sondern es wird einfach nur gefordert, dass der Kandidat "Wer ist..." bzw. "Was ist..." vor seine Antwort hängt. Das widerspricht unseren Sprachgewohnheiten, ist aber leicht zu programmieren und insofern nichts, wofür man einen Supercomputer wie "Watson" benötigen würde.

Schwierig bei Jeopardy! ist etwas anderes: Bei einem Schachspiel etwa muss der Computer eine große Anzahl von Spielzügen durchrechnen und den meistversprechenden Auswählen. Das ist vorrangig ein mathematisches Problem, das mit einem Algorithmus gelöst werden kann. Und darauf sind Computer nun einmal spezialisiert. Bei Jeopardy! dagegen kommt es darauf an, zunächst eine verbale Fragestellung zu analysieren, die noch dazu oft verdreht formuliert oder mit Wortspielen verknüpft ist, oder die assoziatives Wissen erfordert. Fragen also, bei denen man "um die Ecke denken" muss, um überhaupt erkennen zu können, in welcher Richtung sinnvollerweise nach einer Antwort zu suchen ist.

„Watson“, das hat sich gezeigt, kann diese Aufgabe erfüllen; während der Spielrunden wurde aber auch sehr schnell deutlich, wie er es macht. Das Geheimnis dürfte in Mustererkennung und logischer Verknüpfung bestehen, und auch das gute alte Sprichwort „Geschwindigkeit ist keine Hexerei“ spielt eine wichtige Rolle. Der Computer klopft die Fragen auf Schlüsselbegriffe, deren Reihenfolge und ihre Kombination ab, um dann zu überprüfen, was er dazu in seinem enormen Datenbestand hat. In der Sendung war per Einblendung zu sehen, dass „Watson“ in aller Regel mehrere mögliche Antworten fand. Welche Antwort er dann tatsächlich gab, entschied der Computer anhand der größten statistischen Wahrscheinlichkeit. Letztere errechnet er offenkundig danach, zwischen welchen der gefundenen Lösungsstichworten sich die präziseste Schnittmenge herstellen lässt. Und das alles passiert wahnsinnig schnell.

Hat das nun irgendetwas mit Intelligenz zu tun?

In der KI-Forschung hat sich schon vor einiger Zeit die Unterscheidung zwischen starker und schwacher KI eingebürgert. Während man mit ersterer nach wie vor nicht wirklich vorankommt, ist "Watson" ein Beispiel dafür, dass letztere schon sehr brauchbar ist. Dass er in der Sendung einige grotesk falsche Antworten gab (so verlegte er u.a. Toronto in die USA), ändert daran nichts – hier gilt „GIGO“: garbage in, garbage out.

Die Frage, was Intelligenz ist, ist bis heute nicht eindeutig beantwortet. Auch in diesem Blog soll kein Antwortversuch riskiert werden. Was man aber sagen kann, ist dies: Zur Intelligenz gehört die Möglichkeit, eine bewusste Auswahl zu treffen, und auch die Fähigkeit, aus dem Scheitern bzw. aus gemachten Fehlern die Möglichkeit abzuleiten, in vergleichbaren Fällen die Suche nach einer Antwort anders einzugrenzen.

"Watson" hat mit Sicherheit schon das erste Kriterium nicht erfüllt. Oder hätte er tatsächlich die Freiheit gehabt, eine statistisch von ihm als wahrscheinlich richtig errechnete Antwort nicht zu geben? Man darf davon ausgehen, dass diese Möglichkeit nicht bestand.

Ob ein solches System so ausgebaut werden kann, dass man es als „lernfähig“ bezeichnen könnte, ist eine noch weit schwierigere Frage. Bis heute wissen wir ja noch kaum, wie unser eigenes Gehirn das eigentlich macht – Erfahrungen in neuronale Verbindungen umzusetzen. Bis heute sind wir nicht imstande, eine gemachte Erfahrung irgendwo im Gehirn zu lokalisieren. Sie wird Teil eines sich selbst regulierenden Netzwerkes, und wir wissen weder, wie sie entsteht, noch können wir sie greifbar lokalisieren oder sonstwie dingfest machen. Deswegen ist es auch immer wieder lächerlich, zu sagen, unser Gehirn sei so etwas ähnliches wie ein Computer. Mitnichten!

Bleiben wir also auf dem Teppich. „Watson“ hat mit Intelligenz soviel zu tun wie eine Leinwand mit dem Bild, das jemand auf ihr malt. „Watson“ ist ein Rechenknecht ohne Bewusstsein und irgendeine Vorstellung dessen, was er tut (und warum). Das soll seine Leistung nicht schmälern, es scheint mir nur sinnvoll zu sein, sie richtig einzuordnen. „Watson“ ist darauf dressiert, intelligentes Verhalten zu simulieren. Das immerhin klappt schon recht gut und lässt einige sehr nützliche Anwendungen erahnen: solche Problemstellungen nämlich, bei denen auf verbal formulierte Fragen sinnvolle Antworten gefunden werden sollen. Eine Internetsuchmaschine etwa, die nicht auf Stichwort einfach nur eine große Zahl mehr oder weniger passender Links anschleppt, sondern tatsächlich Fragen beantworten kann. Es fallen einem sofort etliche Möglichkeiten ein, solche Systeme in der Praxis anzuwenden, von der Fahrplanauskunft über Fehleranalysen bis hin zur medizinischen Diagnostik. Das ist nicht wenig. Und ein gigantischer PR-Coup für IBM sowieso.

Watch Children ...

... but better not too long, if you're male.

Super Bowl XLV

(Deutscher Text im Anschluss.)

 
Now that's a record: On February 6, 111 million people watched the game Pittsburgh Steelers vs. Green Bay Packers on TV; 4.5 millions more than last year when the New Orleans Saints met the Indiana Colts. And this doesn't even include the people who watched the online stream on their computers as well as the people who watched the game outside the U.S.

To call the Super Bowl media coverage a "hype" would be a friendly understatement. For at least two weeks the newspapers had daily supplements with ten or more pages, the local TV stations opened their news shows with daily "Steelers News". In many stores the shop assistants wore black and gold (the Steelers colors), on the day of the show many shops and offices closed already at 5 PM so that the employees could get home in time for the kickoff, and the day after the game, the students were allowed to arrive at school two hours later.

Was it worth it then? Well. Most critics and viewers considered the pre game show uninspired, Christina Aguilera shipwrecked the Star Spangled Banner, the halftime show acts Black Eyed Peas, Usher and Slash, to put it friendly, were not very good, and finally the Steelers lost (but that could have been the opposite just as well).

For Fox TV the show was worth the effort, that's for sure. The price for a commercial matched well with the number of viewers: $3M had to be paid for 30 seconds. A quarter of the airtime available was booked by the auto industry, twice as much as the previous year.

The commercials shown during the game and the pre game show are said to be especially creative, many of them are made especially for this event, in parts they are shown and discussed in news shows and other broadcasts. Besides this, the viewers could vote online for their favorite commercial; apparently a Volkswagen ad made it. There's another reason why the Super Bowl is popular with the ad agencies: It is a sort of national holiday, it has to be seen live, nobody wants to watch a recording - and that means: The commercials cannot be skipped.

I admit there are only two ads I remember: one by Coca Cola (nearly silent), the second one was made nicely nostalgic in the style of the fifties, but alas! I don't remember the product it was made for. Also I can't remember when the winning Volkswagen ad - with a young Darth Vader - was shown. What I remember mainly is the production style of many of the commercials: permanent screaming, martial sound effects like lifted from third-rate Hong Kong karate movies, and a sort of right-in-the-face humor that was as virtuosic as Christina Aguilera's singing. My granny probably would have said: See, even the Americans put their pants on one leg at a time.

See you next year then.

Das war Zuschauerrekord: 111 Millionen Menschen verfolgten am 6. Februar das Spiel Pittsburgh Steelers gegen Green Bay Packers vor dem Fernsehgerät; 4,5 Millionen mehr als letztes Jahr beim Spiel New Orleans Saints gegen Indianapolis Colts. Und da sind noch nicht die Zuschauer enthalten, die per Onlinestreaming an ihrem Computer zugeschaut haben, ebensowenig wie die Zuschauer außerhalb der USA.

Der Medienrummel um den Super Bowl ist mit "Hype" nur unzulänglich beschrieben. Seit rund zwei Wochen gab es tägliche Zeitungsbeilagen mit zehn oder mehr Seiten, ebenso lange machten die lokalen Fernsehnachrichten mit täglichen "Steelers News" auf. In den Läden lief das Verkaufspersonal in schwarz-gold herum (den Steelers-Farben), am Tag der Show wurden viele Läden und Büros schon um 5 Uhr nachmittags geschlossen, damit die Angestellten noch rechtzeitig zum Anpfiff zu Hause sein konnten, und die Schüler mussten am Tag nach der Show erst zur dritten Stunde in der Schule erscheinen. 

Hat es sich denn gelohnt? Nun ja. Die Pre-Game-Show wurde übereinstimmend als einfallslos angesehen, Christina Aguilera versemmelte live die US-Hymne, die als Halbzeit-Act angeheuerten Black Eyed Peas, Usher und Slash waren, freundlich gesagt, nicht besonders gut, und letztlich haben die Steelers knapp verloren (das hätte aber ebensogut auch umgekehrt ausgehen können).

Gelohnt hat sich die Show mit Sicherheit für Fox TV. Die Preise für die Werbespots waren den erwarteten Zuschauerzahlen angepasst: 3 Millionen Dollar waren für 30 Sekunden zu berappen. Ein Viertel der zur Verfügung stehenden Werbezeit hatte die Autoindustrie gebucht, rund doppelt soviel wie im Vorjahr.

Die Werbespots, die während des Spiels und der Pre-Game-Show gezeigt werden, gelten als besonders originell, sind oftmals speziell für dieses Ereignis hergestellt und werden vor dem Super Bowl tagelang ausschnittsweise in Nachrichten- und anderen Sendungen vorgestellt und diskutiert. Zudem konnten die Zuschauer online über den besten Spot abstimmen; gewonnen hat anscheinend ein VW-Spot. Der Super Bowl ist bei der werbungtreibenden Wirtschaft auch deshalb besonders beliebt, weil die Show als "recordersicher" gilt - er ist so etwas wie ein nationaler Feiertag, niemand will dieses Ereignis als Aufzeichnung sehen, und folglich können die Spots nicht übersprungen werden.

Ich gestehe, dass ich mich noch an gerade mal zwei Spots erinnern kann: einen (fast stummen) von Coca-Cola und einen zweiten, der fünfzigerjahrehaft-nostalgisch daherkam, aber leider weiß ich nicht mehr, für welches Produkt er warb. Wann der Gewinnerspot lief - der VW-Spot mit einem jungen Darth Vader -, erinnere ich leider ebenfalls nicht. Was ich hingegen noch immer im Kopf habe, ist die Machart der überwiegenden Mehrzahl der Spots: permanentes Gebrüll, martialische Geräuschkulissen wie aus drittklassigen Hongkong-Karateschinken und ein Haudrauf-Humor, der ungefähr ebenso virtuos daherkam wie Christina Aguileras Gesang. Meine Oma hätte wahrscheinlich gesagt: Da siehst du es wieder, die Amis kochen eben auch nur mit Wasser.

Na dann bis zum nächsten Jahr.