Reports | November 30, 2006 18:37

Thoughts about an unequal battle

[lang_nl]Andreas SchwartmannEen vraag die je de laatste dagen te weinig hoort is: moeten we nou eigenlijk blij zijn met al die matches tussen Mens en Machine? Er zijn natuurlijk verschillende perspectieven van waaruit je deze vraag kunt proberen te beantwoorden.[/lang_nl][lang_en]Andreas SchwartmannA question that is not heard enough these days, is: should we actually be glad with all these matches between Man and Machine? Of course there are many perspectives from which you can try to answer this question.[/lang_en]

[lang_nl]De sensatie-zoeker in mij kijkt vooral naar het entertainment-gehalte van de match. Dat is bij Kramnik-Deep Fritz tot nu toe relatief hoog: de wereldkampioen die mat in ?ɬ©?ɬ©n over 't hoofd ziet - wat wil je nog meer? Als schaakliefhebber haal ik voorlopig mij schouders op: geen verrassende openingsnieuwtjes, drie eindspelletjes, interessant maar toch niet van blijvende waarde, en ?ɬ©?ɬ©n blunder waar elke rechtschapen schaker alleen maar besmuikt begrip voor kan opbrengen.

Vanuit filosofisch oogpunt valt er op zo'n match ook wel het een en ander aan te merken. Wat 'meten' we nu eigenlijk? Is het wel zuiver om de computer gebruik te laten maken van externe hulpbronnen zoals een openingsboek en een tablebase? Is het eerlijk om Kramnik tijdsbeperkingen op te leggen? Zou je niet tijdens de partij een vorm van consultatie tussen mensen mogelijk moeten maken? Twee mensen weten meer dan ?ɬ©?ɬ©n, zoals twee processsoren beter kunnen rekenen dan ?ɬ©?ɬ©n, nietwaar?

Misschien moeten we niet zo moeilijk doen. Men neme een mens en 'een doos', zoals een schaakvriend van me het uitdrukte, men zet die tegenover elkaar, en kijkt wie in dit 'kooigevecht' als winnaar tevoorschijn komt. Die is de sterkste. Maar zo eenvoudig is het niet. Als alle middelen geoorloofd zijn, zou ik als mens overwegen de stekker uit de 'doos' te trekken. Veel succes met je openingsbibliotheek! (Iemand wees mij erop dat Donner op de vraag 'Hoe versla je een computer?' zou hebben geantwoord: 'Met een hamer!') Waarom zou een mens geen gebruik mogen maken van al zijn beschikbare mogelijkheden om het kooigevecht te winnen? Daarnaast: wanneer houdt de 'doos' op een doos te zijn? Stel, ik maak de doos groter, en stop er twee kleinere dozen in. Of tien. Of tienduizend. Blijft de strijd altijd eerlijk? Moet de strijd eigenlijk wel eerlijk zijn?

Het meest onbevredigend vind ik de match als ik ernaar kijk vanuit mijn eigen beroep - softwareprogrammeur. Zoals iedere programmeur weet, vormt debuggen en testen van de software vrijwel altijd het belangrijkste onderdeel van het werk. Om goed inzicht te krijgen in de sterktes en zwaktes van je programma, moet je zoveel mogelijk scenario's uittesten. Wil je de kracht van je schaakengine goed kunnen meten, dan moet je die engine dus in alle fases van een partij aan het werk zien. Dus ook in de opening, en ook in theoretische eindspelen.

Maar dat gebeurt nooit. Het is nobel dat de organisatoren hebben besloten om Kramnik inzicht te geven in de openingsbibliotheek van de computer, maar het blijft merkwaardig. Het lijkt wel alsof de Fritz-programmeurs bij voortbaat al niet ge?ɬØnteresseerd zijn in wat hun programma nu zelf denkt van, zeg, de beginstelling. Heeft u wel eens gekeken wat uw computerprogramma zegt over de beginstelling? Het ding beveelt het Russisch aan, Italiaans of Damegambiet. Ik zou er als programmeur trots op zijn!

Als men werkelijk bang is dat Fritz' evaluatie in de opening niet klopt, of niet goed genoeg is om met Kramnik te kunnen wedijveren, dan is het natuurlijk handig om gebruik te maken van 400 jaar schaaktheorie. Tsja, handig is het zeker, maar ook nogal gemakzuchtig. Het is een beetje alsof ik zeg dat ik een mooi programma geschreven heb, maar een groot deel van de broncode kant-en-klaar van het web geplukt heb. Pronken met andermans veren heet dat. Als programmeur zou ik niet willen dat de kwaliteit van mijn software mede wordt bepaald door zoiets als een voorgeprogrammeerde, kant en klare openingsbibliotheek. Kan 't ding het dan niet op eigen kracht af?


Foto: Andreas Schwartmann. Bekijk meer van Andreas' foto's, bijvoorbeeld in een slideshow.

Misschien wel, maar een computer zonder openingsboek laten spelen, roept weer andere vragen op. Kramnik mag immers w?ɬ®l zijn openingskennis gebruiken? Nou ja, hij kan zijn kennis natuurlijk niet uitschakelen. (Misschien moeten we alleen al daarom concluderen dat een eerlijke strijd van Mens tegen Machine nooit mogelijk is.) Om dit dilemma op te lossen zouden ze misschien Fischerrandom moeten spelen. Geen openingstheorie. Pas dan kun je goed uittesten in hoeverre de engine gelijkwaardig is aan de mens! Maar dan negeer je in je meting natuurlijk weer ?ɬ©?ɬ©n van de grootste krachten van het menselijk brein: het combineren van bekende patronen en informatie.

En trouwens, Fischerrandom? Is dat niet dat spelletje waarin wereldtoppers al na drie zetten kwaliteiten en pionnen weggeven, zoals Kasparov nog onlangs in New in Chess Magazine liet zien? Nog los van het feit dat het grote publiek terecht met geen mogelijkheid te interesseren is voor zo'n Mens-Machine Fischerrandom-match. weet ik wel wat de uitslag zou zijn, en ik denk niet dat de mens daar echt blij van zou worden.

En opeens komt een kwaadaardige gedachte in mij op. Niet de computer heeft dat openingsboek nodig, maar de mens! Wat zou er gebeuren als Fritz met wit 1.a3 en met zwart 1...a6 zou spelen? Kramnik zou openingsvoordeel krijgen, er zou een gecompliceerde stelling ontstaan, maar in de tactische confrontatie die nodig is om te profiteren van het onorthodoxe spel van de tegenstander, zou Kramnik vermoedelijk toch ten onder gaan. Dat openingsboek is zo'n beetje het enige houvast dat Kramnik nog heeft!

En dat is de kern van het probleem. Stiekem, deep down, weten we best dat de computer op zeer veel aspecten inmiddels veel sterker schaakt dan de mens. Eigenlijk op bijna alle punten, zeker in een praktische partij. Uiteindelijk is schaken puur rekenen, en in rekenen zijn computers nu eenmaal beter dan mensen. Iedereen weet dat. In snelschaken, waar 't vooral op tactische slagvaardigheid aankomt, is de mens al jaren volstrekt kansloos - zelfs tegen relatief 'zwakke' computers.

De TurkWat willen de Mens (Kramnik) en de Machine (ChessBase) met deze match bereiken? Deze klassieke strijd heeft natuurlijk altijd tot de verbeelding gesproken, van De Turk tot Hal-20002001: A Space Odyssey. Wil Kramnik aantonen dat hij niet hoeft te verliezen, als hij tenminste niet blundert? Ook dat weten we allang. Bij correct spel van beide kanten, eindigt iedere schaakpartij in remise. Willen de programmeurs echt de kracht van hun engine testen, of willen ze er vooral een publicitair succes van maken?

Feit is dat deze zogenaamde strijd van Mens tegen Machine steeds meer begint te lijken op het clich?ɬ© van de hardloper die tegen het een raceauto opneemt. We weten dat snelheid uiteindelijk alleen een kwestie is van fysica, en dat we het daarin eenvoudigweg afleggen tegen een machines en andere diersoorten. Zo weten we ook dat schaken uiteindelijk een kwestie is van wiskunde, en dat we het daarin afleggen tegen een computer.

Met allerlei lapmiddelen (kunstmatige openingsbibliotheken met 'menselijke' openingen, maandenlange specifieke voorbereiding, secondantenteams) kunnen we onszelf waarschijnlijk nog wel een tijdje de illusie geven dat we aardig meekunnen. Maar de strijd gaan we verliezen. Big deal. Laten we de computer gebruiken voor het kraken en verbeteren van oude analyses en het maken van mooie nieuwe analyses, het voorbereiden van mooie openingsnieuwtjes, voor het uitrekenen van theoretische eindspelen, en - op termijn - voor het herschrijven van de openingstheorie.

Psychologisch zijn we er misschien nog niet helemaal klaar voor om ons gewonnen te geven. Laten we ons dan trootsten met de gedachte dat geen enkele computer d?ɬ†t concept voorlopig nog zal kunnen begrijpen.

>> speel partijen 1-3 van Kramnik-Deep Fritz na[/lang_nl][lang_en]The sensationalist in me looks in particular at the entertainment-level of the match. In the Kramnik-Deep Fritz match, that level is relatively high so far: the World-champion overlooks a mate-in-one - what more can you wish for? As a chess lover I am indifferent for the moment: no surprising opening novelties, three little endgames, interesting but not of lasting value, and one blunder which every true chessplayer will understand with a slight feeling of shame.

From a philosophical point of view, one can criticize the match as well. What exactly are we 'measuring'? Is it right to let the computer use external help sources such as an opening book and a table base? Is it fair to limit Kramnik's thinking time? Wouldn't it be better to facilitate a kind of consultation between humans during the game? After all, two humans know more than one, just like two processors can calculate better than one.
Maybe we shouldn't worry so much. You take a human and 'a box', as one of my chess friends put it, you let them face each other, and you watch who comes out victorious in this 'cage fight'. That's the strongest player. But it's not that simple. If everything is allowed, I would, as a human, consider simply pulling the power cable from the 'box'. Good luck with your opening library! (I am informed that the Dutch Grandmaster-writer Donner once answered the question 'How do you beat a computer?'' with: 'With a hammer!') Why shouldn't a human be able to use al his available possibilities to win the cage fight? Besides, when does the 'box' stop being a box? Suppose I make the box bigger, and put two little boxes inside of it. Or ten. Or ten thousand. Will the fight always be a fair one? Should the fight actually be fair?

The match is most unsatisfactory to me when I look at it from the perspective of my own profession: software programmer. As every programmer knows, debugging and testing of the software is the most important part of the job. To get a good view of the strenghts and weaknesses of your program, you should test as much scenarios as possible. To measure the strength of your chess engine well, you should check your engine at work in all phases of the game. That means also in the opening, and also in theoretical endgames.

But this never happens. It's certainly a noble decision of the organisers to give Kramnik insight in the opening library of the computer, but it's curious all the same. It looks as thought the Fritz-programmers are not even interested in what their program itself thinks of, say, the beginning position. Have you ever looked at what your computer program says about the initial position? The thing recommends the Petroff Defence, Guico Piano, or Queen's Gambit. As a programmer, I would be proud!

If they're really afraid that Fritz's evaluation is not correct, or not good enough to compete with Kramnik, of course it's handy to use 400 year of chess opening theory. Well, handy it certainly is, but it's also kind of lazy. It's a little as if I claim to have written a beautiful program, whereas I actually just stole a large part of the source code straight from the internet. In Dutch we call it showing off with another's feathers. As a programmer I wouldn't want to see the quality of my software judged by something like a pre-programmed, instant ready-made opening library. Can't the thing just do it by itself?


Photo: Andreas Schwartmann. Look at more of Andreas's photos, for example in a slideshow.

Perhaps it can, but a computer playing without an opening book raises other questions. After all, Kramnik is allowed to use his opening knowledge? Well okay, he simply cannot switch off his opening knowledge. (Maybe therefore we should now simply conclude that a fair battle between Man and Machine is never possible.) To solve this dilemma, they should perhaps play Fischerrandom chess. No opening theory. Only then, it will be possible to test how the engine measures up to a human chess player. But then the evaluation will ignore one of the biggest powers of the human brain: combining known patterns and information.

And besides, Fischerrandom? Isn't that that little game where world class players start blundering exchanges and pawns at move three, as Kasparov recently showed in New in Chess Magazine? Apart from the fact that the big public rightly can't ever be interested in such a Man vs. Machine Fischerrandom match, I have a sneaking suspicion what the final result would be, and it wouldn't make humans very happy.

And suddenly I get this evil thought. It's not the Machine that needs an opening book, but Man! What would happen if Fritz would play 1.a3 with White, and 1...a6 with Black? Kramnik would get an opening advantage, the position would become complicated, but in the tactical confrontation needed to profit of the opponent's unorthodox play, Kramnik would probably be outplayed. The opening book is just about everything Kramnik can still hold on too!

And there we see the real problem. Secretly, deep down, we know very well that computers in many aspects play much stronger chess than humans. In fact in almost all aspects, especially in a practical game. In the end chess is pure calculations, and computers happen to be better in it than humans. Everybody knows that. In blitz, where tactical skills matter most, humans have already been without a chance for years - even against relatively 'weak' computers.

The TurkSo what do Man (Kramnik) and Machine (Chessbase) want to achieve with this match? Of course, this classical battle has always captured the imagination, from The Turk to Hal-20002001: A Space Odyssey. Does Kramnik want to show that he doesn't have to lose, provided he doesn't blunder? But we also knew that already. With correct play from both sides, every chess game will end in a draw. Do the programmers really want to test the strength of their engine, or do they want publicity mostly?

It's a fact that the so-called battle between Man and Machine is starting to look more and more like the cliche of the runner against a race car. We know that speed is, in the end, just a matter of physics, and that in this aspect we simply cannot compete with machines and some other animals. Thus we also know that chess is ultimately a matter of calculations, and that we cannot compete in this against a computer.

With all kinds of patchwork (artificial opening libraries with 'human' openings, months of specific preparation, teams of seconds) we can probably give ourself the illusion that we keep up quite nicely. But we will lose the battle. Big deal. Let's use the computer for cracking and improving old analysis, for making beautiful new analysis, for calculating theoretical endings and - in due course - for rewriting opening theory.

Psychologically, we're probably not quite ready yet for giving up. Let's at least console ourselves with the thought that no computer can even begin to understand that very concept.

>> replay games 1-3 of Kramnik-Deep Fritz[/lang_en]

Arne Moll's picture
Author: Arne Moll

Chess.com

Comments

Bert de Bruut's picture

Geheel mee eens. Het is te betreuren dat chessbase haar troetelkindje uitsluitend hypercorrecte openingen laat spelen. Dat ze te bang zijn om hun 2800+ zuigeling de keuze te geven Konings-Indisch op het bord te brengen valt misschien nog te verklaren uit oerangst voor gesloten stellingen, maar met een Benoni of Morragambiet bestaat dat risico niet. Maar het schort chessbase kennelijk aan het vertrouwen dat Fritz het echt kan, schaken.

Oak's picture

Uitstekend artikel!

J.A. Topfke's picture

Brilliant article, beautifully written! Thank you.

Flip's picture

The misconception of our defeat

In 1929 Hermann Oberth published ?¢‚Ǩ?ìThe Rocket Into Interplanetary Space?¢‚Ǩ? which was the start of people exploring the possibilities of entering space with the help of rockets. It was only until 1961, after 32 years of research by many scientists, that Yuri Gagarin was the first men to enter space. This was considered a great achievement by mankind.
The evaluation of chess programs started in 1945 when Alan Turing used it as an example of something computers could do. Around 50 years later a computer beat the world champion. 50 years of work by AI specialist was necessary to achieve this.
Building a computer chess program that beats the world champion might be less exotic, but therefore not less of an achievement. Therefore, maybe we should feel happier by our own defeat and even support the machine, since not a defeat but a victory of the computer symbolizes progress of mankind.

Is it really the processors that do the job?

Does increasing the number of processors really help that much? To answer this question we have to look at the numbers first.
Research found that expert chess players in regular master games considered about 1.76 moves per move on average (de Groot & Gobet, 1996). We can estimate the number of positions that Kramnik evaluates when we know his depth of thinking. For simplicity we consider Kramnik?¢‚Ǩ‚Ñ¢s second game blunder remark, which we can use to (very roughly) estimate his calculation depth. He says he was already calculating the 34?¢‚Ǩ¬¶Qe3 line when he played 29?¢‚Ǩ¬¶ Qa7, this is equal to 11 ply deep. We can then estimate the number of positions that he evaluated, 1.76 to the power 11 is around 500 positions. When we look at the position where Kramnik plays Qa7 he has a total of 34 legal moves. Let?¢‚Ǩ‚Ñ¢s say that both players have this amount of moves in the next 11 ply (30 moves was used in literature, Shannon 1950). Then the total number of possible positions after 11 ply is 34 to the power 11, which is equal to 7 times 10 to the power 16. An enormous number.
Deep fritz is said to be able to calculate around 8 million positions per second, so 8 to the power 6. (This is confusing, since there are sources mentioning Deep Blue already being able to calculate up to 200 million positions per second). However, when Fritz is not programmed to follow any guidelines, he will then need 7 times 10 to the power 10 seconds to evaluate all possible positions after 11 ply. This means Deep Fritz needs 2225 years(!) to evaluate al positions which are only 5 moves deep! Then, when Deep Fritz was allowed to bring along 100 more processors, it would still takes him over 2 years (given a one-on-one time-position evaluation relation, I am not sure whether this is true?).
But ok, this enormous evaluation time is the result of some superficial research and reasoning. which might also be reduced significantly by some simple programming lines. However, given the magnitude of the estimated evaluation time, to achieve a reduction in positions to match Kramnik?¢‚Ǩ‚Ñ¢s level of play, simply bringing along more processors along with some simple programming will probably not do the trick. Instead, some pretty smart programming is necessary to bring the evaluation time down to a few minutes. Especially since Deep Fritz is said to be able to calculate up to 17 or 18 ply deep instead of the 11 used above. This, due to the exponential relationship, will increase the total number of possible positions to a much larger number. We can therefore say that probably the processors are not the most important thing that constitute to the strength of current chess engines. This indicates progress in the programs itself, and that is great news!

Patrick's picture

Very well written piece!

TrapArecev's picture

Nice Flip, to remind us of the... err... flip side of our defeat!

Ron's picture

Ik vraag me af of het wel so zeker is dat mensen in de toekomst kansloos zijn tegen computers. Dat zeiden we 10 jaar geleden ook en zie - Kramnik is nog steeds de meerdere van de machine.

MCris's picture

Does anybody knows on what hardware was Fritz 10 running in the match - processor, Ghz, RAM hash?

arne's picture

I only read your article now, Flip (yes, shame on me), but you have an interesting point. Still, if we keep the comparision with race-cars the same, I'd say the invention of the first race-car was a much greater achievement and sign of progression of mankind, than a modern racecar which just goes a bit faster. In the same way, I would say the invention of computers by Turing and others, was an enormously more significant leap for mankind than the fact that a chess computer can now beat the world champion. So, at least in my opinion, not that much progess has been made in 50 years after all ;-)

Your comment

By posting a comment you are agreeing to abide our Terms & Conditions