Chatbot kan nog geen geschiedenis schrijven

‘Het informatieve gedeelte van het artikel begint best aardig’, zegt Van de Wijdeven. ‘De gekleurde term “tragisch incident” had het Kremlin zelf ook kunnen kiezen. Maar dan gaat het al snel fout. Jeltsin erkende in 1992 niet dat de Sovjetregering verantwoordelijk was voor het bloedbad, hij stelde alleen archiefstukken beschikbaar.’ Ook de excuses die de chatbot beschrijft, zijn nooit gemaakt. ‘Dat is feitelijk gewoon onjuist.’

Als ChatGPT gevraagd wordt om uit te weiden over Katyn en Poetin, gaat de chatbot volledig de mist in. ‘Hij schrijft dat er de afgelopen jaren meer stappen zijn ondernomen om verantwoordelijkheid te nemen voor de massamoord in Katyn, maar dat is niet zo. Toen Poetin aan de macht kwam, zijn de luikjes juist dichtgegaan. Ook de verhalen over een speciaal onderzoekscomité en de archieven van de NKVD kloppen niet. De chatbot schrijft dat de huidige regering de impact van het bloedbad erkent en inspanningen doet om de waarheid te achterhalen en nabestaanden te helpen, maar het tegenovergestelde is waar.’

Het verhaal van de chatbot is niet alleen onjuist, het is ook onvolledig. ‘Wat ChatGPT niet noemt, is dat Poetin wel heeft gezegd dat er bij Katyn 4000 Poolse officieren zijn neergeschoten, maar dat de NKVD volgens de Russische president ook 8000 Sovjetburgers heeft vermoord. Poetin stelt dat de Russen net zoveel geleden hebben als de Polen, of misschien nog wel meer.’

Volgens Van de Wijdeven is dit tekenend voor het grootste mankement van de chatbot: hij is niet in staat om bronnen te wegen, bronnenkritiek toe te passen of visies tegen elkaar af te zetten. ‘Juist in deze tijd, waarin geschiedenis een van de slagvelden is waarop de culture wars worden uitgevochten, slaat ChatGPT de plank nog te vaak mis. Bij een gevoelig onderwerp als Katyn heb je een Pools en Russisch standpunt. Die visies zijn misschien wel allebei verwerkt in de tekst, maar de bot kan de verschillende standpunten niet wegen. De app gebruikt een enorme hoeveelheid teksten als input, maar is niet in staat om de kleuring te doorzien die de Polen of Russen aan die teksten geven. Dat is nog ontzettend moeilijk voor kunstmatige intelligentie.’

Historici hoeven dan ook niet te vrezen dat ze binnenkort overbodig worden. ‘Voor copywriters zie ik het somber in, want de chatbot is wel heel goed in het kiezen van een tone of voice. Maar om uit de enorme kluwen van het verleden de draad te trekken die het historische beeld helder weergeeft, moet je kennelijk toch een studie geschiedenis hebben genoten.’

Ook historicus Bart de Graaff denkt niet dat kunstmatige intelligentie het mensenwerk in de geschiedschrijving al kan vervangen. De Graaff schreef voor Historisch Nieuwsblad een verhaal over de Nederlandse slavernij aan Kaap de Goede Hoop, maar ChatGPT blijkt niet in staat een zinnig artikel over hetzelfde onderwerp te schrijven.

‘De chatbot gebruikt veel algemeenheden’, zegt De Graaff. ‘Dat de slavernij aan de Kaap een tragisch en schokkend hoofdstuk is in de geschiedenis van Zuid-Afrika, zegt niet zoveel. Ook zitten er een hoop feitelijke fouten in het stuk. Zo kwamen de slaven aan de Kaap niet uit Angola; de meesten waren afkomstig van de kust van het huidige India. Volgens ChatGPT zouden er bovendien miljoenen mensen zijn ontvoerd, maar naar schatting ging het aan de Kaap om 66.000 slaven. Ik heb geen idee waar hij dat cijfer vandaan heeft gehaald.’

‘Ook in de alinea over een slavenopstand zit de chatbot er helemaal naast. De slaven aan de Kaap waren namelijk met veel te weinig om in opstand te komen. En bij de alinea’s over de nazaten van de slavernij wordt plots de apartheid erbij gehaald, terwijl dat pas vele jaren later speelde. Daar maakt de chatbot een onlogische sprong in de tijd.’

De Graaff mist vooral voorbeelden die specifiek over Kaap de Goede Hoop gaan. ‘ChatGPT herhaalt steeds dat het leven van slaven hard en onmenselijk was. Maar dat was aan de Kaap niet wezenlijk anders dan in andere slavenmaatschappijen. Noem dan voorbeelden als de slavenloods, daar kun je in de literatuur van alles over vinden.’

Volgens De Graaff lijkt de informatie die ChatGPT geeft helemaal nergens op. ‘Ik weet niet in hoeverre deze kunstmatige intelligentie zich exponentieel verbetert, maar voorlopig kun je beter een Wikipedia-pagina over dit onderwerp lezen. Daar leer je meer van.’

‘Ik heb tranen met tuiten gelachen’, zegt journalist Afke van der Toolen, die de klassieke Oudheid als expertise heeft en voor Historisch Nieuwsblad een stuk over Cleopatra schreef. Zij kreeg de laatste tekst van de chatbot onder ogen. ChatGPT kreeg de vraag om iets over de afkomst van Cleopatra te schrijven, maar ook daar slopen de nodige fouten in. ‘Al in de eerste alinea gaat het mis. Cleopatra’s familie zou aan de macht zijn sinds de verovering door Alexander de Grote in 323 v.Chr. Dat klopt simpelweg niet, want er zaten meerdere jaren tussen Alexanders dood en het moment dat Ptolemaeus koning werd.’

Van der Toolen vindt de teksten nog het meest lijken op scholierenuittreksels die rondzwerven op het internet. ‘Het taalgebruik is knullig en er staan veel anglicismen in de tekst. Zo schrijft de chatbot “Octavian” in plaats van Octavianus. Qua schrijfstijl en informatievolgorde doet het me denken aan een samenvatting van de Engelse Wikipediapagina over Cleopatra.’

Om te onderzoeken of de antwoorden van ChatGPT per vraagstelling verschillen, stelde de redactie de vraag over Cleopatra’s afkomst op meerdere manieren. ‘Het antwoord dat de chatbot geeft is sterk afhankelijk van de vraagstelling, maar de app weet er nooit precies zijn vinger op te leggen,’ ziet Van der Toolen. ‘De ene keer schrijft hij dat Cleopatra van Grieks-Macedonische afkomst is, maar bij het volgende antwoord is ze ineens Egyptisch.’

Vooral de alinea over Cleopatra’s huidskleur vindt ze schrijnend. ‘Haar huidskleur was waarschijnlijk donkerder dan die van een blanke persoon? Dat kan natuurlijk niet. Dat veel afbeeldingen van Cleopatra gebaseerd zijn op de geïdealiseerde interpretatie van de Romeinen ligt ook genuanceerder. Romeinse schrijvers schilderden Cleopatra juist af als een maneater die een bedreiging vormde; ze waren uiterst negatief over haar. In kunsthistorische termen waren de beeldhouwwerken van Cleopatra wel idealiserend, maar dat heeft niets met huidskleur te maken. Ik vind het vreemd dat de chatbot hierover begint wanneer er naar huidskleur wordt gevraagd.’

Van der Toolen sluit zich aan bij de andere historici en denkt dat kunstmatige intelligentie op geschiedenisvlak nog een lange weg te gaan heeft. ‘Deze chatbot is nog te grondstoffelijk om de subtiliteiten van de historische werkelijkheid te vatten; het heeft geen enkel benul van de complexiteit van de geschiedenis. Bij bèta-onderwerpen kan deze techniek misschien nuttig zijn, want daarbij is er minder sprake van interpretatie. Maar het verleden is een en al grijs gebied, waarbij het belangrijk is om informatie op de juiste manier te presenteren: als feit of mogelijkheid. Dat lukt de app nog niet.’

Van der Toolen is benieuwd of de techniek dit vak ooit goed zal leren beheersen. ‘Het gebruik van deze chatbot moet zich nog uitkristalliseren, dat geldt immers voor alle apps. Voorlopig is het zeker nog niet bruikbaar binnen de geschiedenis, want dat is toch een van de meest subtiele en complexe gebieden waarop een schrijver zich kan begeven. Dat heeft de chatbot nog niet onder de knie.’