NOS Nieuws•
AI-chatbots geven nieuws geregeld verkeerd weer. Dat blijkt uit onderzoek van de BBC, het samenwerkingsverband van publieke omroepen EBU en 22 publieke omroepen, zowel in Europa als Canada en de Verenigde Staten. Zij zochten uit hoe betrouwbaar de resultaten van AI zijn. Ook de Nederlandse Publieke Omroep (NPO) en de NOS werkten mee aan het onderzoek.
In het onderzoek werden ruim 3.000 vragen, zogeheten prompts, gesteld aan vier AI-hulpen. Dat waren ChatGPT, Gemini (Google), Copilot (Microsoft) en Perplexity. De antwoorden werden vervolgens door journalisten van de verschillende omroepen gecontroleerd op onder meer nauwkeurigheid en bronvermelding.
Verkeerde bronnen
Volgens EBU en BBC gebruiken mensen de AI-chatbots om een samenvatting van het nieuws te krijgen, maar gaat er bij 45 procent van de antwoorden iets mis. Zo geeft de chatbot vreemde bronnen voor zijn informatie aan en ook linkt de chatbot naar sites die niets met de vraag te maken hebben.
Dat gebeurde onder andere bij de Vlaamse omroep VRT. Die vroeg aan Perplexity waarom de naam van de Golf van Mexico is veranderd in de Golf van Amerika. In het antwoord worden links aangehaald die niets met het onderwerp te maken hebben.
Ook werden er in antwoorden citaten van sprekers toegeschreven aan een artikel of radiogesprek van een publieke omroep die niet in het originele materiaal van de omroep zaten. Dat gebeurde het meest bij de AI-hulp van Google, Gemini.
Overleden paus
Uit het onderzoek blijkt ook dat nauwkeurigheid en genoeg relevante context in de antwoorden een probleem is. Zo gaat het bij paus Franciscus mis. Deze paus overleed in april dit jaar. Het AI-onderzoek werd eind mei uitgevoerd. Drie van de chatbots geven aan dat Franciscus dan nog paus is. Microsoft’s Copilot zet er nog wel bij dat hij al overleden is.
De antwoorden waar informatie ontbreekt of waar foute elementen in staan, hebben volgens de publieke omroepen effect op hoe mensen kijken naar hun neutraliteit. Zo wordt er in een vraag aan ChatGPT over klimaatverandering een waardeoordeel gegeven. In het antwoord worden alleen NOS-bronnen getoond, wat bij de lezer tot de foutieve conclusie kan leiden dat de NOS een standpunt aanhangt.
Alle antwoorden van de AI-hulpen zijn via de publieke, gratis versie van de chatbots verkregen. De Britse omroep BBC deed dit jaar al een zelfde soort onderzoek naar de betaalde versies. Ook toen werden veel fouten gevonden in de antwoorden, maar uit het nieuwe onderzoek blijkt wel dat er verbetering is.
De EBU en de publieke omroepen roepen de Europese Unie op om het naleven van de wetten over AI beter te handhaven. Ook zou er volgens hen een waakhond moeten komen die regelmatig de AI-hulpen controleert.
