Kans op herhaling criminelen jarenlang verkeerd berekend door reclassering

Er zitten serieuze fouten in het algoritme dat de reclassering gebruikt om te berekenen wat de kans is dat criminelen opnieuw in de fout gaan. Dat concludeert de Inspectie Justitie en Veiligheid. De inspectie zegt dat de reclassering moet stoppen met het gebruik van de systemen of ze zo snel mogelijk moet aanpassen.

In bijna een kwart van de gevallen pakt de berekening te hoog of te laag uit. Bij het grootste deel van de fouten wordt het risico te laag ingeschat dat iemand opnieuw een misdrijf pleegt. “De reclassering adviseert onder meer de rechter en het zou dus kunnen zijn dat de rechter op basis van de reclassering verkeerde besluiten heeft genomen”, zegt Arjen Schmidt van de inspectie.

In het advies beschrijft de reclassering de achtergrond van gedetineerden en schrijft wat er nodig is om herhaling te voorkomen. De rechter gebruikt het advies om te beslissen over iemands straf.

Bij een te lage risico inschatting kan het gebeuren dat de maatschappij niet voldoende beschermd wordt. Bij een te hoge inschatting kan dat nadelige gevolgen hebben voor een verdachte of crimineel.

Jessica Westerik van Reclassering Nederland zegt in een reactie dat het gebruik van het systeem is “gepauzeerd”. Ze noemt het rapport van de inspectie zowel “confronterend als waardevol”. De komende tijd wordt onderzocht hoe het systeem “weer op verantwoorde wijze ingezet kan worden”.

Zes jaar geleden werd er overigens al gewaarschuwd voor dit betreffende algoritme. Uit onderzoek bleek destijds dat er een risico is op discriminatie op basis van etniciteit of sociale klasse. Ook werd de effectiviteit van het systeem toen al in twijfel getrokken, vanwege grote foutmarges.

Een ernstig voorbeeld van hoe wetenschappelijke inzichten verkeerd in het algoritme terecht zijn gekomen, is bijvoorbeeld dat de categorieën veroordeelde en verdachte verkeerd om zijn ingevoerd. Hierdoor is aan veroordeelden die juist meer kans hebben om de mist in te gaan, een lager risico toebedeeld. Ook is voor drugsgebruikers het risico op herhaling (recidive) in de formule te laag ingevoerd.

Er zijn daarnaast variabelen uit het systeem weggelaten, zoals of iemand een migratieachtergrond of psychische aandoening heeft. Hoewel er volgens de inspectie goede redenen kunnen zijn om dit soort gevoelige data niet te gebruiken, is het model hier ook niet goed op aangepast. De gegevens die ingevoerd zijn, zijn in het algemeen ook verouderd. Ze komen uit bijvoorbeeld Zweedse en Amerikaanse onderzoeken en worden niet geactualiseerd.

Het systeem wordt al jaren veelvuldig gebruikt, in de onderzochte periode van 2023-2024 meer dan 40.000 keer per jaar. Omdat het algoritme slechts een deel uitmaakt van de totale risico-inschatting, kan de inspectie niets zeggen over in hoeveel gevallen dit ook echt tot verkeerde uitkomsten heeft geleid. Want medewerkers maken ook nog een eigen afweging, die een rechter weer meeneemt in het eindoordeel. Maar het risico is aanwezig dat mensen te kort of te lang vastzaten of de verkeerde behandeling kregen.

Volgens de inspectie wordt veel waarde aan de uitkomst van het algoritme gehecht bij de beoordeling. “Naar onze inschatting vertrouwen ze daar te veel op”, zegt Schmidt. Omdat medewerkers niet goed snappen hoe het werkt, is dat extra risicovol.

Dat dit allemaal zo lang niet is opgemerkt, is volgens Schmidt te verklaren doordat de systemen niet worden gecontroleerd. “Wat we bij de reclassering eigenlijk zien, is dat er onvoldoende expertise in de organisatie aanwezig is om hier verantwoord mee om te gaan.”

Bovendien is ook het risico van discriminatie door het systeem niet uitgesloten. Twee kenmerken waarmee gerekend wordt, postcode en inkomen, kunnen namelijk een relatie hebben met iemands afkomst. Indirect kan er volgens het College voor de Rechten van de Mens bij zo’n wisselwerking sprake zijn van discriminatie. Zulke kenmerken mogen alleen onder voorwaarden gebruikt worden. Er moet dan duidelijk gemaakt worden dat het gebruik proportioneel is en hoe discriminatie voorkomen wordt. Ook dat is in dit geval niet gebeurd.

“Wij willen niet discrimineren en alleen onderscheid maken als dit aantoonbaar belangrijk is om de risico’s op delictgedrag in beeld te brengen”, zegt Westerik van de reclassering daarover. “Nationaliteit of etniciteit worden uiteraard niet geregistreerd bij ons.”

Het onderzoek naar de reclassering is het eerste in een groter onderzoek naar het gebruik van algoritmes bij de overheid, dat werd opgestart na problemen met het gebruik van algoritmes in de toeslagenaffaire en bij DUO. De inspectie onderzocht de reclassering omdat bekend is dat algoritmes daar veel worden gebruikt.