## Machineleesbaarheid en de Fairiscore Als opwarmer voor dit best lange rapport behandelen we een centraal begrip, *machine leesbaarheid*. Artikel 2.4.3 van de Woo stelt dat stukken vrijgegeven onder de Woo machine leesbaar moeten zijn en voorzien van metadata. Als dat zo is moet je stukken kunnen terugvinden en aan elkaar kunnen koppelen. Simpel gezegd test men bij machineleesbaarheid of een computer hetzelfde "ziet" of "leest" als een mens die een document (uitgeprint of van het scherm) leest. Dit heeft directe invloed op de vindbaarheid, de toegankelijkheid en de mogelijkheid tot hergebruik van die documenten[^fair]. [^fair]: Stukken waarvoor deze 4 zaken goed gaan noemen we *FAIR*. De 4 letters in FAIR staat (in het Engels) achtereenvolgens voor vindbaar, toegankelijk, koppelbaar en herbruikbaar. Machineleesbaarheid is een lastig begrip om precies te maken en dus om op te meten. Hoe kunnen we op miljoenen onder de Woo gepubliceerde pagina's nagaan of mens en machine de tekst die erop staat op dezelfde manier "zien"? Voordat we deze vraag beantwoorden is het goed om te kijken waarom dit überhaupt een probleem ís. Eigenlijk is het vreemd dat een computer iets anders zou lezen dan een mens in bijvoorbeeld een Word document. Elke letter die je ziet staan is toch ingetypt? Dit is natuurlijk zo en voor "gewone" Word, PDF, chat of mail bestanden is dit ook helemaal geen issue. Het verschil tussen mens- en machine-leesbaarheid ontstaat wanneer een document wordt *ingescanned* (dit betekent dat er van elke bladzijde een foto gemaakt wordt) waarna vervolgens wordt getracht de woorden die erin stonden weer terug te halen via een automatisch, door AI gedreven, proces dat letters herkent in afbeeldingen. Dit proces heet *optische karakter herkenning (OCR)*. Deze scan&ocr techniek wordt voornamelijk ingezet bij documenten waarin iets weggelakt moet worden. ### De Fairiscore Op basis hiervan hebben we een automatisch uit te voeren controle op machine leesbaarheid gemaakt: we kijken of een pagina geheel uit een afbeelding bestaat, hét teken dat het document later opnieuw is ingescand, en of er machineleesbare tekst in staat. Als er tekst inzit gaan we op zoek naar aanwijzingen dat er OCR is toegepast. Dat zie je aan gekke foutjes, bijvoorbeeld dat er "OekraTne" in een tekst staat (waar in het echt op de plek van die T natuurlijk een ï stond). Zoeken met de term [Oekratne in Google](https://www.google.com/search?sca_esv=590380016&sxsrf=AM9HkKm4V5XdJSeHPIiqHt82uX7c_o5Q_A:1702484158792&q=Oekratne) levert flink wat hits naar overheidsdocumenten op. We geven elke pagina een score van A tot E, vergelijkbaar met de Nutriscore voor voedsel. De slechtste, zogeheten *Fairiscore* E krijgt een document met geen enkele machineleesbare letter erin en waarbij elke pagina uit een afbeelding bestaat. De beste score A is voor documenten die niet gescanned zijn en waar dus tekst in te vinden is. De één na beste score B kan een ingescand document al krijgen als de OCR voor meer dan drie kwart net zo goed is als bereikt kan worden met de beste gratis beschikbare OCR. Score C en D zitten tussen de uitersten in; een document is bijvoorbeeld ingescand, en er is achteraf OCR toegepast, maar die bevat veel foutjes. Of het is een aan elkaar geplakt document, bestaande uit meerdere bijlagen, waarbij niet elke bijlage machine-leesbaar is. Volgens de wet zouden we mogen verwachten dat nieuwe stukken zonder of met minimale tekst redactie score A hebben en alle andere stukken A of hooguit score B. ### De resultaten We hebben de Fairiscore voor drie soorten documenten berekend. Ten eerste alle documenten vrijgegeven na een Woo-verzoek beschikbaar op [Woogle](https://woogle.wooverheid.nl/). Dat zijn 51 duizend documenten met in totaal 1.4 miljoen pagina's gebundeld in 9.500 Woo-dossiers vrijgegeven door 44 bestuursorganen. De verdeling van die scores over deze documenten staat hieronder. Slechts 36% heeft score A of B.  **Figuur: Verdeling van de Fairiscores voor alle documenten vrijgegeven na een Woo-verzoek die beschikbaar zijn op [Woogle](https://woogle.wooverheid.nl/search?q=*&type=2i&order=relevance-desc&page=1).** Om beter te kunnen vergelijken beperken we ons nu verder tot stukken gepubliceerd door ministeries op overheid.nl. We maken onderscheid tussen de vrijgegeven stukken en de besluiten. Het besluit is een onlangs door een Woo-jurist opgestelde brief aan de verzoeker met minimale tekst-redactie. Een document waarvoor het dus onnodig is de scan&ocr techniek toe te passen. De resultaten staan in de twee tabellen hieronder. Zoals verwacht zijn de scores over de hele linie wat beter voor de besluiten dan voor de vrijgegeven stukken. | | | |:---:|:---:| || | **Tabel: Verdeling van de Fairiscores voor alle besluiten en voor alle vrijgegeven documenten na een Woo-verzoek ingediend bij een ministerie die beschikbaar zijn op [Woogle](https://woogle.wooverheid.nl/search?q=*&order=relevance-desc&page=1&type=2i&publisher-type=Ministerie).** Tenslotte hebben we dezelfde analyse uitgevoerd op een type documenten die niet onder de verplicht actief openbaar te maken documenten vallen: beslisnota's. Sinds 1 juli 2021 zijn beslisnota’s over wetgeving en beleidsvorming bij Eerste en Tweede Kamerstukken openbaar en worden deze gepubliceerd op open.overheid.nl. Beslisnota's zijn allemaal heel recente stukken van gemiddeld 3 pagina's met minieme tekst-redactie. We zien hier een heel ander beeld, met vier ministeries die het erg slecht doen, en de anderen juist een stuk beter dan bij de besluiten. Maar eerlijk gezegd hadden natuurlijk alle balkjes donkergroen moeten zijn.  **Tabel: Verdeling van de Fairiscores voor alle beslisnotas die beschikbaar zijn op [Woogle](https://woogle.wooverheid.nl/search?q=*&order=relevance-desc&page=1&type=2e-b), per ministerie.** ### De oorzaak De oorzaak achter deze slechte scores is de scan&ocr methode die gebruikt wordt in veel laksoftware. Die software helpt de Woo jurist bij het verwijderen van persoonsgegevens en bespaart daarmee veel tijd. Jammer genoeg zien we dat die software heel vaak niet goed is afgesteld (alle documenten met score E bevatten helemaal geen tekst en daar stond de OCR dus uit), maar ook dat deze software wordt ingezet op korte net zelf gemaakte documenten met minimale redactie (rond de 1-3 weggelakte persoonsgegevens per document). We geloven dat gebruikers zich onvoldoende bewust zijn van de feilbaarheid van AI technieken zoals OCR. Het is anders toch niet denkbaar dat men een prachtige brief waar zoveel tijd en aandacht aan is besteed zo laat verminken[^vb]? Ook is het inscannen van PDF of Word documenten helemaal niet nodig om veilig te kunnen lakken[^us]. [^us]: Beslissingen van Amerikaanse rechtbanken, vol met zwartgelakte persoonsgegevens van bijvoorbeeld getuigen, worden rechtstreeks in de PDF gelakt en blijven dus echte digitale documenten. De weggelakte informatie is veilig en kan niet meer naar boven gehaald worden. Ook onderzoek aan de Universiteit van Amsterdam naar lakken direct in PDFs laat zien dat dit eenvoudig én veilig kan, ook samen met het geven van laksuggesties. [^vb]: Op [deze blogpost op wooverheid.nl](https://wooverheid.nl/2023/05/12/overheidsinformatie-voor-visueel-gehandicapten-vaak-niet-goed-toegankelijk/) staat een voorbeeld van zo'n besluit dat erg verminkt is door OCR. Iemand zonder zicht die dit moet laten voorlezen snapt er niets van. Er zijn gelukkig ook voorbeelden waar het wel goed gaat. Bij de gemeente [Hoeksche Waard](https://www.gemeentehw.nl/woo-verzoeken/) scoort 44% van de 711 documenten uit Woo-verzoeken een Fairiscore van A en nog eens 20% een B. Dit zijn stukken vanaf 2019. Van de 403 documenten uit Woo verzoeken uit 2021 en 2022 van de [Procincie Zuid Holland](https://www.zuid-holland.nl/politiek-bestuur/bestuur-zh/gedeputeerde-staten/besluiten/#&ajax=true&facet_wob=10&pager_page=0&zoeken_term=&date_from=&date_to=) scoort zelfs 44% een A en 43% een B. ### Hoe dan wel? Die vraag beantwoorden we in dit rapport. De conclusie van dit onderzoek naar de staat van de Woo documenten is tweeledig: op dit moment is er nog veel ruimte voor verbetering en wordt door de overheden geen recht gedaan aan de eigen richtlijnen. Maar oude stukken kunnen met AI heel goed gerepareerd worden, en kleine cultuurveranderingen kunnen al heel grote positieve effecten op de kwaliteit van de nieuwe stukken hebben. Beide maatregelen kunnen met weinig kosten, zeker gezien de enorme te behalen voordelen uitgevoerd worden. De uiteenlopende Fairiscores en een aantal lagere overheden laten zien dat dit geen luchtfietserij en ook niet onhaalbaar duur is. Goed machineleesbare documenten zijn een eerste vereiste voor een handig platform voor overheidsinformatie zoals PLOOI of [Woogle](https://woogle.wooverheid.nl/). De Woo documenten goed machineleesbaar te produceren is een haalbare en enorm nuttige eerste stap.