## Beschikkingen

<!--



## status

* Bron http://localhost:8888/notebooks/WooIR/wobir/Projects/ACOI_2023/Beschikkingen/Beschikkingenanalyse.ipynb
* Noge en keer draaien als waterschap data allemaal in wogle
* dan tabel en plaatje fairiscore updaten
* Nog 1 keer doorlezen
* Wat mij betreft af.
* Allicht nog bevindigen Ramon tevoegen



____

* marx
* 2023-10-23
* Doel: afstemming metingen met Ramon

____


### Beschikkingen

1. Van welke soorten bestuursorganen zijn die er op zoek officiele bekendmakingen?
    2. waterschap
    3. provincie
    4. gemeente
    5. ???
6. Ramon haalt ze op naar Woogle, en maakt crawlers. (eind oktober)

### Transformator

* Van overheid XML metadata formaat naar dat van Woogle (eind oktober)


### Analyse

1. Doe voor elk attribuut in onze json
    2. Geef de naam
    3. Geef de source XML element naam in de source XML
    4. Geef een voorbeeld
    5. Geef missing data, liefst groupby organsiatie sort
        6. `beslisdf.groupby('dc_publisher_zonder de getallen').dc_title_isnull().mean()` zoiets 
        7. Groepeer ook eens er extra per jaar bij, om te zien of het beter wordt (dus minder missing).
    7. Voor de geo-data, kijk je even wat zinvol is, allicht
        8. of het er is
        9. het soort (point/adres, line, aantal.weet ik het)
        10. je hoeft niet heel precies te kijken hoe vaak een huisnummer etc. 
10. Voor de externe documenten:
    11. wie (welk bestuursrogaan dus) doet dat, sinds wanneer?
    12. en voor wie het doen, hoeveel missing data? (dus bschikkingen zonder externe docs)
    13. hoeveel van die docs dan per bescjikking, (.describe())
    14. wat voor bestandsformaten kom je tegen (plus telingen)
    15. aantal paginas totaal .describe()
16. Voor het XML document (dat dus ook in PDF is)
    17. "Hoe informatief is het?"
        18. Voor zover ik het zie zijn er 2 soorten
            19. zo'n aankondiging waarin niet veel meer dstaat dan in de titel, en dat je dan naar het gemeetehuis kan komen om de stukken in te zien.
            20. echt iets met veel meer infromatie zoals <https://zoek.officielebekendmakingen.nl//wsb-2023-9505.xml>
        21. **Kan je een simpele classifier maken die deze 2 aardig accuraat uit elkaar kan halen?**
    22. "Hoe rijk aan tekst en opmaak is het?"
        23. Tel aantal woorden
        24. Tel aantal tags per tagsoort.
            25. Je kan ze ook groeperen, die tags, allicht zie je dat in het schema terug. 
        25. **Toegankelijkheidsfouten** Misschien "tel verkeerd gebruik": bijv in bovenstaand XML wordt `<al>
<nadruk type="vet">Contact</nadruk>
</al>` gebruikt vor een tussenkopje (had dus een `h` element moeten zijn).
            * Trouwens, hier ook een opssoming die niet als lijst is weergegeven: `<al>De volgende bestanden maken deel uit van het besluit tot leggerwijziging LEGGER2023-D-14:</al>
<al>- DMS#2212889 – Partiële leggerwijziging LEGGER2023-D-14; en</al>
<al>- DMS#2212446 – Leggerwijzigingsdatabase LEGGER2023-D-14.</al>
<al/>` maar het wel wil zijn, en ook zo gedrukt wordt. 
    1. Is het XML valide mbt zijn schema (zoals gespecificeert in `xsi:noNamespaceSchemaLocation`).
        2. Dat vogel je uit met `xmllint` `$ xmllint --noout --schema my.xsd my.xml.` zo makkelijk. 

-->

De beschikkingen (Woo categorie 2k) worden al geruime tijd via officielebekendmakingen.nl gepubliceerd. Dit gebeurt via organen als de Staatscourant en het Waterschapsblad. Eind November 2023 stonden er daar 2.8 miljoen beschikkingen, als volgt verdeeld over de organen:


|**Blad**|**Aantal beschikkingen**|
|:--|--:|
|Blad gemeenschappelijke regeling |733|
|Gemeenteblad |2571329|
|Provinciaal blad |66787|
|Staatscourant |53652|
|Waterschapsblad |110054|

De eerste beschikkingen komen uit [1995](https://zoek.officielebekendmakingen.nl/stcrt-1995-34-p9-SC1991.html). 
Alle bestuursorganen hebben keurig een verwijzing naar hun respectivelijke pagina met beschikkingen in de Woo-index staan. Die is er namelijk automatisch ingezet. Artikel 3.3.a beschrijft de verplichte metadata voor beschikkingen. Hier is op dit moment nog geen sprake van. 

De technische kwaliteit van de stukken in de bladen uit bovengenoemde tabel is zeer goed. De beschikkingen zoals die in de bladen verschijnen worden gepubliceerd in meestal 4 formaten: prima toegankelijke HTML, en netjes opgemaakte PDF. Daarnaast wordt de bron gepubliceerd in 2 afzonderlijke XML bestanden, 1 voor de metadata, en 1 voor de tekst. Tot slot wordt het ook in ODT formaat vrijgegeven, een formaat dat ingelezen kan worden in Word. Dus de beschikkingen zijn **goed machine leesbaar**, en ook **goed toegankelijk voor visueel beperkten** (via de HTML versie).

Voor de rest van ons onderzoek naar de beschikkingen hebben we ons beperkt tot beschikkingen van de waterschappen. Omdat alle beschikkingen al zo'n lange tijd via hetzelfde kanaal openbaar gemaakt worden geloven we dat dit een representatief beeld schetst.

### De inhoud van de beschikkingen

Artikel 3.3.a van de Woo geeft heel goed de semantische kern van een beschikking weer. Het zou inderdaad voortreffelijk zijn als de beschikkingen op deze gestructureerde uniforme manier machine lees- en verwerk-baar beschikbaar komen. Op dit moment is dat dus nog niet het geval. Nu bestaat een beschikking uit 4 onderdelen:

1. de officiële beschikking zoals gepubliceerd in bijvoorbeeld het waterschapsblad
2. metadata van deze publicatie
3. externe bijlages hierbij
4. een geografische aanduiding

#### De officiële beschikking

Heel vaak is de officiële beschikking erg kort (mediaan van 167 woorden (N=61.003)), en vaak wordt daar ook in aangekondigd dat de stukken een bepaalde periode ter inzage liggen of per email of telefonisch kunnen worden opgevraagd. Hieronder een voorbeeld uit [deze bron ](https://zoek.officielebekendmakingen.nl/gmb-2023-497792.html), waarbij we het deel over bezwaar maken (wat steeds terugkomt) hebben weggelaten.

_____
<a name="id1-3-1"><!----></a><p class="staatscourant_kop _p_single-kop-titel"><a name="id1-3-1-1"><!----></a>De burgemeester van Rotterdam heeft besloten een exploitatievergunning voor de exploitatie van een coffeeshop te verlenen voor:</p>
    <div class="_p_zakelijke-mededeling"><a name="id1-3-2"><!----></a>
      <div class="_p_zakelijke-mededeling-tekst"><a name="id1-3-2-1"><!----></a>
        <div class="_p_tekst"><a name="id1-3-2-1-1"><!----></a>
          <p class="common-al _p_common-al"><a name="id1-3-2-1-1-1"><!----></a>Adres: <span class="vet _p_nadrukvet">Witte de Withstraat 92A 3012BT Rotterdam</span></p>
          <p class="common-al _p_common-al"><a name="id1-3-2-1-1-2"><!----></a>Geldig vanaf:20-11-2023</p>
          <p class="common-al _p_common-al"><a name="id1-3-2-1-1-3"><!----></a>Geldig tot en met:20-11-2024</p>
          <p class="common-al _p_common-al"><a name="id1-3-2-1-1-4"><!----></a>Kenmerk: <span class="vet _p_nadrukvet">0599ESUITE6196202023</span></p>
          <p class="common-al _p_common-al"><a name="id1-3-2-1-1-5"><!----></a>Datum verzending besluit:20-11-2023</p>
          <p class="common-al _p_common-al"><a name="id1-3-2-1-1-6"><!----></a>
            <span class="vet _p_nadrukvet">Voor meer informatie kunt u op werkdagen van 9.00 tot 17.00 uur contact opnemen met team Horecavergunningen, tel. 010 - 267 25 00 of per mail horecavergunningen@rotterdam.nl.</span>
          </p>

______




#### De metadata 

De metadata wordt handig als een apart XML bestand vrijgegeven. Hieronder een voorbeeld uit [deze bron](https://zoek.officielebekendmakingen.nl/gmb-2023-497792/metadata.xml). We zien dat er 4 *namespaces* gebruikt worden: de internationaal gestandaardiseerde Dublin Core attributen onder namespace `DC` en `DCTERMS` en twee zelf ontwikkelde onder `OVERHEID` en `OVERHEIDop`. Wat opvalt is dat er géén gebruik wordt gemaakt van de TOOI waardelijsten die bestaan voor bestuursorganen en categorieen. Dit maakt interoperabiliteit weer lastiger, omdat dan gekoppeld moet worden op strings als "Rotterdam" en "Openbare orde en veiligheid | Organisatie en beleid". 


```
<metadata_gegevens>
<metadata name="OVERHEID.organisationType" scheme="OVERHEID.Organisatietype" content="gemeente"/>
<metadata name="OVERHEIDop.publicationName" scheme="" content="Gemeenteblad"/>
<metadata name="OVERHEIDop.doctype" scheme="" content="Officiële Publicaties, versie 1.1"/>
<metadata name="OVERHEIDop.configuratie" scheme="" content="https://repository.officiele-overheidspublicaties.nl/MasterConfiguraties/MC-DRP-BeschikkingAanvraag-3Pas-ZM/2.53/xml/MC-DRP-BeschikkingAanvraag-3Pas-ZM.xml"/>
<metadata name="DC.creator" scheme="OVERHEID.Gemeente" content="Rotterdam"/>
<metadata name="DC.type" scheme="OVERHEID.Informatietype" content="officiële publicatie"/>
<metadata name="DCTERMS.publisher" scheme="OVERHEID.Gemeente" content="Rotterdam"/>
<metadata name="OVERHEID.authority" scheme="OVERHEID.Gemeente" content="Rotterdam"/>
<metadata name="OVERHEID.category" scheme="OVERHEID.TaxonomieBeleidsagendaDecentraal" content="Openbare orde en veiligheid | Organisatie en beleid"/>
<metadata name="DC.type" scheme="OVERHEIDop.Rubriek" content="exploitatievergunning"/>
<metadata name="OVERHEIDop.referentienummer" scheme="" content="0599ESUITE6196202023"/>
<metadata name="DCTERMS.abstract" scheme="" content="Coffeeshop Witte de With-Exploitatievergunning coffeeshop"/>
<metadata name="DCTERMS.language" scheme="DCTERMS.RFC4646" content="nl"/>
<metadata name="OVERHEIDop.gebiedsmarkering" scheme="OVERHEIDop.locatietype" content="Punt">
<metadata name="OVERHEIDop.geometrieLabel" scheme="" content="Gebiedsmarkering"/>
<metadata name="OVERHEIDop.geometrie" scheme="" content="POINT(92282 436684)"/>
</metadata>
<metadata name="DC.title" scheme="" content="De burgemeester van Rotterdam heeft besloten een exploitatievergunning voor de exploitatie van een coffeeshop te verlenen voor:"/>
<metadata name="DCTERMS.available" scheme="DCTERMS.W3CDTF" content="2023-11-22"/>
<metadata name="OVERHEIDop.jaargang" scheme="DCTERMS.W3CDTF" content="2023"/>
<metadata name="OVERHEIDop.publicationIssue" scheme="" content="497792"/>
<metadata name="DC.identifier" scheme="OVERHEIDop.GmbID" content="gmb-2023-497792"/>
</metadata_gegevens>
```


#### De externe bijlagen

Externe bijlagen bij een beschikking zijn enorm gevarieerd. Dat kan de gehele beschikking zelf zijn, kaartjes, fotos, en andere stukken. Juist hier zit natuurlijk de informatie die relevant is voor een burger die niet direct bij de beschikking betrokken is maar er allicht wel door wordt geraakt. Het is dan ook wenselijk dat al die externe bronnen handig bij de officiele beschikking openbaar gemaakt worden. 
We zien bij de waterschappen dat er een flinke variatie zit in deze manier van doen.
Onderstaande tabel geeft dit handig weer. De waterschappen Limburg en Amstel, Gooi en Vecht zijn uitschieters in de rijkheid van hun gepubliceerde beschikkingen. Waterschap AA en Maas publiceert nooit een externe bijlage. 


<!-- nog updaten nadat Woogle gevuld is-->

| dc_publisher_name                                               |   Aantal Beschikkingen |   Gemiddeld aantal docs per beschikking |   Percentage beschikkingen bestaande uit 1 document |   mediaan woordlengte beschikking in Waterschapscourant |
|:----------------------------------------------------------------|-----------------------:|----------------------------------------:|----------------------------------------------------:|--------------------------------------------------------:|
| Waterschap Aa En Maas                                           |                    398 |                                     1   |                                               100   |                                                     485 |
| Waterschap Amstel, Gooi En Vecht                                |                    758 |                                     4.3 |                                                 7.1 |                                                     443 |
| Waterschap Brabantse Delta                                      |                  12470 |                                     2.1 |                                                28.1 |                                                     683 |
| Waterschap De Dommel                                            |                    212 |                                     2.4 |                                                29.2 |                                                     289 |
| Waterschap Drents Overijsselse Delta                            |                    854 |                                     1.1 |                                                98   |                                                     330 |
| Waterschap Hollandse Delta                                      |                   2557 |                                     1   |                                                98.1 |                                                     326 |
| Waterschap Hoogheemraadschap De Stichtse Rijnlanden             |                   3627 |                                     1.4 |                                                76.6 |                                                     224 |
| Waterschap Hoogheemraadschap Hollands Noorderkwartier           |                  15678 |                                     1   |                                                99.9 |                                                     137 |
| Waterschap Hoogheemraadschap Van Delfland                       |                   2546 |                                     2.1 |                                                 3.2 |                                                     359 |
| Waterschap Hoogheemraadschap Van Rijnland                       |                   3944 |                                     1.7 |                                                27.4 |                                                     287 |
| Waterschap Hoogheemraadschap Van Schieland En De Krimpenerwaard |                   1376 |                                     1   |                                               100   |                                                     155 |
| Waterschap Hunze En Aa's                                        |                    386 |                                     2   |                                                 1   |                                                     178 |
| Waterschap Limburg                                              |                    344 |                                     4.6 |                                                 0.6 |                                                     515 |
| Waterschap Noorderzijlvest                                      |                   1323 |                                     2.7 |                                                 1.1 |                                                     105 |
| Waterschap Rijn En Ijssel                                       |                    453 |                                     1.5 |                                                99.3 |                                                     323 |
| Waterschap Rivierenland                                         |                  10359 |                                     1   |                                               100   |                                                     153 |
| Waterschap Scheldestromen                                       |                    178 |                                     1.2 |                                                82   |                                                     280 |
| Waterschap Vallei En Veluwe                                     |                   1014 |                                     1.8 |                                                17.1 |                                                     436 |
| Waterschap Vechtstromen                                         |                   1312 |                                     2.2 |                                                31.6 |                                                     171 |
| Waterschap Wetterskip Fryslân                                   |                    854 |                                     1   |                                                99.9 |                                                     344 |
| Waterschap Zuiderzeeland                                        |                    359 |                                     2   |                                                 1.1 |                                                     310 |



#### De Geo informatie

Iets meer dan 15% van de beschikkingen heeft een geo-aanduiding. Vanaf 2021 lijkt dit standaard ingevoerd en wordt dat vrijwel 100%. Dat kan op allerlei verschillende wijzes, maar het vaakst voorkomend is als 2 coördinaten waarmee een punt op een kaart kan worden aangegeven. In dat geval wordt dat punt op de kaart ook getoond, zoals [bij deze beschikking](https://zoek.officielebekendmakingen.nl/wsb-2023-1258). Soms is er ook een compleet adres, en soms ook een gebied, ook netjes met coordinaten weergegeven. Dit is erg handig, want het maakt *geografisch zoeken* mogelijk ("geef me alle beschikkingen afgegeven in 2023 in een straal van 10km rond mijn huis"). 


### De machine leesbaarheid

Zoals gezegd is de machine leesbaarheid van de stukken in de Staatscourant en de overige bladen uitstekend. Maar zelfs voor de externe bijlagen is die vaak ook prima in orde. We zien hier een variatie aan bestandsformaten. Wat een goed teken is, omdat we dan dus vaak met het originele bestand te maken hebben. Bij een spreadsheet of iets uit een GIS systeem is dit natuurlijk veel waardevoller. Onderstaande grafiek  geeft de verdelingen van de fairiscore voor de externe bestanden per waterschap. We zien ook hier nog wel wat variatie, maar over het algemeen is het best goed. We moeten hierbij aantekenen dat de fairiscore meting is afgesteld op PDFs met vrijwel alleen tekst. Het kan in sommige gevallen dus zijn dat de score lager uitvalt dan feitelijk juist is (bijvoorbeeld bij een kaartje met daarin handgeschreven informatie of een pijl dat een hele bladzijde beslaat met verder geen tekst; dit wordt dan gezien als een niet geOCRde scan en krijgt dus score E).


<!-- nog updaten -->


![](img/WoogleFairiscoreExterneBijlagesBeschikkingenWaterschappen.png)


### Conclusies en Adviezen

De beschikkingen vormen een Woo-categorie die er  positief uitspringt wat betreft machine leesbaarheid, vindbaarheid en toegankelijkheid. Het feit dat de beschikkingen via een centraal orgaan worden verwerkt en ook centraal worden aangeboden zorgt voor hoge kwaliteit en goede vindbaarheid. Natuurlijk is er nog wel wat te wensen. Onze adviezen zijn dan ook:

1. Vermijd duplicatie van hetzelfde. Veel waterschappen hebben een lange pagina gemaakt met al hun (vaak duizenden) beschikkingen erop. Dit is niet meer van deze tijd. Mensen zoeken gewoon met Google. Die lijsten verwijzen dan naar de officiele plek waar alle beschikkingen staan. Daar staan ze duidelijk en netjes. Besteed de energie liever aan het verbeteren van de kwaliteit van de gepubliceerde beschikkingen zelf.
1. Maak het bijvoegen van externe documenten die de beschikking echt beschrijven de standaard optie.
2. En zorg dat die documenten FAIR zijn. Dus liefst in het originele machine verwerkbare formaat, en als het PDFs zijn, geen scans, maar digitale documenten.
3. Maak bijvoegen van de rijke geo-informatie ook de standaard optie.
4. Gebruik de TOOI codes in de metadata voor het bestuursorgaan en de categorie en/of thema.
5. Zorg dat de PDF met de beschikking voldoet aan de WCAG norm. 
6. Tot slot, maak werk van Artikel 3.3 lid a van de Woo, en zorg voor een mooie manier om die rijke metadata die daarin vereist wordt ook echt als FAIR metadata beschikbaar te maken.