Als je ooit de details van een wet hebt moeten opzoeken, ben je waarschijnlijk geconfronteerd met complexe juridische teksten die moeilijk te begrijpen zijn. De zinnen zijn lang, complex en vaak zo lang geleden geschreven dat de taal verouderd is.
In haar masterscriptie werkte Aisja Thijssen aan een oplossing om wetten gemakkelijker te begrijpen. In dit onderzoek gebruikt ze een op regels gebaseerd algoritme dat gebruik maakt van de grammaticale relaties tussen woorden in een zin en woordenlijsten om stroomdiagrammen te maken van de juridische tekst. Bovendien gebruikte ze grote taalmodellen (LLMs) om de formulering en volgorde van de verschillende gebeurtenissen in deze stroomdiagrammen te verbeteren.
Aisja heeft ervoor gekozen om wetten te beschouwen als procesbeschrijvingen. Een proces wordt het beste beschreven in een procesmodel. Een stroomdiagram is een zeer eenvoudige weergave van een procesmodel. Het toont wat er eerst gebeurt en wat er later gebeurt. Eerder onderzoek zegt dat het maken van stroomdiagrammen van wetteksten het voor de lezer gemakkelijker zou moeten maken om het proces van de wet te begrijpen.
Na het evalueren van meerdere opties koos Aisja ervoor om een procesmodel-extractiealgoritme te gebruiken dat ontwikkeld is voor de Engelse taal en dit om te zetten in een op regels gebaseerd algoritme dat goed presteert voor de Nederlandse taal. Dit op regels gebaseerde algoritme maakt gebruik van de grammaticale relaties tussen woorden in een zin om gebeurtenissen te identificeren die bestaan uit actoren, acties en objecten. Bij het ontwikkelen van deze op regels gebaseerde methode heeft ze de door het algoritme geïdentificeerde gebeurtenissen geëvalueerd met experts van PNA. Vervolgens gebruikte ze ChatGPT om het stroomdiagram dat door het op regels gebaseerde algoritme was gemaakt te verbeteren.
ChatGPT is een Conversational AI-tool en een LLM dat tekst kan genereren. Door zijn vermogen om tekst te begrijpen en inzichten te verkrijgen uit tekst, kan het de beschrijvingen van de verkregen gebeurtenissen verbeteren en beter de volgorde van verschillende gebeurtenissen identificeren. Aisja definieerde drie verschillende taken voor ChatGPT en gebruikte prompt engineering om prompts te maken die ChatGPT vertellen wat deze taken zijn. Prompt engineering is het proces van het creëren van prompts of instructies voor een LLM die specificeren welke rol het moet aannemen en welke taak het moet uitvoeren.
Na het maken van zowel een op regels gebaseerd stroomdiagram als een LLM-verrijkt stroomdiagram, evalueerde Aisja de bruikbaarheid van deze stroomdiagrammen bij het begrijpen van wetteksten met experts van PNA. In deze evaluatie werd gemeten of de stroomdiagrammen de tekst gemakkelijker te begrijpen maakten en of de mensen die de stroomdiagrammen gebruikten, vonden dat de stroomdiagrammen de wet gemakkelijker te begrijpen maakten. De resultaten van deze evaluaties toonden aan dat de stroomdiagrammen de wetten niet gemakkelijker te begrijpen maakten. Mensen waren niet nauwkeuriger of sneller in het beantwoorden van vragen over de wettekst. Echter, voor de langste wettekst, die als moeilijk leesbaar werd ervaren, vonden mensen het LLM-verrijkte stroomdiagram wel nuttig, in ieder geval nuttiger dan het op regels gebaseerde stroomdiagram. Het onderzoek heeft aangetoond dat hoewel stroomdiagrammen mensen niet helpen de wet beter te begrijpen, de lezer de ervaring heeft dat het lezen en begrijpen van de wet gemakkelijker is wanneer ze een stroomdiagram hebben.
Dit onderzoek heeft verschillende mogelijke toepassingen binnen PNA die verder zullen worden onderzocht en uitgewerkt in de toekomst.
Ben je geïnteresseerd in het schrijven van je scriptie bij ons? Ben je enthousiast over de mogelijkheid om deel uit te maken van het Data Science & AI team van PNA? Lees meer over onze toekomstige projecten!