Ronde 2: Kan ChatGPT een accurate samenvatting van jurisprudentie geven aan de hand van ECLI-nummers?
Geschreven door Senne Huijbers en Jan Eijkenboom
Om dit te onderzoeken hebben we een aantal rechterlijke uitspraken door ChatGPT laten samenvatten. Deze uitspraken hebben wij zelf geanalyseerd, om zo te kunnen controleren of de chatbot een volledige en inhoudelijk correcte samenvatting geeft. Indien de chatbot hiertoe in staat is, kan dit juristen in de toekomst mogelijk veel tijd schelen.
Analyse 1
Er is gebruik gemaakt van de volgende zoekterm: ‘geef een samenvatting van het volgende arrest: ECLI:NL:RBLIM:2018:6463’. ChatGPT geeft hierop aan geen samenvatting te kunnen geven van deze uitspraak, omdat de chatbot niet bij deze informatie kan.
Vervolgens is de tekst van de uitspraak, die we van rechtspraak.nl hebben gehaald, in ChatGPT gezet met de vraag er een samenvatting van te maken. Het antwoord van ChatGPT was het volgende:
Het gaat hier om een uitspraak in een zaak waarbij een huurder in gebreke is gebleven in de betaling van de huur. De verhuurder vordert in deze zaak betaling van de huurachterstand en een veroordeling tot ontruiming van de woning. De huurder heeft zich verweerd tegen de vorderingen en beweert dat hij/zij geen huurachterstand heeft. De rechter heeft de zaak beoordeeld en een uitspraak gedaan over wie gelijk heeft in deze zaak en of de huurder de huurachterstand moet betalen en ontruiming moet ondergaan.
De inhoud van de samenvatting is juist, echter is deze niet volledig. ChatGPT gaat namelijk niet in op een aantal omstandigheden die in dit geval wel van belang zijn. Er wordt naast ontruiming van de woning en betaling van de huurachterstand niet gesproken over de in het arrest ingestelde vordering tot gebruiksvergoeding en een betaling van een voorschot op de kosten van een gerechtelijke ontruiming. Daarnaast gaat het ook niet in op hoe de rechter de situatie heeft beoordeeld. Dat zijn ons ziens cruciale zaken en die hadden in de samenvatting moeten worden opgenomen.
Analyse 2
Ook bij de tweede uitspraak (ECLI:NL:CRVB:2021:2122) hebben we de tekst van rechtspraak.nl geknipt en in chatGPT geplakt, omdat chatGPT aangaf geen toegang te hebben tot de informatie van het ECLI-nummer. De chatbot gaf de volgende samenvatting:
De zaak gaat over een beroep tegen een besluit van CIZ (Centrale Instelling voor de Toetsing van de Zorgbehoefte) om geen langdurige zorg (Wlz) toe te kennen aan de appellant op basis van de verstrekte medische informatie. De appellant lijdt aan PTSS, dwangneurose met paniekaanvallen, een conversiestoornis, ziekte van Crohn met eetproblemen en oververmoeidheid als gevolg van reuma en een maaghernia. CIZ wees de aanvraag voor zorg af op basis van een medisch adviesrapport, waarin werd geconcludeerd dat geen grondslag voor zorg kon worden vastgesteld op basis van de verstrekte medische informatie. De rechtbank steunde het besluit van CIZ, oordeelde dat het medisch adviesrapport zorgvuldig en redelijk was uitgevoerd en dat de appellant onvoldoende medische informatie had verstrekt om een grondslag voor zorg te kunnen vaststellen. De appellant heeft hoger beroep aangetekend tegen de uitspraak van de rechtbank.
Ook de inhoud van deze samenvatting is juist. Dit keer heeft de chatbot wel alle relevante punten wel in de samenvatting benoemd. De relevante feiten en omstandigheden worden kort besproken, de ingestelde vordering, het verweer van de wederpartij en het oordeel van de rechter zijn beschreven.
Analyse 3
De volgende uitspraak werd door ChatGPT samengevat: ELCI:NL:RBROT:2019:10089.
A-Garden heeft van de gemeente Dordrecht opdracht gekregen om de voortuinen van de bewoners van de [adres] te verhogen en te herbestraten. A-Garden heeft de oprit van [gedaagde 1] c.s. opgehoogd en herbestraat. Later klaagde de gedaagde dat een aantal tegels aan de zijkant van de oprit verzakt en los waren gekomen, A-Garden repareerde de oprit door betonnen opsluitbanden langs de zijkant van de oprit te plaatsen en de losse tegels opnieuw te bestraten. A-Garden factureerde de gedaagde voor de reparaties, maar de gedaagde stelt dat de reparaties noodzakelijk waren vanwege slecht uitgevoerd werk van A-Garden en dat A-Garden de kosten voor de reparaties zou moeten betalen. A-Garden vordert nu van de gedaagde €349,72, inclusief rente op de factuur.
Hier zien we dat de chatbot geen goede samenvatting geeft. ChatGPT gaat alleen in op de feiten en omstandigheden en de vordering. De chatbot laat het verweer, de beoordeling en de uitspraak van de rechter in zijn geheel buiten beschouwing. Dit is juist de relevante informatie die zeker in een samenvatting van een uitspraak opgenomen moet worden.
Analyse 4
Nogmaals werd er gevraagd om een samenvatting te geven, ditmaal van het volgende arrest: ECLI:NL:RBMNE:2019:5852. De chatbot gaf weer aan dat deze geen informatie kan geven over deze specifieke uitspraak.
Vervolgens is de tekst van deze uitspraak geknipt en geplakt in ChatGPT, maar de chatbot gaf aan dat de tekst te lang was om te kopiëren. Hierdoor kon hij geen samenvatting geven. Door middel van het opdelen van de tekst zou het wellicht wel lukken om een samenvatting te krijgen. Als je bijvoorbeeld alleen de feiten in de chatbot plaatst, geeft het een samenvatting van enkel de feiten. Hetzelfde geldt voor de beoordeling etc. Op die manier zou je zelf deze samenvattingen bij elkaar moeten voegen. Dit werkt niet efficiënt.
Wat valt op?
Op dit moment is het maken van samenvattingen van jurisprudentie door ChatGPT voor ons niet betrouwbaar en efficiënt. Het geeft in veel gevallen geen volledige samenvattingen, omdat het niet altijd in gaat op de dingen die wel van belang zijn bij het samenvatten van uitspraken. Verder is de chatbot op dit moment niet in staat om langere teksten te samenvatten. De kans dat je op dit moment een echt goede samenvatting krijgt is klein. Kortom is het gebruik van ChatGPT door juristen om een uitspraak samen te vatten op dit moment link. We zullen voorlopig de lange, soms taaie uitspraken zelf moeten blijven lezen.