Lab vs ChatGPT Test 1

Test 1. Eenvoudige juridische vragen

Door: Senne Huijbers

ChatGPT[1] is een chatbot die speciaal is gemaakt voor het genereren van natuurlijke aanvoelende gesprekken.[2] ChatGPT is een van de meer dan 300 toepassingen van GPT-3[3] een kunstmatig neuraal netwerk (deep learning).

Deze chatbot kan antwoord geven op verschillende vragen en eventueel bijbehorende uitleg geven. Daarnaast is het programma ook in staat om teksten te herschrijven of te samenvatten. De vraag is nu in hoeverre ChatGPT accuraat is en hoe wij dit als juristen en studenten kunnen gebruiken?

In een serie blogs proberen wij daar antwoord op te vinden.

Kan ChatGPT een accuraat antwoord geven op een juridische vraag? De methode

Om dit te onderzoeken hebben we onderzoeksvragen geformuleerd. We hebben eerst een antwoord gezocht op de traditionele manier, door het doen van jurisprudentie- en literatuuronderzoek. Vervolgens hebben we een zoekvraag geformuleerd en die aan ChatGPT gesteld. We hebben onze antwoorden vergeleken met die van ChatGPT.

DALL-E 2 An illustration of a law school student fighting a chat bot

Een bestuursrechtelijke vraag

De volgende onderzoeksvraag is geformuleerd: ‘Wat kan een buurman ondernemen tegen een buurman die een dakkapel wil plaatsen met uitzicht op de tuin van een persoon als hij het daar niet mee eens is?’

Op basis van mijn onderzoek heb ik het volgende antwoord geformuleerd:

In dergelijk geval is het verstandig om eerst met de buurman in overleg te gaan. Zo kan er wellicht tot een uitkomst gekomen worden waar beide partijen tevreden mee zijn. Dit voorkomt dat er na afloop van de realisatie van de dakkapel een hoop veranderingen dienen te worden doorgevoerd aan de dakkapel. Indien partijen hier niet samen uitkomen, kan aan de hand van de plannen van de buurman worden nagegaan of er een vergunning nodig is voor het realiseren van de dakkapel. Uit het Besluit omgevingsrecht blijkt dat een vergunning voor activiteiten als bedoeld in artikel 2.1 van de Wet algemene bepalingen omgevingsrecht niet is vereist indien deze activiteiten betrekking hebben op een dakkapel in het achterdakvlak of een niet naar een openbaar toegankelijk gebied gekeerd zijdakvlak mits wordt voldaan aan de in dit artikel genoemde vereisten. Eerst zal aan de hand van de concrete gegevens in de casus moeten worden beoordeeld of een vergunning nodig is: wordt de kapel in het achterdakvlak geplaatst? Of naar een niet openbaar toegankelijk gebied?

DALL-E 2 A painting of a law school student fighting robots in the style of Johannes Vermeer

Indien de buurman op grond van dit artikel een vergunning nodig heeft, kan er bij de gemeente worden nagegaan of deze buurman in het bezit is van een vergunning. Mocht er nu sprake zijn van een vergunning, kan op grond van de Algemene wet bestuursrecht bezwaar tegen het besluit van de gemeente (lees: vergunning) worden aangetekend, als daar gronden voor zijn. Of dat zo is, vraagt ook om onderzoek naar de specifieke omstandigheden.

Kortom, adviseer ik om eerst met elkaar in gesprek te gaan. Zo wordt er misschien tot een compromis gekomen. Het meteen nemen van juridische stappen is niet bevorderlijk met het oog op het behouden van een goede relatie tussen twee buren.

Om te kunnen controleren of ChatGPT gebruikt kan worden als tool voor juristen, vergelijken we het zelf gevonden antwoord met het antwoord van de chatbot. Het antwoord dat de chatbot op de bovenstaande onderzoeksvraag gaf was het volgende:   

Er zijn een aantal dingen die u kunt doen als u het niet eens bent met de plannen van uw buurman om een dakkapel te plaatsen met uitzicht op uw tuin.  

Praten met uw buurman: U kunt eerst met uw buurman praten en uw zorgen uitleggen. Misschien is er een manier om tot een compromis te komen.  

Gebruik maken van de huisregels: Als er huisregels zijn voor het complex waarin u woont, kan het zijn dat uw buurman deze regels moet volgen. Deze regels kunnen specifieke eisen stellen aan de grootte, het materiaal en de plaatsing van dakkapellen.  

Check de plannen met uw gemeente: Uw buurman is verplicht om toestemming te vragen aan de gemeente voor het plaatsen van een dakkapel. Controleer of hij dat wel heeft gedaan en of de plannen voldoen aan de regels.  

Overweeg juridische stappen: Als uw buurman de plannen heeft ingediend bij de gemeente, maar deze niet voldoen aan de regels, kunt u overwegen om juridische stappen te ondernemen. Het is wel raadzaam om hiervoor een juridisch adviseur in te schakelen.  

Ik beveel sterk aan om, voordat u juridische stappen onderneemt, uw buurman aanspreekt en de gemeente te raadplegen.  

DALL-E 2 A painting of a law school student fighting robots in the style of Johannes Vermeer

Wat valt op?

De ChatGPT geeft direct antwoord. Ik heb onderzoek moeten doen. Dat kost tijd en dat moet je kunnen.

Als we het antwoord van de chatbot analyseren valt ook op dat bepaalde punten overeen komen met hetgeen ik zelf heb gevonden.  De chatbot geeft óok aan dat buren eerst met elkaar in gesprek kunnen gaan. Een echte preventive law insteek.

Maar, daarna heeft de chatbot het over het gebruikmaken van de huisregels voor het complex waarin iemand woont. Echter is de vraag niet zo specifiek gesteld dat het gaat om een complex en dit is dus ook niet zo zeer van toepassing op de onderzoeksvraag die is gesteld. Vervolgens wordt er door de chatbot gesproken over het feit dat het verplicht is om toestemming te vragen aan de gemeente voor het plaatsen van een dakkapel. Uit eigen onderzoek blijkt echter dat dit niet in alle gevallen verplicht is.

Conclusie op basis van test 1.

ChatGPT is heel eenvoudig te gebruiken. Je gaat naar de website, typt je zoekvraag in en er rolt direct een antwoord uit. Op het eerste gezicht lijkt het antwoord van de chatbot ook nog correct. Het antwoord wordt met overtuiging gebracht. Maar uit de analyse blijkt dat het niet een geheel passend antwoord op de vraag is. Daarnaast wordt er verder niet ingegaan op relevante wetsartikelen of andere rechtsbronnen. Het is dus niet verifieerbaar waarop ChatGPT het antwoord baseert.

In dit geval zou het riskant zijn geweest om blind te vertrouwen op de informatie van de chatbot, maar ChatGPT kan zeker dienen als inspiratiebron.


[1] Zie chat.openai.com

[2] ChatGPT is een model waarmee gebruikers een ‘gesprek’ kunnen voeren. Doordat het een dialoog is, kunnen bijvoorbeeld vervolgvragen worden gesteld.

[3] https://openai.com/blog/gpt-3-apps/