“ChatGPT est-il assez intelligent pour passer un examen de droit ?”, se demande 01net

Aux États-Unis, le premier “avocat IA” va défendre un vrai humain au tribunal selon le Journal du Geek. Toujours aux États-Unis, une startup américaine va faire plaider le premier « robot avocat », sous-apprend FranceInfo. En Colombie, un juge fait sensation en consultant ChatGPT pour statuer selon Le Dauphiné Libéré. Le site 01Net relate une expérience d’examens de droit intentée aux États-Unis. Plus impressionnant encore, “ChatGPT réussit (de justesse) les partiels d’une fac de droit” aux États-Unis, selon le Figaro Etudiants.  

À notre échelle, nous avons simplement tenté de vérifier si ChatGPT ferait un bon surligneur, à l’aide d’un cas simple, binaire (légal ou illégal ?), d’une déclaration politique contraire à la loi. Le résultat n’est pas encore probant. 

Nous avons donc posé une question déjà traitée par nos soins : celle d’un maire qui prétendait être parfaitement en droit de payer les jours de grève pour les agents de sa mairie. Or, nous le savons, c’est illégal en raison de la règle du service fait qui interdit de rémunérer un agent pour un service non effectué. La première difficulté est de savoir comment poser la question, tant les termes peuvent être ambivalents. Voici donc plusieurs versions de la même question.

Après cinq tentatives, c’est l’échec

Première version de la question posée : un maire peut-il payer les agents grévistes ? Réponse de ChatGPT : “Non, un maire ne peut pas payer les agents grévistes. Les grèves sont des moyens légaux de pression pour obtenir des changements, et le paiement des agents grévistes pourrait être considéré comme une forme de corruption”. Il n’a pas compris. 

Tentons autrement : un maire peut-il payer les agents de la mairie qui font grève ? Réponse : “Non, un maire ne peut pas payer les agents de la mairie qui font grève. La grève est un moyen légal de protestation et de négociation pour les travailleurs et les employeurs ne peuvent pas récompenser ou punir les travailleurs pour leur participation à une grève”. C’est mieux, mais pour un surlignage, ou devant un juge, ce sera nettement insuffisant.

Peut-être qu’en aiguillant un peu ChatGPT le résultat serait meilleur : existe-t-il une loi qui interdit à un maire de payer les agents de la mairie qui font grève ? Réponse : “Non, il n’existe pas de loi qui interdit à un maire de payer les agents de la mairie qui font grève. Cependant, le maire peut choisir de ne pas payer les agents qui font grève, et il peut également prendre des mesures disciplinaires contre les agents qui font grève”. O-M-G !

Essayons un rattrapage : est-il légal de payer les jours de grève dans une mairie ? Réponse : “Non, il n’est pas légal de payer les jours de grève dans une mairie. Les grèves sont considérées comme des périodes non travaillées et les employés ne sont pas payés pour ces jours”. Très moyen, le sujet est  traité de façon trop générale et ne trouve donc pas de réponse. S’il y avait eu une exception, il semble que ChatGPT ne l’aurait pas mentionnée.

Second rattrapage : en France, les agents municipaux qui font grève peuvent-ils être payés ? Réponse : “Non, les agents municipaux qui font grève ne peuvent pas être payés. En effet, le droit du travail français prévoit que les salariés qui font grève ne peuvent pas être payés pour le temps qu’ils ont passé en grève. Cependant, ils peuvent bénéficier d’une indemnité de gr”. Oui, le dernier mot est tronqué (nous sommes sur la version gratuite). On ne saura pas s’il s’agit d’une “indemnité de grève”, revendication que nos syndicats n’ont pas encore osée. Cela précisé, le sujet n’est pas non plus traité, s’agissant des seuls agents de la fonction publique territoriale. 

Pas encore au point mais impressionnant et prometteur

Résultat très insuffisant en somme, sur une question qui appelait une réponse simple, fondée sur une seule source légale, sans ambiguïté. Nous tenterons d’autres questions plus tard pour vérifier les avancées de cette intelligence artificielle, qui reste tout de même très impressionnante et rendra sûrement de grands services aux juristes, mais qui n’est pas encore prête à les remplacer.

Une erreur dans ce contenu ? Vous souhaitez soumettre une information à vérifier ? Faites-le nous savoir en utilisant notre formulaire en ligne. Retrouvez notre politique de correction et de soumission d'informations sur la page Notre méthode.