Comment les professionnels du droit perçoivent-ils les documents générés par des IA, cette perception est-elle influencée par des biais cognitifs ?

C’est la question que se sont posée les auteurs de cet article : "It Cannot Be Right If It Was Written by AI: On Lawyers’ Preferences of Documents Perceived as Authored by an LLM vs a Human."

Les auteurs explorent cette question en étudiant comment des avocats et des étudiants en droit réagissent à des documents étiquetés comme étant générés par une IA ou par un humain.

Une particularité intéressante de cette étude est la manipulation délibérée des étiquettes apposées sur les documents présentés aux participants. Pour explorer les biais de perception, les chercheurs ont trompé les participants en leur présentant deux versions identiques de documents (un « Brief » et « Verbose »), mais avec des étiquettes différentes. Un groupe de participants a reçu un document étiqueté comme étant rédigé par une IA, tandis que l'autre groupe a reçu le même document, mais cette fois étiqueté comme rédigé par un humain.

L’objectif de cette expérience était d’examiner si le fait de croire qu’un document a été rédigé par une IA influençait la manière dont les avocats et les étudiants en droit jugent la qualité du langage et la précision du contenu. Les résultats de cette expérience sont sans appel : les participants étaient plus critiques à l’égard des documents qu’ils pensaient générés par une IA, bien qu’ils soient identiques à ceux qu'ils croyaient rédigés par un humain. Ce biais cognitif montre que, dans le domaine juridique, la perception de la technologie peut avoir autant d’importance que la qualité objective du travail.

Mais qu’est-ce que cela révèle réellement ?

Une aversion marquée des avocats pour les documents qu’ils croient générés par des IA…

Bien que ces documents soient conformes aux exigences légales, les participants leur attribuent souvent une note inférieure en termes de qualité du langage et de précision. En particulier, les aspects subjectifs tels que le style et la clarté semblent susciter plus de critiques, tandis que les aspects objectifs, comme la conformité aux exigences légales, sont moins remis en cause.

Même lorsque les documents sont factuellement corrects, les professionnels du droit semblent projeter des attentes plus élevées sur les documents qu'ils croient rédigés par des humains. Cela révèle un biais important dans la manière dont les technologies d'IA sont perçues, et non uniquement dans leur performance.

Malgré cette réticence et les biais mis en lumière par l’étude, la majorité des participants croient en la possibilité d'une automatisation complète de la rédaction de documents juridiques à l’avenir. En effet, 93 % des répondants pensent que la rédaction de documents simples, tels que des reconnaissances de dette, pourrait être entièrement automatisée. Cette ouverture à l’automatisation montre que, bien que la perception actuelle soit influencée par des biais cognitifs, les professionnels du droit reconnaissent tout de même le potentiel disruptif de cette technologie.

Alors oui, la perception d’un document comme étant généré par une IA a un impact significatif sur sa réception, mais cette perception pourrait évoluer avec le temps. À mesure que les IA deviennent plus performantes, il est possible que les perceptions changent et que l’aversion pour les documents générés par IA diminue, et l’optimisme reste de mise, car de nombreux avocats et étudiants en droit reconnaissent le potentiel de l’automatisation dans les tâches répétitives. L'évolution de ces perceptions jouera un rôle clé dans l’adoption à long terme de l'IA dans le domaine juridique.

Envie d’explorer concrètement ce sujet ? Testez Haiku gratuitement pendant 30 jours et découvrez comment notre application peut vous aider. 👉 Testez Haiku gratuitement

Source : https://arxiv.org/pdf/2407.06798