Les grands modèles de langage sont apparus il y a quelques années et ont marqué une avancée significative dans le domaine de l’intelligence artificielle et notre manière d’interagir avec elle. Cependant, il est important de se rappeler que ces modèles sont essentiellement de vastes modèles statistiques de la langue. Ils ne possèdent aucune connaissance sémantique ou compréhension de ce qu’ils écrivent ; ils prédisent simplement une séquence de tokens à partir d’un contexte donné. Entraînés sur des ensembles de données gigantesques, leurs prédictions sont devenues si précises qu’on pourrait croire qu’ils comprennent ce qu’ils disent. Bien qu’ils ne produisent plus autant d’hallucinations qu’auparavant, ils sont simplement devenus meilleurs pour masquer leurs erreurs.
Beaucoup d’attention a été portée sur la manière de rendre les LLMs fiables. Il est crucial de fournir aux grands modèles de langage les faits que l’on souhaite qu’ils utilisent. Cela a conduit à la génération augmentée par récupération, ou RAG. Avec le RAG, lorsque l’on pose une question à un LLM, celui-ci tente d’abord de récupérer un contexte à partir d’une source dédiée créée par l’utilisateur. L’idée est de fournir au LLM un contexte plus précis et pertinent pour formuler sa réponse. Les premières tentatives de RAG ont été réalisées à l’aide de bases de données vectorielles, aidant les LLMs à fournir des réponses plus fiables. L’ajout de graphes de connaissances au processus de récupération s’est avéré très utile.
Les graphes de connaissances sont des structures de données qui représentent l’information sous forme de graphes, où les nœuds symbolisent des entités ou des concepts, et les arêtes représentent les relations entre ces entités. Ils permettent de modéliser et d’organiser les connaissances de manière structurée, facilitant ainsi l’accès et la compréhension de l’information. Étant donné que la base de données intègre beaucoup de sémantique directement dans les données, elle aide le modèle de langage à fournir des réponses plus précises et pertinentes.
Les LLMs modernes connaissent les langages des graphes de connaissances et peuvent les interroger pour obtenir du contexte. L’avantage des LLMs par rapport aux bases de données traditionnelles est que lorsque l’on interroge une entité dans le graphe, on peut également interroger son voisinage sans spécifier la nature de la relation, ce qui permet d’obtenir des informations plus complètes et diversifiées. Maintenant que les modèles de langage peuvent manipuler un contexte vaste avant de répondre, il est possible non seulement d’interroger les voisins immédiats d’une entité, mais aussi un voisinage étendu qui inclura également des relations entre des entités différentes de celles demandées. Cela peut aider le modèle de langage à simuler une compréhension plus large de la question posée et à fournir une meilleure réponse à l’utilisateur.
Tout comme les graphes de connaissances publics tels que Google Knowledge Graph, les graphes de connaissances peuvent viser une connaissance générale ou se spécialiser sur un sujet particulier. Ce sont avant tout des bases de données, et leur contenu dépend de ce que l’on souhaite en faire. En construisant un graphe de connaissances pour travailler avec des LLMs, on peut y insérer uniquement des informations vérifiées, afin que les modèles de langage ne fournissent pas de réponses erronées. Si l’on souhaite que son graphe de connaissances soit exhaustif, cela peut s’avérer une tâche herculéenne, car l’information n’est plus rare et vérifier chaque élément est extrêmement difficile. Il peut être judicieux de spécialiser son graphe de connaissances dans certains domaines où l’on possède une réelle expertise ou un accès à des sources de données fiables.
Une fois que l’on a rassemblé un corpus de données, le transformer en graphe de connaissances n’est pas un processus simple. Il faut extraire les entités et les relations du corpus et les insérer dans le graphe de connaissances. Heureusement, les LLMs sont très performants pour extraire des entités à partir de documents. Les LLMs peuvent non seulement interroger les graphes de connaissances pour obtenir des informations, mais aussi formuler des requêtes pour construire le graphe. Il est donc possible de fournir le corpus de documents au modèle de langage et de lui faire extraire les entités et construire le graphe de connaissances. On peut spécifier le schéma que l’on souhaite utiliser pour le modèle de langage ou en fournir un très simple avec des types d’entités et de relations qui stockent les informations dans les attributs. Dans tous les cas, le modèle de langage sera capable d’extraire les informations du graphe de connaissances lorsqu’il l’interrogera.
La synergie ici est intéressante : les LLMs peuvent aider à construire des graphes de connaissances qui, en retour, les aideront à améliorer la qualité de leurs réponses. En organisant eux-mêmes l’information et en la stockant pour une récupération ultérieure, les LLMs peuvent considérablement réduire leurs hallucinations et améliorer la véracité de leurs réponses, ce qui est d’une importance capitale.
Un graphe de connaissances est rarement statique ; il évolue avec les connaissances que l’on y collecte et incorpore. Lorsque l’on met à jour son graphe, il est important de ne pas créer d’entités ou de relations en double afin de maintenir le graphe aussi petit que possible pour une quantité d’information donnée. La présence de doublons peut ralentir la récupération et entraîner des répétitions dans les réponses du modèle de langage, ce qu’il faut éviter à tout prix. De plus, les doublons dans un graphe de connaissances peuvent décentraliser l’information, car il faut récupérer le voisinage de tous les doublons pour obtenir l’information complète.
Récemment, les LLMs sont également devenus très performants pour identifier les relations manquantes dans les graphes de connaissances et établir ces connexions, « réparant » ainsi le graphe. Si le corpus n’était pas exhaustif, il a pu manquer certaines relations entre ses entités. Identifier les éléments manquants parce qu’on ne les connaît pas est extrêmement difficile, cela va sans dire.
Les graphes de connaissances sont un outil puissant pour aider les LLMs à s’améliorer eux-mêmes. La relation peut être vue comme symbiotique : le modèle de langage aide à construire et à maintenir le graphe de connaissances, et le graphe aide le modèle de langage à fournir de meilleures réponses en rendant l’information plus facilement accessible. Les graphes de connaissances déplacent la sémantique de l’application vers les données elles-mêmes. Avoir la sémantique directement intégrée dans l’information est une opportunité formidable pour les LLMs, car ils peuvent désormais répondre avec plus de précision et moins d’erreurs. La relation entre les graphes de connaissances et les LLMs est mutuellement bénéfique et a permis aux deux technologies de devenir beaucoup plus utiles. Il aurait été très difficile de construire un graphe de connaissances à partir de zéro, et personne ne veut utiliser un modèle de langage qui ment constamment.
L’interaction entre les graphes de connaissances et les grands modèles de langage (LLMs) représente un bond en avant significatif dans la quête d’une IA plus précise et informée. En exploitant les données structurées et riches en sémantique des graphes de connaissances, les LLMs peuvent améliorer leur compréhension contextuelle et réduire les erreurs, conduisant à des réponses plus fiables. Inversement, les LLMs peuvent contribuer à la construction et à la maintenance des graphes de connaissances, garantissant qu’ils restent à jour et exempts de doublons. Cette relation symbiotique ne se contente pas d’améliorer les performances des deux technologies, mais ouvre également la voie à des applications d’IA plus fiables et efficaces. À mesure que nous continuons à explorer cette synergie, le potentiel d’avancées dans l’IA, bénéficiant à la fois de connaissances structurées et d’un traitement avancé du langage, est immense.
Graphe de connaissance de l’équipage du Vogue Merry.
