"Nous amorçons le développement de bots avec de l'IA générative", Carole Leclerc, Urssaf

L'Usine Digitale : Fin mai, vous avez annoncé de premières réalisations en matière d'intelligence artificielle au service des usagers conjointement avec le ministère chargé des Comptes publics. Pouvez-vous revenir sur cette annonce et nous en dire davantage ?

Carole Leclerc : Nous nous sommes intéressés à l'intelligence artificielle pour les usagers dans le cadre d'une expérimentation commencée en 2019, avec un premier chatbot que nous voulions tester sur un public. Il y avait une vraie envie d'investiguer ce sujet et de voir si cela pouvait être un canal de relations de service au-delà du volet communication que nous pouvions percevoir dans un certain nombre de cas. Très vite est arrivé le Covid et nous nous sommes rendu compte que c'était un canal extrêmement intéressant pour rassurer nos usagers en 24-7 sur des modalités à mettre en œuvre.

C'était une période où il y avait des décisions qui étaient prises à 20 heures et pour lesquelles nous avions besoin de rassurer nos usagers dès le lendemain pour expliquer la manière dont ce serait mis en œuvre. Fort de cette expérimentation qui nous a montré que c'était un canal plébiscité par les usagers et qui nous permettait de passer des messages dans des formats un peu différents, nous avons décidé de poursuivre le déploiement des chatbots. Et, de manière plus générale, nous avons construit un programme où nous cherchons à améliorer l'expérience usagée grâce à une offre de services omnicanal qui s'appuie sur l'intelligence artificielle.

A date, où en êtes-vous dans le développement de ces chatbots ? Avez-vous déjà quelques chiffres à nous donner concernant les usages ?

Aujourd'hui, ce programme prévoit de déployer sur l'ensemble de nos populations, et partout sur le territoire, des chatbots et des voicebots de niveau 1. Cela correspond à de l’information standard qui est partagée en mode conversationnel. À ce jour, nous avons déployé une dizaine de chatbots pour une dizaine de cibles différentes. Nous n'avons pas encore de chatbots connectés à notre système d'information. Cela fait partie des enjeux sur lesquels nous travaillons pour apporter des réponses simples mais personnalisées. D'ores et déjà, le fait d'apporter une information Urssaf en mode conversationnel est quelque chose qui plaît à nos publics.

Sur l’année 2023, nous avons plus de 4 millions d'usagers uniques qui ont utilisé notre chatbot. Aujourd'hui, nous sommes à peu près à mi-parcours de nos objectifs de déploiement de ces composants, soit une dizaine de chatbots, quatre voicebots également, et trois live chat. Pour ces projets, nous nous appuyons beaucoup sur la base du volontariat et sur le réseau. Nous considérons que ce sont des projets qui sont surtout des projets de transformation digitale et qui doivent impliquer notre réseau de caisses. Nous demandons quelles sont les Urssaf qui ont envie de travailler le déploiement d'un bot, que ce soit le chat ou le voice bot, pour un public précis ou à l'échelle nationale. Et à l'intérieur de cette antenne Urssaf, nous demandons ensuite quels sont les agents qui souhaitent travailler à la mise en place de ce projet.

Généralement, ce sont des agents qui, dans leur métier, répondent au téléphone ou sont gestionnaires de compte et nous nous appuyons vraiment sur leurs expériences de terrain pour construire les différents scripts qui répondent aux attentes des usagers. Nous les impliquons au fil de l'eau, ce qui fait qu’ils s'investissent beaucoup au démarrage du projet et restent acteurs du projet dans l'entraînement et la supervision des bots comme une activité récurrente dans leur métier.

Quels changements cela implique-t-il de travailler sur des bots avec de l’IA générative plutôt qu’avec de l’IA traditionnelle ?

Cela risque de changer pas mal de choses puisque jusqu'à présent nous étions sur du NLP classique. Nous amorçons le développement de bots avec de l'IA générative, nous allons donc avoir un travail de préparation qui sera certainement allégé, fort de la très bonne connaissance de la compréhension de l'IA générative. Pour autant, nous sommes convaincus que cela reste encore une fois un projet de transformation. Nous faisons évidemment beaucoup de tests pour nous assurer que ce ne soit pas l'usager qui soit l'objet des tests de performance.

Auparavant, lorsque nous déployions nos bots sur de l’IA classique, nous commencions par une phase de FAQ dynamique, le temps d'obtenir une montée en charge et un très bon taux de compréhension de nos bots. Ce travail d'entraînement réalisé par le terrain nous permet d'avoir des bots qui sont plutôt performants puisque nous avons un taux de compréhension qui dépasse très souvent les 95%. Pour les agents, cela risque de changer également puisque ce sont eux qui réalisent toute la base de connaissances, l'enrichissent et supervisent le bot pour ajuster les réponses. En basculant sur de l'IA générative, il se peut que les modalités de mise en œuvre soient légèrement différentes, avec moins d'entraînement et plus de supervision.

Comment cela impacte-t-il les usagers eux-mêmes ?

Nous observons vraiment une croissance d'usage globale, avec, toutefois, des comportements usagers spécifiques au public cible. Par exemple, nous avons une attention particulière sur le public Cesu (offre simplifiée pour déclarer la rémunération d'un salarié à domicile pour des activités de service à la personne, ndlr) qui découvre le voicebot depuis peu.

Nous adaptons des messages particuliers et n'avons pas le même message pour présenter ce bot, notamment car c'est une moyenne d'âge plus avancée. Encore une fois, l'enjeu c'est vraiment de faire ça en toute transparence. Il est très important que les gens comprennent qu'ils sont en contact avec un bot et non pas un humain. Il est très important aussi qu'ils puissent parler à un humain s'ils le souhaitent.

Pour assurer ce développement, vous faites le choix de prendre des solutions sur étagère provenant du secteur public ou vous vous appuyez sur des éditeurs ?

Nous nous appuyons sur un éditeur. Là, par exemple, nous allons travailler avec Do You Dream Up (DYDU) sur les nouveaux chatbots d'IA Générative. Il s’agit d’une start-up d'Aquitaine. Ce qui nous a semblé très important, dès 2019, c'était de travailler main dans la main avec un éditeur sur le volet accompagnement. En parallèle, nous travaillons sur l'IA générative en interne, notamment via la construction d'une plateforme souveraine afin d’avoir des cas d'usage sur lesquels nous pouvons vraiment exploiter l'IA générative au-delà de ces questions de bot.

Nous avons une doctrine en matière d'usage d'IA, notamment générative, pour laquelle évidemment nous avons défini tout un tas de principes, notamment le fait de garantir une supervision et une primauté humaine, mais aussi un principe d'autonomie et la capacité à garder la maîtrise sur la technologie. Fort de notre expérience passée, notre base de connaissances n'est pas à l'intérieur du bot mais à l'extérieur, ce qui nous permet de pouvoir changer de technologie beaucoup plus facilement. Dans les premières expérimentations que nous avions faites, nous avions inclus la base de connaissances dans le bot : lorsque nous avons changé de technologie, il a fallu tout réapprendre, cela supposait du travail au niveau des équipes.

Pourquoi avoir fait le choix d'une start-up plutôt qu'une entreprise déjà établie sur le marché ?

Nous fonctionnons vraiment dans des logiques de “pitch contest” dans ces cas-là, c'est-à-dire qu'au sein de la direction innovation et digital de l’Urssaf, nous avons cette habitude de travailler la question par rapport à un besoin. Nous avons rencontré un certain nombre d'acteurs et il se trouve que c'est cette structure qui nous a donné envie de basculer sur l'IA générative à court terme. C'est vraiment dans une approche expérimentale, exploratoire. Encore une fois, nous restons assez agnostiques sur les choix technologiques. L'enjeu pour nous, c'est d'abord et avant tout de tester et de pouvoir le faire rapidement avec les acteurs qui nous semblent les plus à même de nous apporter l'accompagnement dont nous avons besoin.

Pouvez-vous détailler un peu plus les projets à venir ?

Grâce à l’IA, l'Urssaf s'est engagée dans le live chat, ce qui est vraiment un nouveau métier. Nous en avons trois déployés sur différentes cibles : les praticiens auxiliaires médicaux, les auto-entrepreneurs dans certaines régions, et les frontaliers Suisse. Sur ces populations, là encore, sur la base du volontariat, nous sommes allés chercher les Urssaf qui voulaient commencer à avoir une relation avec les usagers via ce canal.

Il nous semblait essentiel de pouvoir les outiller avec une base de connaissances qui facilite finalement ce côté conversationnel chat, puisque ce n'est pas quelque chose sur lequel ils avaient l'habitude de travailler. Nous avons donc une base de connaissance sur laquelle nous ajoutons de l'IA générative pour accélérer davantage ce modèle chat, cela fait partie de nos projets à venir.

Vous avez mentionné plus tôt la connexion au système d’information également ?

Oui, il y a la connexion au système d’information pour avoir des réponses chatbot simples mais personnalisées et nous voulons faire la même chose sur les voicebots. Actuellement, nous sommes sur l’expérimentation de pilote de mailbot, c'est-à-dire d'outils qui vont nous permettre le routage des mails auprès des bons conseillers, et offrir une assistance à ces conseillers pour la rédaction de la réponse.

Cela doit nous permettre de gagner en délai de traitement, puisque la question de l'affectation des bannettes, est similaire à celle du numéro 15 par téléphone, c'est-à-dire que nous demandons à l'usager de sélectionner un motif, mais malheureusement, ce dernier ne sélectionne pas toujours le motif qui correspond exactement à sa demande. Nous nous rendons compte que presque 40% des questions qui sont des questions extrêmement simples mais qui nécessitent de la personnalisation. Si nous arrivons à connecter nos bots au système d’information, alors nous pourrons répondre à un besoin d'informations simples mais personnalisées via ces canaux qui sont d'ores et déjà adoptés par les usagers.

A terme, l’intégration de l’IA générative ne risque-t-elle pas de prendre le dessus sur le travail des agents ?

Il est vraiment important pour nous de montrer que cette appropriation de l'IA à l'Urssaf se fait en complémentarité avec la relation de service de proximité, puisque nous considérons que nous avons besoin de cette relation digitale pour offrir un service de proximité. C'est grâce à des projets d'IA générative et d'IA de manière générale, que nous allons pouvoir réouvrir des accueils sans rendez-vous une demi-journée par semaine, que nous pourrons passer plus de temps avec les usagers et recréer peut-être des offres complémentaires.

Nous effectuons vraiment ce travail main dans la main avec les collaborateurs en interne qui sont partants sur des projets, et toujours dans le respect de cette doctrine d’IA générative évoquée. De manière générale, nous avons une vraie politique d'acculturation à l’IA auprès de notre réseau. Il faut rappeler que nous sommes sur à peu près 350 collaborateurs qui, de près ou de loin, sont embarqués dans cette aventure de déploiement de l'IA au service de la relation usager. Nous sommes persuadés que c'est la clé pour embarquer tout le monde et faire en sorte que, encore une fois, nous n'opposons pas du tout le travail qui peut être fait par les collaborateurs et ces projets technologiques qui, forcément, sont pilotés au niveau de la Caisse nationale.