Permettez-moi de suggérer…
Dans un monde dominé par les plateformes de recherche, fournir les bonnes informations aux utilisateurs au bon moment a toujours été un enjeu majeur. Et avec l’essor de technologies telles que l’apprentissage automatique (ML) et l’intelligence artificielle (IA), proposer du contenu pertinent aux utilisateurs n’a jamais été aussi essentiel pour les entreprises, ni aussi efficace pour se démarquer. Mais comment les chefs de produit peuvent-ils mesurer avec précision, et finalement améliorer, l’efficacité des ML/IA dans des cas d’utilisation comme ceux-ci ?
L'ensemble de la plateforme Thomson Reuters repose sur la puissance de sa fonctionnalité de recherche. Le produit Checkpoint Edge permet aux professionnels de la fiscalité et de la comptabilité d'effectuer des recherches et de trouver rapidement et efficacement les informations dont ils ont besoin. « En tant que plateforme de recherche, nous disposons d'un champ de recherche dans lequel les utilisateurs saisissent leurs termes », explique Vinay Shukla, ancien chef de produit chez Thomson Reuters. « Nous avons également une fonctionnalité appelée « boîte de suggestion automatique » qui s’affiche quand l’utilisateur commence à saisir ses termes [de recherche]. Nous avons développé des capacités d'intelligence artificielle afin de commencer à suggérer des recherches recommandées en fonction de la saisie de l'utilisateur. »
M. Shukla et son équipe avaient besoin d'un moyen de mesurer l'efficacité de cette fonctionnalité de suggestion automatique. Il souhaitait également pouvoir se concentrer sur les aspects comportementaux et psychologiques de la manière dont les utilisateurs interagissaient avec la fonction de recherche du produit. « [Nous souhaitions comprendre des éléments tels que] le moment où un utilisateur interrompt sa saisie ou ses frappes, ou lorsqu'un utilisateur modifie une requête que nous lui suggérons », a expliqué M. Shukla. « Ce type d'informations est vraiment très utile pour la maintenance future de nos capacités en matière d'IA et d'apprentissage automatique, qui nécessitent beaucoup de données explicites et implicites. »
Interrogez les requêtes
Vinay Shukla et son équipe se sont tournés vers les événements de suivi de Pendo afin de cibler trois critères clés différents dans le processus de recherche des utilisateurs : (1) ce qu'ils saisissent juste avant d'arrêter d'écrire ; (2) s'ils ont sélectionné ou non une suggestion automatique dans la liste déroulante ; et (3) ce que les utilisateurs recherchent au final. « Grâce à ces trois informations, nous commençons à découvrir un vaste champ d'analyse permettant de déterminer si les utilisateurs modifient leurs requêtes et ce qu'ils saisissent dans celles-ci », se réjouit M. Shukla.
Il souligne que cette approche de suivi en trois volets permet à son équipe d'approfondir l'analyse des comportements des utilisateurs afin d'améliorer les performances des algorithmes d'apprentissage automatique et d'intelligence artificielle. « Ont-ils arrêté de saisir ? Ont-ils remarqué que leur question était déjà disponible dans la recherche ? [Les événements de suivi] nous donnent essentiellement un aperçu des performances de la [fonctionnalité de] suggestion automatique et nous offrent également la possibilité de voir la quantité d'informations dont l'IA a besoin pour commencer à afficher des suggestions de questions », affirme M. Shukla.
Il a ajouté que les événements de suivi de Pendo constituent une amélioration considérable par rapport à leur ancienne méthodologie, qui ne permettait pas de déterminer le moment précis où la recherche d'un utilisateur était prise en compte. « [Pendo] est une solution formidable, car même les personnes sans compétences techniques peuvent extraire les données du tableau de bord Pendo et créer des tableaux croisés. Désormais, même les personnes qui ne sont pas des spécialistes en science des données peuvent effectuer des analyses très rapidement », conclut Vinay Shukla.
La possibilité de suivre ces événements et de comprendre l'engagement des utilisateurs a également été extrêmement bénéfique pour l'équipe éditoriale de Thomson Reuters. « Nos rédacteurs rédigent du contenu pour notre plateforme en interne », explique M. Shukla. « Ils ont eu la possibilité d'analyser et d'examiner les types de requêtes formulées par les utilisateurs. S'ils ont participé à l'élaboration de certaines de ces requêtes, ils sont désormais en mesure d'obtenir un retour d'information sur les autres types de recherches effectuées par les utilisateurs. Cet événement de suivi en particulier leur a donc donné une grande marge de manœuvre. »
Shukla and his team now leverage these tracked events to measure success in—and improve the functionality of—the Checkpoint Edge product. “If a user selects content from the dropdown, then that feature is a success,” he explained. “It has created a lot of opportunities for us to analyze the types of queries our users are actually inputting versus what they might have seen in the dropdown. It’s a chance for us to figure out if we need to enhance the feature or take things back to the drawing board if queries are serving up irrelevant information.”
La mise en corrélation des retours des utilisateurs avec les analyses a également ajouté un niveau de contexte supplémentaire à la manière dont l'équipe de M. Shukla mesure l'efficacité de la fonctionnalité de suggestion automatique. En créant un segment d'utilisateurs ayant effectué un événement suivi spécifique, puis en générant un rapport Net Promoter Score (NPS) sur ces utilisateurs et en le comparant à un segment qui n'a pas interagi avec l'événement suivi, il est mieux à même de comprendre l'impact de la fonctionnalité sur le sentiment des utilisateurs. « Il était très important pour nous de voir comment les gens réagissaient à cette fonctionnalité à travers le NPS », indique M. Shukla.
M. Shukla souligne finalement que la facilité d'extraction des données à partir de Pendo a été un atout majeur. « Le plus grand avantage est de pouvoir mettre ces données brutes à la disposition des personnes qui font le travail », déclare-t-il. « Il n'y a pas besoin de beaucoup d'efforts ou d'une courbe d'apprentissage énorme pour extraire les données et filtrer les requêtes qui sont actuellement les plus populaires sur le marché, notamment lorsqu'il s'agit de savoir ce que nos utilisateurs recherchent. »
