Victoria Song, critique senior chez The Verge, affirme que l’objet connecté Bee Frontier d’Amazon l’a amenée à douter de ses souvenirs au lieu de l’aider à suivre ses conversations. Dans un témoignage personnel publié dans la newsletter Optimizer du média, elle décrit comment les transcriptions, les résumés et les analyses générées par l’IA de l’appareil contredisaient à plusieurs reprises sa compréhension des événements.

Bee enregistre les conversations, les transcrit et les résume, puis propose des tâches et des recommandations de développement personnel. Song écrit que ses performances se sont améliorées depuis ses premiers essais, notamment pour distinguer sa voix des dialogues d’une émission de télévision. L’appareil peut également s’appuyer sur les informations de son calendrier et de ses photos. Elle dit qu’il l’a parfois aidée à se rappeler des points à aborder au travail, mais qu’il l’a plus souvent laissée dans l’incertitude quant à ses interprétations.

Parmi les erreurs qu’elle rapporte, Bee lui a attribué une conversation au sujet du conjoint d’un collègue, alors qu’elle affirme n’avoir jamais rencontré cette personne, et a pris les surnoms de ses chats pour les noms d’animaux supplémentaires. Plus préoccupants encore, à ses yeux, étaient les résumés de discussions sérieuses, notamment de séances de thérapie, qui, selon elle, dépeignaient mal ses émotions et les événements dont elle se souvenait.

Après l’une de ces séances, Bee a produit un résumé d’une expérience de violence domestique vécue pendant son enfance et a demandé à Song de confirmer un « fait » associé. Elle a trouvé bouleversant de voir l’événement réduit à une brève déclaration et n’était pas d’accord avec la façon dont le résumé décrivait son humeur. Song se souvient d’une séance cathartique, à l’issue de laquelle elle se sentait légère, tandis que l’IA la décrivait comme accablée de chagrin et en colère.

Elle a également oublié d’éteindre l’objet connecté lors d’un rendez-vous médical annuel. Bee a enregistré des détails sur son traitement contre les allergies ainsi qu’une conversation au sujet de son chien décédé, mais la description émotionnelle de l’appareil ne correspondait pas aux souvenirs de Song. Elle remarque que le modèle destiné aux consultations médicales a produit un compte rendu plus factuel que le résumé par défaut, ce qui montre à quel point ses conclusions peuvent varier selon le format choisi.

La fonction Grow de Bee s’appuie sur l’historique des conversations pour suggérer des pistes de développement personnel et proposer des tâches. Song affirme que, à partir d’une conversation de configuration sur ses loisirs, l’appareil a déduit qu’elle manquait de persévérance et qu’elle devrait se consacrer à une seule activité. Elle conteste cette évaluation, en citant la lecture, la calligraphie et la broderie au point de croix, et estime que les loisirs n’ont pas besoin de produire des résultats à partager. Une autre recommandation, fondée sur une discussion politique avec son conjoint, l’incitait à entreprendre une action politique ; Song précise que l’échange était une plaisanterie et que l’évaluation ne tenait pas compte de son expérience comme démarcheuse politique et organisatrice syndicale.

Song écrit que les erreurs de l’appareil n’étaient pas toutes aussi graves, mais que voir sans cesse des interprétations présentées comme des faits l’a fait se sentir dépassée et parfois offensée. Pendant une séance de thérapie, elle a demandé à sa thérapeute ce que cela lui faisait de la voir utiliser Bee. Selon le récit de Song, la thérapeute estimait que s’en remettre à un appareil de ce type pouvait affaiblir la confiance en son propre instinct et susciter des analyses qui ne tiennent pas compte des émotions, risquant ainsi d’intensifier la rumination et le perfectionnisme.

Song et sa thérapeute ont plaisanté en disant qu’elle devrait jeter l’objet connecté par la fenêtre, et toutes deux se sont senties soulagées à l’idée qu’elle ne le porterait pas à la séance suivante. Bee n’a pas enregistré cet échange parmi les tâches suggérées ; au contraire, raconte Song, l’appareil lui a recommandé d’acheter de la colle à ongles et a ajouté un lien vers Amazon.

Sources: The Verge.