Quand la vitesse et la puissance de calcul des IAG dépassent l’humain et invitent à réévaluer les pratiques de veille et d’intelligence économique

L’IAG s’invite à l’IES (1) : plusieurs cas d’usage, quelques métriques et surtout une forte incitation à réévaluer les pratiques des acteurs de la veille et de l’IE à l’aune d’un outil qui va plus vite qu’eux à une échelle qui les dépasse.

Si l’intelligence artificielle truste les conversations, les salons et autres événements depuis l’avènement des IA génératives (IAG), le forum de l’IES ne fait pas exception et s’est largement fait l’écho des questionnements actuels sur leur intégration aux pratiques professionnelles. Pas moins de trois sessions plénières et une table ronde lui étaient consacrées.

L’intérêt des propos tenus sur le sujet à cette occasion réside dans leur inscription dans le quotidien de professionnels de la veille ou de l’IE dont la fonction rime avec l’expérimentation régulière de méthodes et outils à même de faciliter et dynamiser leur pratique. Plusieurs d’entre eux sont venus présenter des cas d’usage concrets des IAG et surtout quelques métriques (elles font cruellement défaut pour l’heure, le recul étant insuffisant sur une technologie somme toute encore assez jeune).

⁽¹⁾ L’IES est un événement organisé tous les deux ans par la Commission Intelligence Stratégique et Prospective de 3 AF (Association Aéronautique et Astronautique de France), qui réunit des acteurs de la veille et de l’intelligence économique de différents horizons (et pas seulement de l’industrie aéronautique). La dernière édition s’est tenue les 20 et 21 novembre dernier à Strasbourg.

Les retours d’expérience les plus opérationnels ont été le fait du groupe de travail « Cycle de l’information et IA » de 3AF, composé d’acteurs industriels (Safran), de la recherche (Onera, Cetim), de la veille (Esprits collaboratifs) et institutionnels (DGAC, Université de Strasbourg). Le collectif a éprouvé 5 LLM (Large Language Models) : Perplexity, Gemini, ChatGPT, Copilot et LLaMA, dans l’exercice de différentes activités de veille. Au total, 37 cas d’usage, dont plus de 60 % concernaient des tâches relatives à la collecte et au traitement de l’information - les plus chronophages, celles que le veilleur délègue le plus volontiers.

Les principaux constats effectués à la faveur de ces tests relèvent davantage de griefs que d’un franc plébiscite des outils en question et incitent à la prudence et à une utilisation raisonnée des IAG.

Parmi les éléments retenus à leur charge, notons les principaux points suivants :

Grief #1 : Les IA génératives n’offrent pas de cas d’usage reproductible

L’IAG n’a pas été conçue pour assurer une reproductibilité compte tenu de son mode de fonctionnement qui s’appuie sur la probabilité, la prédiction et l’apprentissage statistique.

Le défaut de reproductibilité des cas d’usage concerne plus de 60 % des cas testés par le groupe de travail « Cycle de l’information & IA ». Peu de cas d’usage peuvent être reproduits (30 % seulement), ce qui met à mal leur industrialisation.

Grief #2 : Peu de cas d’usage produisent des résultats à valeur ajoutée

Moins de 20 % des cas d’usage du même groupe de travail ont produit des résultats à valeur ajoutée. L’IAG génère un gain de temps dans la réalisation, mais le temps incompressible de contextualisation de la demande, puis de contrôle et de vérification des réponses confine souvent à une perte de performance.