Série d'atelier "Connaître et évaluer les systèmes d'automatisation complexes pour les revues"
Intitulée "Connaître et évaluer les systèmes d'automatisation complexes pour les revues", cette nouvelle série d'atelier-discussion est une réponse aux inquiétudes et besoins soulevées lors de la série d'ateliers qui a eu lieu à l'hiver 2025. Nous souhaitons offrir aux équipes des revues partenaires du projet l'opportunité de comprendre plus en profondeur les systèmes d'IA et de s'outiller concrètement à l'évaluation qualitative (et quantitative) des outils et algorithmes qui bouleversent vos pratiques professionnelles. Chaque séance repose sur une présentation de 30min autour d'un thème illustré par des cas concernant directement la place des revues (ex: comprendre les architectures d'IA complexes comme le RAG et les IA agentiques, évaluer la production automatique d'abstracts, comprendre les mythes autour de l'IA).
Calendrier
12 février : Introduction aux architectures de systèmes complexes intégrant de l'"IA" - Alexia Schneider
Cette première séance est une introduction théorique aux systèmes actuels intégrant des LLMs dans leur fonctionnement : la plupart des outils, du plus généraliste chatbot aux outils spécialisés de recherche d'information ou de correction de texte, mettent en oeuvre un traitement complexe de la demande de l'utilisateurice. Afin de cerner les enjeux de cette automatisation et comprendre où se joue l'évaluation de ces systèmes pour leurs utilisateurices, je présenterai deux des architectures dites "complexes" de systèmes intégrant des grands modèles de langue, à savoir les IA agentiques et le RAG.
19 mars : Evaluation of LLMs for the production of an article's abstract (sujet à modification) - Gauransh Kumar
Cet atelier présente ChainForge à travers une démonstration pratique du test et de l’évaluation de prompts appliqués à la génération de résumés scientifiques. L’atelier débutera par une brève introduction à ChainForge en tant qu’outil permettant de comparer et d’analyser les sorties de différents modèles de langage. Il montrera ensuite comment un pipeline simple de RAG (Retrieval-Augmented Generation) peut être utilisé pour générer des résumés à partir d’articles scientifiques au format PDF. Enfin, il démontrera comment ces résultats peuvent être évalués selon différentes contraintes de prompt, telles que le nombre de mots, la qualité grammaticale et la pertinence par rapport au résumé original. L’objectif de cet atelier est d’illustrer, à travers un exemple concret, comment des évaluations quantitatives et qualitatives peuvent être combinées dans un flux de travail clair, structuré et reproductible.
16 avril : Mythes de l'automatisation, exemple de la HTR (sujet à modification) - Alix Chagué