UNIGE document Chapitre d'actes
previous document  unige:3486  next document
add to browser collection
Title

Le rôle des métriques d'évaluation dans le processus de recherche en TAL

Author
Published in TAL (Traitement Automatique de la Langue), vol. 48, n. 1. 2007, p. 67-91
Abstract Le traitement automatique des langues (TAL) relève à la fois de la démarche scientifique et de la démarche technologique. Dans les deux cas, l'évaluation des systèmes informatiques implémentés est indispensable pour estimer le succès d'une recherche. S'inspirant du cadre ISO pour l'évaluation des logiciels, et utilisant une typologie des systèmes de TAL fondée sur la place de la langue parmi les données d'entrée ou de sortie, cet article analyse le rôle central des métriques d'évaluation à plusieurs étapes du processus de recherche en TAL. L'accent est mis sur les métriques qui comparent un résultat produit avec des résultats corrects attendus. L'analyse de plusieurs situations d'évaluation, en particulier le cas des systèmes de traduction automatique, illustre l'importance d'un choix cohérent des métriques et de l'utilisation conjointe de plusieurs métriques. L'influence du contexte d'utilisation sur le choix des métriques et le cas des systèmes interactifs sont discutés en conclusion. Research in natural language processing (NLP) has both scientific and technological dimensions. In both cases, it is necessary to evaluate the implemented systems in order to assess the success of a study. This article, grounded in the ISO framework for software evaluation, introduces a typology of NLP systems based on the role of language as input or output data, in order to analyze the central role of evaluation metrics at several stages of the NLP research process. The article focuses on the evaluation metrics that compare the response of a system to a set of correct responses. The analysis of several evaluation examples, in particular the case of machine translation systems, shows the importance of a coherent choice of metrics and of the joint use of several metrics. The influence of the context of use on the set of metrics and the case of interactive systems are discussed as a conclusion.
Keywords Systèmes de TALEvaluationNormes ISOCaractéristiques de qualitéMétriques d'évaluationNLP systemsEvaluationISO standardsQuality characteristicsEvaluation metrics
Full text
Proceedings chapter - public document Free access
Structures
Citation
(ISO format)
POPESCU-BELIS, Andréi. Le rôle des métriques d'évaluation dans le processus de recherche en TAL. In: TAL (Traitement Automatique de la Langue), vol. 48, n. 1. [s.l.] : [s.n.], 2007. p. 67-91. https://archive-ouverte.unige.ch/unige:3486

550 hits

188 downloads

Update

Deposited on : 2009-10-02

Export document
Format :
Citation style :