Pour créer une bonne expérience utilisateur, les concepteurs d'interfaces humain-machine ont recours à la conception centrée sur l'utilisateur, dont une des étapes principales est l'évaluation. Plusieurs méthodes d'évaluation existent, et des outils d'évaluation en ligne sont disponibles depuis quelques années. Cette thèse s'intéresse aux outils d'évaluation en ligne automatisés : leurs apports, leurs limites, la meilleure façon de les utiliser, et leur impact sur la façon d'évaluer les interactions humain-machine, à travers trois études expérimentales. La première étude démontre la difficulté d'interpréter certaines données générées par les outils en ligne. La deuxième étude montre l'impact de l'observation des utilisateurs pour l'évaluation. La troisième étude s'intéresse à l'activité de recherche d'informations, et à l'équivalence de deux indicateurs (analyse des mouvements oculaires et des mouvements de la souris). La complémentarité des méthodes d'évaluation des IHM est ensuite discutée.