Cet article présente la conception et l'analyse d'un dispositif d'évaluation entre pairs dans le cadre de La Revue LEeE, du point de vue plus spécialement des rôles et des activités des évaluateurs et des évaluatrices. La première partie expose un ensemble de critiques énoncées par la littérature de recherche à propos de l'évaluation en double aveugle, puis présente des perspectives nouvelles par le moyen d'évaluations ouvertes entre pairs exploitant des outils numériques. La deuxième partie du texte présente l'étude du dispositif d'évaluation ouverte et collaborative (EOC) telle que proposée par La Revue LEeE. Les caractéristiques qui définissent cette EOC sont mises en évidence, et une analyse critique de la structure temporelle et organisationnelle du dispositif est proposée au regard plus spécialement des enjeux de collaboration visés. La position du comité éditorial de la revue est de contribuer à un changement de paradigme dont l'émergence commence à s'observer en sciences sociales et humaines, grâce à la conception d'évaluations ouvertes entre pairs exploitant les possibilités du numérique. L'article se termine avec la présentation d'un questionnaire visant à effectuer un suivi auprès des auteur∙rices et rétroacteur∙rices de la revue.