Nous abordons dans cet article le problème de la mesure de similarité entre les contenus visuels spatio-temporels de vidéos. L'information visuelle peut-être caractérisée par un ensemble de descripteurs extraits des images tout au long de la séquence. La dimension temporelle des descripteurs nous permet alors de les considérer comme une série temporelle dont on cherche à modéliser le comportement par une fonction de prédiction. Cette fonction est nonlinéaire et est estimée par la technique des Machines à Vecteurs Supports. La comparaison des modèles temporels ainsi estimés sur différentes vidéos permet, par l'intermédiaire de l'erreur de prédiction, de définir une mesure de similarité qui tienne à la fois compte des descripteurs visuels et de leur évolution temporelle tout au long de la séquence. Des résultats expérimentaux sur des séquences réelles montrent la validité de cette mesure de similarité.