Indirect Estimators and Computational Methods for Models with Unobserved Variables in High Dimensions

Diplôme Thèse Indirect Estimators and Computational Methods for Models with Unobserved Variables in High Dimensions eng Estimateurs indirects et méthodes computationnelles pour modèles avec variables latentes en hautes dimensions 2023 2023 author Blanc Guillaume 841832 Research center for statistics (STATI) director Victoria-Feser Maria-Pia 23194 Recherche et enseignement GSEM (RESEM) 128 10.13097/archive-ouverte/unige:169345 urn:nbn:ch:unige-1693450 GSEM 120 Dimension reduction for high dimensional data is an important and challenging task, relevant to both machine learning and statistical applications. Generalized linear latent variable models (GLLVMs) provide a probabilistic alternative to matrix factorization when the data are of mixed types, whether discrete, continuous, or a mixture of both. They achieve the reduction of dimensionality by mapping the correlated multivariate data to so-called latent variables, defined in a lower-dimensional space. The benefit of GLLVMs is twofold: the latent variables can be estimated and used as features to be embedded in another model, and the model parameters themselves are interpretable and provide meaningful indications on the very structure of the data. For all its merits, GLLVMs suffer a serious drawback: their estimation represents a tremendous challenge for even moderately large dimensions, essentially due to the multiple integrals involved in the likelihood function. Numerous methods based on approximations of this latter have been proposed: Laplace approximation, adaptive quadrature, or, recently, variational approximation (VA). For GLLVMs, however, these methods do not scale well to high dimensions, and they may also introduce a large bias in the estimates. An alternative approach is to use the EM-algorithm: unfortunately, for GLLVMs, the update does not admit an analytical solution and requires computationally expensive Monte Carlo procedures, which ultimately results in sluggish progress towards the solution. Of all these methods, the best performing, and indeed current state-of-the-art implementation, is the VA approach. In this paper, we propose an alternative route, which consists in drastically simplifying the estimating equations and applying numerically efficient bias reduction methods in order to recover a consistent estimator for the GLLVM parameters. The resulting estimator, for which we derive the statistical properties, is actually an M-estimator, which has a small efficiency loss compared to the (exact) maximum likelihood estimator. It can, however, provide (bias reduced) estimates for GLLVM models with over n = 10'000 observations, p = 500 (non Gaussian) manifest variables and over q = 10 latent variables in reasonable time on commodity hardware. For larger data sets, the resulting method, whose computational burden is linear in npq, remains applicable when the state-of-the-art method fails to converge. To compute the M-estimator, we derive a stochastic-approximation algorithm which allows us to estimate the GLLVMs with mixed response types, and provide an accompanying R package. La réduction de la dimension des données multivariées en hautes dimensions est une tâche importante et difficile, qui concerne à la fois l'apprentissage automatique et les applications en statistique. Les modèles linéaires généralisés à variables latentes (GLLVMs) fournissent une alternative probabiliste à la factorisation matricielle lorsque les données sont de types mixtes, qu'elles soient discrètes, continues ou un mélange des deux. Ils permettent de réduire la dimensionnalité en représentant l'interdépendance des données multivariées par des variables dites ``latentes'', définies dans un espace de dimensions inférieures. L'avantage d'un GLLVM est double: premièrement, une fois estimées, les variables latentes peuvent être intégrées dans un autre modèle de faible dimensions, qui les considère comme variables observées. Deuxièmement, les paramètres du GLLVM sont eux-mêmes interprétables et fournissent des indications précises sur la structure des données. Malgré leurs mérites, les GLLVMs présentent un inconvénient majeur: leur estimation représente un défi considérable, même pour des dimensions modérément grandes: la cause est la présence de multiples intégrales dans la fonction de vraisemblance. De nombreuses méthodes proposent comme solution l'approximation de cette dernière: l'approximation de Laplace, la quadrature adaptative ou, récemment, l'approximation variationnelle (VA). Pour les GLLVMs, cependant, ces méthodes ne sont pas adaptées pour des hautes dimensions, et elles peuvent également introduire un biais d'estimation important. Une autre approche consiste à utiliser l'algorithme EM: malheureusement, pour les GLLVMs, les itérations de cet algorithme n'admettent pas de solutions analytiques et nécessitent des procédures de Monte Carlo coûteuses en temps de calcul, ce qui résulte en une progression (trop) lente vers la solution. De toutes ces méthodes, la plus performante, et en fait l'implémentation actuelle de pointe, est l'approche VA. Dans cet article, nous proposons une approche alternative, qui consiste à simplifier radicalement les équations d'estimation et à appliquer des méthodes de réduction du biais basées sur des simulations de Monte Carlo, afin d'obtenir un estimateur consistant pour les paramètres du GLLVM. L'estimateur proposé, dont nous dérivons les propriétés statistiques, est en fait un M-estimateur, et ne souffre que d'une petite perte d'efficacité par rapport à l'estimateur (exact) du maximum de vraisemblance. Avec une implémentation minutieuse, cet estimateur peut cependant fournir des estimations (avec un biais réduit par rapport à VA) pour des GLLVMs avec plus de n = 10'000 observations, p = 500 variables manifestes (non gaussiennes) et plus de q = 10 variables latentes dans un temps raisonnable. Avec un coût de calcul linéaire en $npq$, notre méthode reste applicable même pour des modèles avec des dimensions encore plus grandes et pour lesquels l'algorithme de VA ne converge pas. Pour calculer notre M-estimateur, nous proposons un algorithme d'approximation stochastique qui nous permet d'estimer les GLLVMs avec des types de réponses mixtes, et nous fournissons un package R qui l'implémente. Generalized linear latent variable model GLLVM Factor analysis Computation M-estimator Latent variables Dimensionality reduction Stochastic approximation Dewey 330/650 9 Faculté d'économie et de management S false ea542ee3-88b6-436a-8a86-6b9edfc0e923 Thesis Public BLANC_Guillaume_Thesis.pdf 4160557 application/pdf b5040abf83b9fcab059ee9d05b9815b4c6507ebf5c8a49fc4f6d95e0f02d8bd8 78049186-43c5-47e4-bb91-d40253382b3d Imprimatur Public BLANC_Guillaume_Imprimatur.pdf 203201 application/pdf 745d2216f6fd63a88d2a60071bae9cb9adc78a3acd4a7d2d5818aa8ae6a54ae6 openAccess Faculté d'économie et de management

Title	Published in	Access level	OA Policy	Year	Views	Downloads

Indirect Estimators and Computational Methods for Models with Unobserved Variables in High Dimensions				2023	530	374

Archive ouverte UNIGE

Blanc, Guillaume

account_balance Affiliation entities

Affiliation entities