Structural and functional regularization of deep learning models

Diplôme Thèse Structural and functional regularization of deep learning models eng fre 2021-02-26 2022-03-07 author Aminanmu Maolaaisha 0000-0003-0547-1373 829011 director Kalousis Alexandros 514211 director Marchand-Maillet Stéphane 0000-0002-4875-6101 518563 178 10.13097/archive-ouverte/unige:163468 urn:nbn:ch:unige-1634684 Sc. 5641 In this thesis, we investigate various regularization approaches for deep learning models. As the deep learning models can learn very complex functions using enormous numbers of parameters, the need for appropriate regularization becomes even more crucial. In this work, we are particularly interested in the setting where we have access to some domain knowledge that can be used to design various constraints on the learned model to improve models generalization performance.Throughout the thesis, we consider two types of domain knowledge: information about features’ intrinsic properties, which we refer to as feature side-information, and a black-box software that can measure the properties of any instances sampled from the underlying domain.In the first half of the manuscript, we focus on regularizing the predictive models using the feature side-information. Feature side-information is most often ignored or used only for feature selection prior to model fitting. In this work, we propose to incorporate the feature side-information into the learning of the predictive models where we assume that similar features should have a similar effect on the learned model. We present a regularizer that forces the learned model to be invariant/symmetric to relative changes in the values of similar features where the feature similarity is defined based on the feature side information. In the second half of the thesis, we focus on tackling the inverse problem: generating discrete structures that exhibit a fixed set of properties in the presence of black-box software which can evaluate the property of any discrete structures from the underlying domain. Even though unconditional generation of discrete structures has been tackled very successfully, the conditional generation remains challenging due to the discrete nature of the data. Existing methods are mostly limited to conditioning on binary classes. When conditioning on continuous properties, it is formulated as property optimization where the algorithms look for discrete structures that have their properties enhanced. Dans cette thèse, nous étudions diverses approches de régularisation pour les modèles d’apprentissage profond. Comme les modèles d’apprentissage en profond peuvent apprendre des fonctions très complexes en utilisant un nombre énorme de paramètres, la nécessité d’une régularisation appropriée devient encore plus cruciale. Dans ce travail, nous nous intéressons particulièrement au cadre où nous avons accès à certaines connaissances du domaine qui peuvent être utilisées pour concevoir diverses contraintes sur le modèle appris afin d’améliorer la généralisation des modèles. Tout au long de la thèse, nous considérons deux types de connaissances de domaine: des informations sur les propriétés intrinsèques, que nous appelons des informations auxiliaire, et un logiciel consideré comme une boîte noire qui peut mesurer les propriétés de toutes les instances échantillonnées dans le domaine sous-jacent. Dans la première moitié du manuscrit, nous nous concentrons sur la régularisation des modèles prédictifs en utilisant les informations auxiliaires des attributs . Les informations auxiliaires des attributs sont le plus souvent ignorées ou utilisées uniquement pour la sélec- tion d’attribut avant l’ajustement du modèle. Dans ce travail, nous proposons d’incorporer les informations auxiliaires sur les attributs dans l’apprentissage des modèles prédictifs où nous supposons que des attributs similaires devraient avoir un effet similaire sur le modèle appris. Nous présentons un régulariseur qui force le modèle appris à être invariant/symétrique aux changements relatifs dans les valeurs d’entités similaires où la similitude d’entités est définie en fonction des informations auxiliaires. Nous donnons deux façons pour approximer la valeur du régulariseur. Un analytique qui se résume à l’imposition d’un régularisateur laplacien sur le jacobien du modèle par raport aux attributs d’entrée et une stochastique qui repose sur l’augmentation des données. Nous effectuons des expériences sur un certain nombre d’ensembles de données de référence qui montrent des gains de performance pré- dictifs significatifs sur un certain nombre de lignes de base, en raison de l’exploitation des informations auxiliaire. Dans la seconde moitié de la thèse, nous nous concentrons sur la résolution du problème inverse: générer des structures discrètes qui présentent un ensemble fixe de propriétés en présence d’un logiciel de boîte noire qui peut évaluer la propriété de toute structure discrète du domaine sous-jacent. Même si la génération inconditionnelle de structures discrètes a été abordée avec beaucoup de succès, la génération conditionnelle reste difficile en raison de la nature discrète des données. Les méthodes existantes sont principalement limitées au conditionnement sur des classes binaires. Lors du conditionnement sur des propriétés continues, il est formulé comme une optimisation de propriété où les algorithmes recherchent des structures discrètes dont les propriétés sont améliorées. Dans ce travail, nous étudions l’utilisation de modèles génératifs conditionnels qui attaquent directement ce problème inverse en modélisant la distribution de structures discrètes à propriétés interessante. Regularizer Deep learning models Domain knowledge Dewey 025.063 32 Département d'informatique 18 false 50d97608-01d6-4f06-9568-eb83eba04698 Imprimatur Public phd_degree.pdf 391940 application/pdf d7d79087-06f3-4b7c-87b3-5996a1614755 Thesis Public thesis_Amina.pdf 7280552 application/pdf openAccess Faculté des sciences / Département d'informatique

Title	Published in	Access level	OA Policy	Year	Views	Downloads

Structural and functional regularization of deep learning models				2022	448	267

Archive ouverte UNIGE

Aminanmu, Maolaaisha

account_balance Affiliation entities

Research groups

Affiliation entities