Accès direct au contenu

CMLA

Version anglaise

aide

Accueil > Publications > Thèses du CMLA

Recherche - Valorisation

Méthodes d’apprentissage statistique pour l’optimisation globale

le 29 septembre 2016
10h00

Thèse de doctorat d'Emile CONTAL (CMLA)

Emile_Contal1.jpg

Emile_Contal1.jpg

Cette thèse se consacre à une analyse rigoureuse des algorithmes d'optimisation globale séquentielle. On se place dans un modèle de bandits stochastiques où un agent vise à déterminer l'entrée d'un système optimisant un critère.

Cette fonction cible n'est pas connue et l'agent effectue séquentiellement des requêtes pour évaluer sa valeur aux entrées qu'il choisit. Cette fonction peut ne pas être convexe et contenir un grand nombre d'optima locaux. Nous abordons le cas difficile où les évaluations sont coûteuses, ce qui exige de concevoir une sélection rigoureuse des requêtes.

Nous considérons deux objectifs,
- d'une part l'optimisation de la somme des valeurs reçues à chaque itération,
- d'autre part l'optimisation de la meilleure valeur trouvée jusqu'à présent.

Cette thèse s'inscrit dans le cadre de l'optimisation bayésienne lorsque la fonction est une réalisation d'un processus stochastique connu, et introduit également une nouvelle approche d'optimisation par ordonnancement où l'on effectue seulement des comparaisons des valeurs de la fonction.

Nous proposons des algorithmes nouveaux et apportons des concepts théoriques
pour obtenir des garanties de performance. Nous donnons une stratégie d'optimisation qui s'adapte à des observations reçues par batch et non individuellement.

Une étude générique des supremums locaux de processus stochastiques nous permet d'analyser l'optimisation bayésienne sur des espaces de recherche non-paramétriques. Nous montrons également que notre approche s'étend à des processus naturels non gaussiens.

Nous établissons des liens entre l'apprentissage actif et l'apprentissage statistique d'ordonnancements et déduisons un algorithme d'optimisation de fonctions potentiellement discontinue.

Statistical Learning Approaches for Global Optimization

This dissertation is dedicated to a rigorous analysis of sequential global optimization algorithms. We consider the stochastic bandit model where an agent aim at finding the input of a given system optimizing the output.

The function which links the input to the output is not explicit, the agent requests sequentially an oracle to evaluate the output for any input. This function is not supposed to be convex and may display many local optima. In this work we tackle the challenging case where the evaluations are expensive, which requires to design a careful selection of the input to evaluate.

We study two different goals, either to maximize the sum of the rewards received at each iteration, or to maximize the best reward found so far.

The present thesis comprises the field of global optimization where the function is a realization from a known stochastic process, and the novel field of optimization by ranking where we only perform function value comparisons.

We propose novel algorithms and provide theoretical concepts leading to performance guarantees. We first introduce an optimization strategy for observations received by batch instead of individually.

A generic study of local supremum of stochastic processes allows to analyze Bayesian optimization on nonparametric search spaces. In addition, we show that our approach extends to natural non-Gaussian processes.

We build connections between active learning and ranking and deduce an optimization algorithm of potentially discontinuous functions.

Type :
Thèses - HDR
Lieu(x) :
Campus de Cachan
Bâtiment Laplace, Salle Renaudeau, R-de-Ch.

Tutelle








Emile Contal

Jury de thèse

Directeur
Pr. Nicolas Vayatis,
CMLA, ENS Paris-Saclay

Rapporteurs
Pr. Josselin Garnier,
LPMA, University Paris Diderot
Pr. Andreas Krause,
ETH Zürich

Examinateurs
Pr. Aurélien Garivier,
IMT, Université Paul-Sabatier
Pr. Pascal Massart,
Université Paris-Sud
Pr. Vianney Perchet,
CMLA, ENS Paris-Saclay

Recherche d'une actualité

Recherche d'une actualité