Human pose estimation using deep learning: application to passengers in autonomous vehicles
Estimation de poses humaines par apprentissage profond : application aux passagers des véhicules autonomes
Résumé
Research into autonomous cars has made great strides in recent decades, focusing particularly on analysis of the external environment and driving-related tasks. This has led to a significant increase in the autonomy of private vehicles. In this new context, it may be relevant to take an interest in the passengers of these autonomous vehicles, to study their behavior in the face of this revolution in the means of transport. The AURA AutoBehave project has been set up to explore these issues in greater depth. This project brings together several laboratories conducting research in different scientific disciplines linked to this theme, such as computer vision, biomechanics, emotions, and transport economics. This thesis carried out at the LIRIS laboratory is part of this project, in which we focus on methods for estimating the human poses of passengers using deep learning.
We first looked at state-of-the-art solutions and developed both a dataset and a metric better suited to the constraints of our context. We also studied the visibility of the keypoints to help estimate the pose. We then tackled the problem of domain generalisation for pose estimation to propose an efficient solution under unknown conditions. Thus, we focused on the generation of synthetic passenger data for pose estimation. Among other things, we studied the application of generative networks and 3D modeling methods to our problem. We have used this data to propose different training strategies and two new network architectures. The proposed fusion approach associated with the training strategies makes it possible to take advantage of both generic and specific datasets, to improve the generalisation capabilities of pose estimation methods inside a car, particularly on the lower body.
La recherche concernant les voitures autonomes a fortement progressé ces dernières décennies, en se concentrant particulièrement sur l'analyse de l'environnement extérieur et sur les tâches liées à la conduite. Cela a permis une importante croissance de l'autonomie des véhicules particuliers. Dans ce nouveau contexte, il peut être pertinent de s'intéresser aux passagers de ces véhicules autonomes afin d'étudier le comportement de ces derniers face à cette révolution du moyen de transport. C'est pour approfondir ces thématiques que le projet région AURA AutoBehave a été mis en place. Ce projet réunit plusieurs laboratoires menant des recherches dans différentes disciplines scientifiques liées à cette thématique telles que la vision par ordinateur, la biomécanique, les émotions ou encore l'économie des transports. Cette thèse menée au laboratoire LIRIS s'inscrit donc dans ce projet, dans laquelle nous nous intéressons aux méthodes d'estimation de poses humaines des passagers par apprentissage profond.
Nous avons d'abord étudié les solutions de l'état de l'art, et avons développé un jeu de données ainsi qu'une métrique plus adaptée aux contraintes de notre contexte. Nous nous sommes également intéressés à la visibilité des points afin d'aider l'estimation de la pose. Par la suite, nous nous sommes attaqués à la problématique de généralisation de domaine pour l'estimation de poses dans le but de proposer une solution efficace dans des conditions inconnues. Ainsi, nous nous sommes intéressés à la génération de données synthétiques de passagers pour l'estimation de poses afin de combler le manque de jeux de données annotés disponibles dans notre contexte. Nous avons étudié l'application de réseaux génératifs ainsi que de méthodes modélisation 3D à notre problématique. Nous nous sommes appuyés sur ces données pour proposer différentes stratégies d'entraînement et deux nouvelles architectures. L'approche par fusion proposée associée aux stratégies d'entraînement permet de tirer profit de jeux de données génériques et de jeux de données spécifiques, afin d'améliorer les capacités de généralisation des méthodes d'estimation de poses à l'intérieur d'une voiture, en particulier sur le bas du corps.
Origine : Fichiers produits par l'(les) auteur(s)