Connectionists: [Jobs] 24 months Post-doc/Engineer position in posture detection, machine learning, temporal sequence analysis

Fri May 6 10:28:07 EDT 2022

 Dear all,

could you please share to anybody who might be interested in the following
postdoc position ?
---
ENSTA, IP Paris is looking to hire a talented post-doctoral
researcher/engineer in human body movement analysis on a collborative
project with Nexter Robotics on machine learning (deep learning, transfer
learning), body pose detection, human activity recognition.
The ideal candidate holds a PhD or master degree in computer science,
machine learning and has led projects in deep learning, pose detection or
human activity recognition, and has a good understanding of
gesture/activity recognition and thermal cameras.

This position is limited to applicants of EU citizenship.

The appointment will be for 2 years.
Position starting before  15 September 2022.
Application before 15 May: please send your CV mentioning nationality, list
of publications and letter of motivation at recrutement-en2022 at ensta.fr
----
References :

Bouchabou, D., Nguyen, S. M., Lohr, C., LeDuc, B., and Kanellos, I. (2021).
Using Language Model to Bootstrap Human Activity Recognition Ambient
Sensors Based in Smart Homes. Electronics, 10(20).
https://doi.org/10.3390/electronics10202498

Bouchabou, D., Nguyen, S. M., Lohr, C., LeDuc, B., and Kanellos, I. (2021).
A Survey of Human Activity Recognition in Smart Homes Based on IoT Sensors
Algorithms: Taxonomies, Challenges, and Opportunities with Deep Learning.
Sensors, 21(18)(6037). MDPI AG.
----

*FICHE DE POSTE*

INTITULE DU POSTE

*Ingénieur/Post-doctorant en apprentissage automatique*

Durée d’affectation souhaitée

2022

24 mois

2024

Titre du Projet

Analyse de posture d’un agent humain

Mots-clés

*Robotique, suivi de personne, posture, intention*

Description synthétique et contexte

L’estimation et l’analyse de la posture 3D d’une personne permettent de
reconnaître ses mouvements et actions, mais aussi d’étudier les
interactions entre individus.

C’est un domaine scientifique qui pose des défis quant aux variabilités de
morphologies, de tenues vestimentaires, de mouvements et activités, ou
encore d’environnement en terme d’occlusion ou de conditions d’éclairage.

Ces dernières années, des avancées significatives ont été permises grâce à
l’apprentissage profond [1, 2, 6, 5, 4, 3]. Cependant, ces performances ont
été mesurées dans des conditions contrôlées, loin des conditions réelles de
civils dans leur vie quotidienne ou de celle de soldats en opération. En
effet, la variabilité des conditions et des gestes dans ces milieux non
structurés est grande et y complexifie l’analyse de mouvement.

Alors que les méthodes pré-citées ont été développées pour des images RGB,
les algorithmes d’apprentissage profond ont très peu été utilisés pour les
images thermiques. Or, les caméras thermiques connaissent un regain
d’intérêt car elles permettent une estimation des températures des
personnes et sont donc plus robuste aux variations vestimentaires des
cibles ou d’éclairage de l’environnement, tout en étant perçues comme moins
invasives pour la vie privée des personnes puisqu’elles ne permettent pas
d’en distinguer les traits.

Objectifs scientifiques recherchés

Dans l’objectif global de suivi des soldats, deux sujets seront
particulièrement travaillés pour ce projet.

   -

   Le premier sujet concerne la détection de personnel en tenue de
   camouflage pour la réalisation de fonctions de suivi par des robots
   « mules » par utilisation d’imagerie thermique et la création de base de
   données de postures et gestes spécifiques aux fantassins. Il s’agit
   d’exploiter une base de données recueillies par l’Ensta et de l’élargir à
   plus de contextes. Du point de vue algorithmique, il s’agit de faire du
   transfert de modèle pour adapter les algorithmes et les modèles pour les
   images RGB aux images thermiques.
   -

   Dans un deuxième temps, l’analyse des gestes et des postures réalisés
   par les soldats sera analysé à travers une reconnaissance d’action pour en
   déduire des comportements de sécurité à appliquer aux robots suiveurs en
   fonction de la mission de la plateforme et de la situation.

Description des activités principales

Rôle dans la réalisation du Projet

Le candidat exploitera une base de données multimodales pré-enregistrées
d’activités de la vie quotidienne, et mettra en œuvre des algorithmes de
détection de posture et de transfer learning pour détecter les postures et
reconnaître les activités effectuées. Il proposera ainsi un nouvel
algorithme et un nouveau modèle de détection de posture pour l’imagerie
thermique.

Le candidat mènera ensuite une campagne de capture de données pour élargir
la base à plus de contextes.

Dans un deuxième temps, il augmentera son modèle de détection de posture
avec un algorithme de reconnaissance d’action pour reconnaître les gestes
humains et leurs activités. Il montrera la pertinence de la reconnaissance
de gestes et d’activités en l’illustrant sur un cas d’étude en implémentant
un comportement de robot suiveur s’adaptant au comportement de l’humain.

Connaissances ou aptitudes pour occuper le poste

Connaissances : Apprentissage automatique (deep learning, transfer
learning), détection de postures, analyse de séquence temporelle, robotique

Aptitude  scientifique: Exploiter des données enregistrées pour constituer
des bases de données exploitables par les algorithmes d’apprentissage
automatique

Profil et/ou expérience souhaitée

*Candidat diplômé d’un doctorat en informatique ou apprentissage
automatique ayant réalisé des travaux en lien avec le deep learning et/ou
la détection de posture ou la reconnaissance automatique d’activités
humaines. *Bonne compréhension des enjeux liés à la reconnaissance
automatique d’activités et.ou des cameras thermiques.

*Nationalité européenne requise*

Début du post-doc avant le 15 septembre 2022

Localisations

Entreprise : Nexter Robotics, 14 route de la Minière, 78034 Versailles Cedex

Etablissement public : ENSTA Paris, 828 boulevard des Maréchaux, 91762
PALAISEAU

Contacts

Pour candidater, envoyez votre CV en précisant la nationalité, liste de
publications et lettre de motivation à recrutement-en2022 at ensta.fr

Références bibliographiques du Projet

[0]  Bouchabou, D., Nguyen, S. M., Lohr, C., LeDuc, B., and Kanellos, I.
(2021). Using Language Model to Bootstrap Human Activity Recognition
Ambient Sensors Based in Smart Homes. Electronics, 10(20).
https://doi.org/10.3390/electronics10202498
[1] Bertoni, Lorenzo, et al. "Monoloco : Monocular 3d pedestrian
localization and uncertainty estimation." Proceedings of the IEEE
International Conference on Computer Vision. 2019.

[2]  Benzine, Abdallah, et al. (2020). PandaNet : Anchor-Based Single-Shot
Multi-Person 3D Pose Estimation. In Proceedings of the IEEE/CVF Conference
on Computer Vision and Pattern Recognition (pp. 6856-6865).

[3]  Chen, Ching-Hang, and Deva Ramanan. "3d human pose estimation 2d pose
estimation matching." Proceedings of the IEEE Conference on Computer Vision
and Pattern Recognition. 2017.

[4]  Zhao,Zelin,etal."Estimating 6d pose from localizing designated surface
keypoints." arXivpreprintarXiv:1812.01387(2018).

[5]  Iskakov,Karim,etal."Learnable triangulation of human pose."Proceedings
of the IEEE International Conference on Computer Vision.2019.

[6]  Nibali, Aiden, et al. "3d human pose estimation with 2d marginal
heatmaps." 2019 IEEE Winter Conference on Applications of Computer Vision
(WACV). IEEE, 2019.

*Sao Mai NGUYEN*

Enseignante chercheuse

Téléphone : 01 81 87 20 32
http://nguyensmai.free.fr <http://nguyensmai.free.fr/Home.html> | Youtube
<http://www.youtube.com/user/nguyensmai> | Twitter
<https://twitter.com/nguyensmai> | ResearchGate
<https://www.researchgate.net/profile/Sao_Mai_Nguyen> | Hal
<https://cv.archives-ouvertes.fr/sao-mai-nguyen>
<https://cv.archives-ouvertes.fr/sao-mai-nguyen>
https://doi.org/10.1155/2022/5667223
------------------------------

*ENSTA Paris | Institut Polytechnique de Paris*

828 boulevard des Maréchaux

91120 Palaiseau [plan <https://www.ensta-paris.fr/fr/acces-et-contacts>]

www.ensta-paris.fr | LinkedIn <https://www.linkedin.com/school/ensta-paris/>
| Twitter <https://www.twitter.com/ENSTAParis> | Facebook
<https://www.facebook.com/ENSTA.Paris> | Instagram
<https://www.instagram.com/enstaparis/>
[image: raison-d-etre-ensta-paris]
<https://www.ensta-paris.fr/fr/raison-d-etre-ensta-paris>

------------------------------
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://mailman.srv.cs.cmu.edu/pipermail/connectionists/attachments/20220506/b8d53004/attachment.html>