Stage en intelligence artificielle et vision par ordinateur - Reconnaissance de squelettes et apprentissage de comportements

  • Temps complet

Description de l'entreprise

Fondée en 2015, XXII est une startup spécialisée en deep technologies.

Notre expertise se porte sur l’intelligence artificielle ainsi que la réalité virtuelle, augmentée ou encore mixée.

Nous créons et développons des solutions logicielles.

Projets réalisés récemment : développement de solutions d’intelligence artificielle et de traitement d’image en temps réel pour la sécurité, le retail et l’industrie. création d’outils d’aide à la maintenance en réalité mixte, développement d’applications de formations en réalité virtuelle, développement d’un logiciel de show control pour des attractions et parcs à thème, etc...

Pourquoi nous rejoindre :

Intégrez une équipe de passionnés, talentueuse et soudée, composée d’une quarantaine de chercheurs scientifiques, ingénieurs, développeurs et créatifs localisés en France, en Chine et aux US, réunis pour créer les outils et les technologies de demain.

Description du poste

Contexte :

Dans le cadre du développement de ses produits en intelligence artificielle et de sa plateforme de déploiement, XXII recherche un(e) stagiaire R&D motivé(e) et talentueux(se) pour renforcer l’équipe R&D et répondre aux limites scientifiques et technologiques actuelles pour une industrialisation des solutions software en vision par ordinateur.

Vous serez rattaché(e) au laboratoire de R&D sous la direction d’un ingénieur/docteur.

 

Mission & Objectifs :

Dans le cadre de l’analyse du comportement humain, du mouvement et des postures, plusieurs technologies furent utilisées; on peut citer la motion capture ou la captation de signature IR avec la Kinect de Microsoft.

Pour répondre à des problématiques à grandes échelles et de façon précise, il est nécessaire de réaliser ces analyses à partir de caméras classiques. Plusieurs études se sont intéressées à cette problématique dans les dernières années en utilisant différentes approches, des analyses hiérarchiques sur les parties du squelette et une analyse dynamique basée sur un RNN [1], des architectures combinant des CNN et des LSTM par des maps de saillances ou par des analyses fréquentielles [2,3,4,6,8] . D’autres approches se basent sur des approches dynamiques ou sur des approches de visions pures [5,7,9]. Les architectures DensePose [10] et OpenPose [11] ont montré les premiers résultats les plus prometteurs en matière de taux de reconnaissance mais les performances restent à améliorer en terme de vitesses de traitements, de tracking et de reconnaissances partielles des sous-parties du corps.

 

Étapes du stage et objectifs :

  • Réalisation d’un état de l’art complet sur les approches de détection de squelettes et de reconnaissance de mouvements

  • Recherche de projets en open source et réalisation de tests de performance et comparaison avec l’implémentation de XXII Group

  • Réalisation de recommandations d’améliorations de l’approche théorique du système de XXII et de l’implémentation actuelle

  • Nouvelle implémentation du détecteur de squelettes et tests de performances

  • Application du nouveau détecteur pour l’apprentissages et la détection de nouveaux mouvements et comportements

  • Possibilité de la rédaction d’un article scientifique si apports théoriques notables

 

[1] Du, Yong, Wei Wang, and Liang Wang. "Hierarchical recurrent neural network for skeleton based action recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. 2015. (RNN)

[2] Human activity recognition based on optimal skeleton joints using convolutional neural network

Behrooz Mahasseni, Sinisa Todorovic; The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 3054-3062 (CNN)

[3] Zhu, Wentao, et al. "Co-Occurrence Feature Learning for Skeleton Based Action Recognition Using Regularized Deep LSTM Networks." AAAI. Vol. 2. No. 5. 2016. (LSTM)

[4] Li, Chuankun, et al. "Skeleton-based action recognition using LSTM and CNN." Multimedia & Expo Workshops (ICMEW), 2017 IEEE International Conference on. IEEE, 2017. (CNN and LSTM)

[5] Nguyen, Tien-Nam, et al. "Novel Skeleton-based Action Recognition Using Covariance Descriptors on Most Informative Joints." 2018 10th International Conference on Knowledge and Systems Engineering (KSE). IEEE, 2018. (Covariance vision)

[6] Hou, Yonghong, et al. "Skeleton optical spectra-based action recognition using convolutional neural networks." IEEE Transactions on Circuits and Systems for Video Technology 28.3 (2018): 807-811. (CNN)

[7] Zhigang, Zhou, et al. "Human behavior recognition method based on double-branch deep convolution neural network." 2018 Chinese Control And Decision Conference (CCDC). IEEE, 2018. (CNN and ML)

[8] Núñez, Juan C., et al. "Convolutional Neural Networks and Long Short-Term Memory for skeleton-based human activity and hand gesture recognition." Pattern Recognition 76 (2018): 80-94. (LSTM)

[9] Zhang, Pengfei, et al. "View adaptive neural networks for high performance skeleton-based human action recognition." IEEE Transactions on Pattern Analysis and Machine Intelligence (2019). (subnetworks)

[10] Alp Güler, Rıza, Natalia Neverova, and Iasonas Kokkinos. "Densepose: Dense human pose estimation in the wild." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018.

[11] Cao, Zhe, et al. "Realtime multi-person 2d pose estimation using part affinity fields." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017.

Qualifications

Le profil idéal :

En recherche d’un stage de fin d’études de M2 ou de diplôme d’ingénieur

Vous avez un goût prononcé pour l'innovation, la recherche et le développement.

Vous êtes autonome, autodidacte et polyvalent(e) techniquement et scientifiquement.

Vous disposez d’un grand sens de l’imagination et êtes créatif(ve).

 

Compétences requises :

  • Des connaissances théoriques solides en machine learning et en vision par ordinateur
  • Un bon niveau en programmation POO (C/C++ et/ou Python) est obligatoire

  • Une expérience avec les librairies de vision par ordinateur comme OpenCV  et les frameworks deep learning(Caffe, Torch, Tensorflow, etc) serait un plus

  • Lecture et rédaction d’articles scientifiques

  • Une bonne maîtrise du français et de l’anglais

  • Un goût prononcé pour l’innovation et la recherche

Informations complémentaires

Le stage sera situé dans nos locaux à Suresnes (92)

Durée du stage : minimum 6 mois

Date de début : dès que possible.