1. Livres et vidéos
  2. Kinect - Intégrez le capteur de Microsoft dans vos applications Windows - Version en ligne

Kinect Intégrez le capteur de Microsoft dans vos applications Windows - Version en ligne

  • Accès illimité 24h/24, 7J/7
  • Tous les livres en ligne, les vidéos et les cours enregistrés ENI
  • Plus de 10 nouveautés livres et vidéos chaque mois
  • Les nouveautés disponibles le jour de leur sortie
  • Accès 100% en ligne
  • Accessible immédiatement
  • Version HTML
  • Accès illimité 24h/24, 7J/7

Présentation

Ce livre s'adresse aux développeurs qui souhaitent intégrer le capteur Kinect (en version 2.0 au moment de l'écriture) dans leurs projets Windows, aussi bien professionnels que privés. Il détaille l'ensemble des fonctionnalités offertes par Kinect et accompagne le lecteur dans leur découverte et leur intégration. Une connaissance de base en .NET, C# ou C++ est un prérequis indispensable pour tirer le meilleur profit de ce livre.

Après une présentation de l'histoire du boîtier Kinect, les auteurs décrivent les différents outils nécessaires au développement, tels que Visual Studio et Kinect Studio.

Les chapitres suivants couvrent l'ensemble des abstractions proposées par le kit de développement de Kinect : de l'exploitation au format brut des différents flux de données (pour exploiter sans intermédiaire les caméras 3D, infrarouge et de profondeur), en passant par la reconnaissance de mouvements (en reconstituant virtuellement le squelette des corps filmés) jusqu'à la création et l'analyse de ses propres gestes afin d'ouvrir la porte à toute reconnaissance avancée.

Le lecteur découvrira ensuite comment intégrer Kinect dans une application métier pour créer une application autonome pouvant être déployée sur des bornes intégrant un PC et une Kinect.

Enfin, dans les derniers chapitres, sont présentées des fonctionnalités avancées de Kinect telles que la reconnaissance vocale au travers de l'exploitation du microphone de Kinect ainsi que la reconnaissance de visage et d'expressions pour permettre la création de scénarios complètement personnalisés en fonction de l'utilisateur.

Des éléments complémentaires sont en téléchargement sur le site www.editions-eni.fr.


Les chapitres du livre :
Avant-propos – Présentation de Kinect pour Windows – Outillage et développement – Les différents flux de données – Le Body – Visual Gesture Builder – Intégration dans une application LOB – Reconnaissance de voix et de visage – Annexes

Table des matières

  • Avant-propos
    • 1. Pourquoi ce livre ?
    • 2. À qui s'adresse cet ouvrage ?
    • 3. Structure de l'ouvrage
    • 4. Organisation des développements
    • 5. Remerciements
  • Présentation de Kinect pour Windows
    • 1. Introduction
    • 2. Les nouvelles interfaces homme-machine
    • 3. L’histoire de Kinect
      • 3.1 Project Natal
      • 3.2 De la console de jeux vers les projets d’entreprise
        • 3.2.1 Les premiers hacks
        • 3.2.2 La réponse officielle
    • 4. Kinect 2.0
      • 4.1 Évolution du produit
      • 4.2 Détails du périphérique
        • 4.2.1 Les différents capteurs
        • 4.2.2 La connectivité
        • 4.2.3 Les contraintes d’utilisation
    • 5. Le futur de Kinect
      • 5.1 Un seul périphérique, un seul device
      • 5.2 HoloLens, le petit frère
    • 6. Résumé
  • Outillage et développement
    • 1. Introduction
    • 2. Le kit de développement Kinect
      • 2.1 Rôle et fonctionnement
      • 2.2 Téléchargement et installation
      • 2.3 Exploration du contenu
      • 2.4 Exploration des exemples de code
    • 3. Zoom sur Kinect Studio
      • 3.1 Présentation de l'outil
      • 3.2 Analyse des différents flux
      • 3.3 Mise en pratique : capture d'un flux et émulation
    • 4. Débuter le développement pour Kinect
      • 4.1 Poste de développement
      • 4.2 Environnement de développement
      • 4.3 Langage de développement
      • 4.4 Plateforme de développement
    • 5. Mise en pratique (application fil rouge)
      • 5.1 Présentation du fil conducteur
      • 5.2 Création d'un premier projet WPF
        • 5.2.1 Référencement du SDK
        • 5.2.2 Création de l'interface graphique
        • 5.2.3 Initialisation de la communication avec Kinect
        • 5.2.4 Capture et traitement d'image
      • 5.3 Ajout d'un projet WinRT à la solution
        • 5.3.1 Création du projet
        • 5.3.2 Références au SDK
        • 5.3.3 Manifeste de l’application
        • 5.3.4 Écriture du code
  • Les différents flux de données
    • 1. Introduction
    • 2. Prérequis techniques
      • 2.1 Images et manipulations
        • 2.1.1 Le pixel
        • 2.1.2 Application au C# : le WriteableBitmap
        • 2.1.3 Autres formats de pixel
      • 2.2 Code unsafe et usage des pointeurs
        • 2.2.1 Application WPF
        • 2.2.2 Application WinRT
    • 3. Caméra infrarouge
      • 3.1 Principes généraux appliqués à l'InfraredFrameSource
      • 3.2 Synthèse
      • 3.3 Ajustements et particularités
    • 4. Caméra de profondeur
      • 4.1 Technique Time-of-Flight
      • 4.2 Optimisations appliquées à la DepthFrameSource
      • 4.3 Synthèse et ajustements
    • 5. Identification d'une forme
      • 5.1 Obtention de la forme brute
      • 5.2 Détection d'un disque
      • 5.3 Généralisation du système de détection
        • 5.3.1 Détection de formes géométriques complexes
        • 5.3.2 Détection générique
    • 6. Body Index
      • 6.1 Généralités
      • 6.2 Usages
      • 6.3 Synthèse
    • 7. Caméra couleur
      • 7.1 Généralités
      • 7.2 Usages
      • 7.3 Algorithmes de conversion des formats
        • 7.3.1 RGBA vers BGRA
        • 7.3.2 Bayer vers BGRA
        • 7.3.3 YUV vers BGRA
        • 7.3.4 YUY2 vers BGRA
      • 7.4 Synthèse
    • 8. Mise en pratique : création d'un UserControl CameraControl
      • 8.1 UnsafeAlgorithms
      • 8.2 CameraFrameUtils
        • 8.2.1 InfraredFrame
        • 8.2.2 DepthFrame
        • 8.2.3 BodyIndexFrame
        • 8.2.4 ColorFrame
      • 8.3 CameraSources
      • 8.4 CameraControl
  • Le Body
    • 1. Introduction
    • 2. Définition du Body et généralités
      • 2.1 Les jointures d'un Body
      • 2.2 Hand State ou état des mains
      • 2.3 Repères et CoordinateMapper
        • 2.3.1 CameraSpace
        • 2.3.2 ColorSpace et DepthSpace
        • 2.3.3 CoordinateMapper
    • 3. Détection d'un Body
      • 3.1 Définition des classes
        • 3.1.1 JointViewModel
        • 3.1.2 BoneViewModel
        • 3.1.3 BodyViewModel
        • 3.1.4 BodySceneViewModel
        • 3.1.5 BodySceneControl
      • 3.2 Affichage des jointures
        • 3.2.1 Mise à jour du BodyViewModel
        • 3.2.2 Mise à jour de la vue
      • 3.3 Affichage des os
        • 3.3.1 Mise à jour de BoneViewModel
        • 3.3.2 Mise à jour de la vue
      • 3.4 Affichage des Hand States ou états des mains
        • 3.4.1 Mise à jour de BodyViewModel
        • 3.4.2 Mise à jour de la vue
        • 3.4.3 Activer le HandState Tracking pour un Body donné (OverrideHandTracking)
      • 3.5 Affichage des indicateurs d'orientation
        • 3.5.1 Généralités sur les angles et les quaternions
        • 3.5.2 Mise à jour des ViewModels et calculs mathématiques sur les quaternions
        • 3.5.3 Mise à jour de la vue
      • 3.6 LeanTracking, ClippedEdges et autres
        • 3.6.1 LeanTracking
        • 3.6.2 ClippedEdges
    • 4. Mise en pratique (application fil rouge)
      • 4.1 Choix du repère
      • 4.2 Optimisation du rendu (Immediate Mode)
        • 4.2.1 Mise en place de LightBodySceneControl
        • 4.2.2 WPF : implémentation de LightBodySceneControl
        • 4.2.3 WinRT : implémentation de LightBodySceneControl
      • 4.3 Extrapoler sur le Body : affichage d'un arc
        • 4.3.1 Dessin de l'arc
        • 4.3.2 Smoothing
        • 4.3.3 Détecter le bon moment pour afficher l'arc
  • Visual Gesture Builder
    • 1. Introduction
    • 2. Introduction à l'outil
      • 2.1 Création d'une solution
        • 2.1.1 Assistant de création
        • 2.1.2 Création de projet sans assistant
      • 2.2 Phase d'apprentissage
        • 2.2.1 Les différents panneaux de l'interface
        • 2.2.2 Cas d'une gesture discrète
        • 2.2.3 Cas d'une gesture continue
        • 2.2.4 Build et Output
      • 2.3 Phase d'analyse et de test
        • 2.3.1 Analyse
        • 2.3.2 Live Preview (ou VgbView)
        • 2.3.3 Bonnes pratiques
    • 3. Détection d'une gesture
      • 3.1 Configuration de la solution Visual Studio
      • 3.2 Détection d'une gesture
    • 4. Intégration dans l'application fil rouge
      • 4.1 Mise en place de la classe GestureDetector
        • 4.1.1 ContinuousGestureWrapper
        • 4.1.2 GestureDetector
        • 4.1.3 Possibles évolutions
      • 4.2 Intégration de GestureDetector
        • 4.2.1 Modifications dans BodyViewModel
        • 4.2.2 Modification de la vue
  • Intégration dans une application LOB
    • 1. Introduction
    • 2. Bonnes pratiques ergonomiques pour des interfaces naturelles
      • 2.1 Facteurs externes et environnement
        • 2.1.1 Distance
        • 2.1.2 Environnement
        • 2.1.3 Position et morphologie
        • 2.1.4 Nombre d'utilisateurs
      • 2.2 Adaptabilité et retours visuels
        • 2.2.1 Conception des interactions
        • 2.2.2 Fatigue et main directrice
        • 2.2.3 Adapter le contenu et les indications visuelles
      • 2.3 Interactions communes
        • 2.3.1 Sélection
        • 2.3.2 Défilement et zoom
        • 2.3.3 Texte
    • 3. Mise en place du framework touchless
      • 3.1 Configuration du projet
        • 3.1.1 Ajout des références pour WinRT
        • 3.1.2 Ajout des références pour WPF
      • 3.2 Présentations des API
      • 3.3 Création d'un carrousel touchless
    • 4. Mise en pratique : navigation dans un catalogue
      • 4.1 Ajout de KinectRegion et du carrousel
      • 4.2 Mise en place de la capture d'écran
      • 4.3 Personnalisation
        • 4.3.1 Gestion de l'engagement
        • 4.3.2 Définition d'un curseur personnalisé
  • Reconnaissance de voix et de visage
    • 1. Introduction
    • 2. Capture de son et de voix
      • 2.1 Écoute et localisation d'un son
        • 2.1.1 Fonctionnement
        • 2.1.2 Initialisation du flux audio
        • 2.1.3 Capture de trames audio
        • 2.1.4 Faisceau d'émission
        • 2.1.5 Contenu audio
      • 2.2 Reconnaissance vocale
        • 2.2.1 Introduction à la reconnaissance vocale
        • 2.2.2 Installation des différents prérequis
        • 2.2.3 Initialisation du service de reconnaissance
        • 2.2.4 Constitution d'une grammaire
        • 2.2.5 Reconnaissance pour action
    • 3. Traitement de visage
      • 3.1 Fonctionnement
      • 3.2 Coordonnées du visage dans la scène
        • 3.2.1 Initialisation du flux du visage
        • 3.2.2 Extraction des coordonnées du visage
        • 3.2.3 Yeux, bouche et nez
        • 3.2.4 Orientation du visage
      • 3.3 Informations supplémentaires sur le visage
      • 3.4 Reconstitution haute définition
        • 3.4.1 Initialisation de la source de données
        • 3.4.2 Extraction des points de visage
        • 3.4.3 Orientation et expressions avancées
  • Annexes
    • 1. Autoriser le code unsafe dans une application C#
    • 2. Définition et usage des classes communes des projets
      • 2.1 DispatcherUI
      • 2.2 RelayCommand
      • 2.3 ViewModelBase
      • 2.4 TaskLifeCyle
      • 2.5 Vector
      • 2.6 PlatformHelper
      • 2.7 BaseConverter

Auteurs

Florent SantinEn savoir plus

Florent Santin est consultant/formateur dans la société de services Infinite Square, spécialisée dans les technologies Microsoft. Il est reconnu Microsoft MVP (Most Valuable Professional) sur Visual Studio Application Lifecycle Management (ALM). Il anime régulièrement des conférences pour Microsoft et publie de nombreux articles dans la presse ou sur Internet. Dans ses livres, ses qualités pédagogiques s'allient à toute son expérience et expertise pour le plus grand bénéfice des lecteurs.

Thomas OUVRÉEn savoir plus

Thomas OUVRÉ est Ingénieur d'étude chez Infinite Square, spécialiste du développement autour du capteur Kinect. Il est d'ailleurs reconnu Microsoft MVP (Most Valuable Professional) Kinect for Windows.

Caractéristiques

  • Niveau Confirmé à Expert
  • Parution septembre 2015
    • HTML
    • ISBN : 978-2-7460-9796-4
    • EAN : 9782746097964
    • Ref. ENI : LNEPKIN

Téléchargements

En complétant ce formulaire, vous acceptez d'être contacté afin de recevoir des informations sur nos produits et services ainsi que nos communications marketing. Vous aurez la possibilité de vous désabonner de nos communications à tout moment. Pour plus d'informations sur notre politique de protection des données, cliquez ici.
  • Des fichiers complémentaires (1,30 Mo)