SE5 ECEAI/eceai 2023/2024/BalbastreSimon

Le Sujet

L'objectif de ce TP est de créer un système capable de reconnaître certains mouvements à l'aide d'une caméra, notre système doit faire la différence entre une rotation de la main dans le sens horaire et une rotation dans le sens trigonométrique.

L'architecture utilisée est la suivante:

Un capteur X-NUCLEO-53L5A1 récupère les données, il est consitué d'une matrice 8x8 de capteurs de distance, nous utiliserons ici une matrice 4x4 faisant partie du composant NUCLEO.

Ce composant NUCLEO est envoie les données brutes à une stm32 chargée de les formater avant de les transmettre à une raspberry pi4.

La raspberry pi utilise un script python pour récupérer les données et les envoyer par MQTT (un protocole basé sur TCP) à une machine virtuelle hébergée sur chassiron.

Ce travail a été réalisé par Maxime Balbastre et Élias Simon

Raspberry Pi4

Nous avons d'abord cherché à mettre l'OS Raspbian sur la carte à l'aide de l'installeur "Raspberry PI Imager"

L'objectif était de configurer la raspberry via une liaison série vers la zabeth. Devant les difficultés éprouvées, nous avons décider de nous tourner vers une autre connexion et nous avons re-flashé la carte en la connectant directement au routeur WiFi_IE_1 en autorisant les connexions ssh.

De cette manière nous pouvions nous connecter à la raspberry par ssh en partant de n'importe quelle machine connectée à WiFi_IE_1.

Machine virtuelle

Nous avons d'abord créé une machine virtuelle tournant sur debian à l'aide de la commande suivante:

xen-create-image --hostname BalbastreSimon --force --dist bookworm --size 10G --memory 1G --dir /usr/local/xen --password glopglop --dhcp --bridge bridgeStudents

Il fallait ensuite faire les configurations réseau, nous avons ajouté ceci dans le fichier /etc/network/interfaces afin de permettre les connexions en ipv6:

auto enX0
iface enX0 inet6 auto

Nous avons ensuite ajouté ces lignes dans le fichier /etc/resolv.conf afin de stocker les adresses des serveurs DNS:

domain plil.info
search plil.info plil.fr
nameserver 2a01:c916:2047:c800:216:3eff:fe82:8a5c

Enfin, nous avons ajouté de nouvelles sources dans le fichier /etc/apt/sources.list pour pouvoir ajouter certains paquets jusqu'alors inaccessibles

deb     http://deb.debian.org/debian     bookworm main contrib non-free non-free-firmware
deb-src http://deb.debian.org/debian     bookworm main contrib non-free non-free-firmware

IA

Nous avons utilisé nanoedge pour les entraînements. Nous avons choisi de détecter les mouvements de rotation de la main. Le format du dataset était le suivant:

1 fichier par classe, 1 ligne par mouvement.

Cela nous a permit de détecter les rotation dans un intervalle de temps prédéfini d'environ 7 secondes. L'IA fonctionnant très bien après validation (87,40% de précision avec le modèle random forest), nous avons décidé de détecter les mouvement en continu en faisant de l'augmentation de données. En découpant les échantillons de différenctes facons pour détecter des parties de la rotation.

Nous avons fait tourner l'IA avec l'émulateur sur le serveur.

A detailler un peu mieux

-Formatage des messages envoyés par la Nucleo avec STM32CubeIDE

-installation de mosquitto sur la VM

-installation de mosquitto sur la raspberry (client)

-en fait le client marche mieux en python sans mosquitto

-en fait le broker marche mieux en python sans mosquitto non plus