RodenburgThomas
Le binôme
Le binôme est constitué de 2 élèves de SE5-SC :
- Dann RODENBURG
- Gabriel THOMAS
Objectifs
Le but de ce TP est de créer un réseau de systèmes communicants en partant d'un capteur XNucléo 53L5A1 pour finir sur une machine virtuelle Xen. La particularité est d'intégrer une composante de Machine Learning
Edge Computing and Embedded AI
Machine virtuelle
Création
Création d'une machine virtuelle gabidann sur le serveur chassiron :
xen-create-image --hostname=gabidann --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents
La machine virtuelle est à présent connectée au WiFi.
Après cela, nous avons configuré la machine virtuelle selon l'énoncé du TP en faisant un xen console gabidann. Nous avons ensuite participé à la mise en place du point d'accès WiFi.
Serveur TCP
import socket
import subprocess
def write_csv(filename, data):
if data == ",":
return # avoid to put single commas in csv file
f = open(filename, "a")
f.write(data + "\n")
f.close()
def process_data(data):
if data == ",":
return
formatted_data = data.replace(',', ' ')
cmd = f'emulators/NanoEdgeAI_Class_Emulator neai_classification --knowledge_path emulators/knowledge.dat --array "{formatted_data}"'
signal = str(subprocess.check_output(cmd.split(" ")))
write_csv("signal.csv", signal)
if "dann" in signal:
print("dann")
elif "gaby" in signal:
print("gaby")
else:
print("Unknown face")
def handle_connection(conn, filename):
while True:
try:
msg = conn.recv(1024)
msg = msg.decode('utf-8')
except KeyboardInterrupt:
exit()
if not msg:
print("Cannot receive message from Raspberry client !")
break
else:
process_data(msg)
print("Closing Raspberry client connection...")
conn.close()
filename = 'data.csv'
server_ipv6 = '2001:660:4401:6050:216:3eff:fe98:11ff'
port = 9999
s = socket.socket(socket.AF_INET6, socket.SOCK_STREAM)
s.bind((server_ipv6, port))
s.listen(1)
print("Listening on port " + str(port))
while True:
try:
conn,addr = s.accept()
except KeyboardInterrupt:
exit()
with conn:
print(f"New connection from {addr[0]}")
handle_connection(conn, filename)
Serveur HTTP
Configuration d'un serveur HTTP sur la machine virtuelle gabidann :
import socket
from http.server import HTTPServer, SimpleHTTPRequestHandler
class MyHandler(SimpleHTTPRequestHandler):
def do_GET(self):
if self.path == '/ip':
self.send_response(200)
self.send_header('Content-type', 'text/html')
self.end_headers()
self.wfile.write(f'Your IP address is {self.client_address[0]}'.encode())
return
else:
return SimpleHTTPRequestHandler.do_GET(self)
class HTTPServerV6(HTTPServer):
address_family = socket.AF_INET6
def main():
server = HTTPServerV6(('::', 8080), MyHandler)
server.serve_forever()
if __name__ == '__main__':
main()
Pour se connecter au serveur depuis un navigateur, on peut ouvrir un navigateur depuis la zabeth et y accéder avec l'adresse : [<ipv6_VM>]:<port>. Dans notre cas, le serveur écoute le port 8080.
La page index.html s'affiche par défaut lorsque l'on se connecte au serveur HTTP :
<!DOCTYPE html>
<html lang="fr">
<head>
<meta charset="UTF-8">
<title>Gabidann</title>
</head>
<body>
<h1>Bienvenue sur Gabidann !<h1>
<div id="data"></div>
</body>
</html>
Nous avons également testé la communication en TCP avec l'utilitaire socat
Nous avons créé un serveur python en TCP. Nous pouvons maintenant envoyer des messages du client ( raspberry ) au serveur (VM Xen). Nous nous servirons de cette architecture pour envoyer les données du Nucleo à la Vm Xen
Une fois le modèle entrainé et les tests concluants, on peut déployer notre modèle sur n'importe quel appareils linux ou windows. Pour cela, on va dans l'onglet deployment et on télécharge notre librairie personnalisée.
Raspberry
D'un autre côté, nous avons branché la Raspberry Pi à l'ordinateur selon le pinout fourni dans la documentation.
Enfin, nous avons activé la communication UART de la Raspberry Pi afin de pouvoir communiquer avec. En fin de séance, nous étions en train de vérifier que la Raspberry Pi répondait bien, même en ayant ajouté la ligne enable_uart=1 dans le fichier config.txt de la Raspberry.
Configuration de la Raspberry
Nous avons résolu le problème de la Raspberry qui ne répondait pas. Cela était dû à l'alimentation : brancher la carte en USBC résoud le problème. Cependant, nous recevons une erreur l'erreur EXT4-fs error (device mmcblk0p2).
Le problème venait des arguments saisis lors du lancement de Minicom. Avec la commande suivante, il est à présent possible de se connecter sur la Raspberry : minicom -D /dev/ttyUSB0 -b 115200
Dans la Raspberry, nous avons configuré une interface réseau wlan0 pour se connecter à WiFi_IE_1 :
auto wlan0 iface wlan0 inet dhcp wpa-conf /etc/wpa_supplicant/wpa_supplicant.conf
A présent à partir de la Raspberry, on peut ping la machine virtuelle sur chassiron avec son IPv6.
Client TCP
import serial
import socket
server_ipv6 = '2001:660:4401:6050:216:3eff:fe98:11ff'
server_port = 9999
nucleo_baudrate = 460800
nucleo_port = '/dev/ttyACM0'
def read_serial(ser):
try:
serial_data = ser.readline().decode('utf-8').strip()
return serial_data
except KeyboardInterrupt:
ser.close()
return None
client = socket.socket(socket.AF_INET6, socket.SOCK_STREAM)
ser = serial.Serial(port=nucleo_port, baudrate=nucleo_baudrate)
Configuration du capteur de distance
Un programme était déjà présent sur le capteur. On a téléchargé le logiciel STM32CubeIDE pour pouvoir éditer du code et le téléverser sur le capteur. Nous avons testé de téléverser un programme d'exemple dont voici le résultat :
Nous avons modifié ce programme afin d'effectuer un formatage des données transmises par le capteur sous le format <distance>, pour chaque valeur. Grâce à ce formatage, il est à présent possible d'utiliser les données reçues par le logiciel NanoEdgeStudio AI pour la partie Machine Learning.
Pour recevoir les valeurs de manière exploitable, il faut modifier le code Exemple dans le logiciel STM Cube IDE
L'objectif est d'obtenir une liste séparée par des virgules, il a donc fallu supprimer les espaces et les barres verticales de la fonction d'affichage ainsi que les statuts de chacun des capteurs :
static void print_result(RANGING_SENSOR_Result_t *Result)
{
int8_t j;
int8_t k;
int8_t l;
uint8_t zones_per_line;
zones_per_line = ((Profile.RangingProfile == RS_PROFILE_8x8_AUTONOMOUS) ||
(Profile.RangingProfile == RS_PROFILE_8x8_CONTINUOUS)) ? 8 : 4;
for (j = 0; j < Result->NumberOfZones; j += zones_per_line)
{
for (l = 0; l < RANGING_SENSOR_NB_TARGET_PER_ZONE; l++)
{
/* Print distance and status */
for (k = (zones_per_line - 1); k >= 0; k--)
{
if (Result->ZoneResult[j+k].NumberOfTargets > 0)
printf("%ld,",(long)Result->ZoneResult[j+k].Distance[l]);
}
}
}
printf("\n");
}
Emulation avec NanoEdgeStudio AI
On passe ensuite sur Nano Edge Studio pour définir les signaux dans l'onglet "Signals" et entraîner le modèle dans l'onglet "Benchmark".
Une fois le modèle entraîné, on peut le tester avec l'onglet "Emulator"
Dans un premier temps, nous avons essayé d'entraîner le programme à reconnaître les chiffres 1, 2, 3, 4 et 5 sur les doigts d'une main. Les résultats n'étaient pas concluant, il semblerait que le capteur détecte avant tout le volume de la main à la place de détecter le nombre de doigts.
Nous avons ensuite choisi de faire un détecteur de visages capable de faire la différence entre Gabriel et Dann. L'émulation donne des résultats très satisfaisant proche de 100% de réussite
On peut lui passer un fichier CSV contenant les données brutes du capteur et grâce au fichier knowledge.dat, l'émulateur est capable de faire la différence entre les situations
PS C:\Users\gabyt\Documents\Gaby\emulators> .\NanoEdgeAI_Class_Emulator.exe neai_classification --knowledge_path .\knowledge.dat --file .\data.csv
{
"status": "classification",
"lib_id": "6582b12625c3e0368b2c2a09",
"input": ".\data.csv",
"results": [
{"signal": 1, "line": 1, "class_status": 2, "class_name": "dann", "class_proba": [0.01, 0.99]},
{"signal": 2, "line": 2, "class_status": 2, "class_name": "dann", "class_proba": [0.01, 0.99]},
{"signal": 3, "line": 3, "class_status": 2, "class_name": "dann", "class_proba": [0.37, 0.63]},
{"signal": 4, "line": 4, "class_status": 1, "class_name": "gaby", "class_proba": [0.83, 0.17]},
{"signal": 5, "line": 5, "class_status": 1, "class_name": "gaby", "class_proba": [0.63, 0.37]},
{"signal": 6, "line": 6, "class_status": 1, "class_name": "gaby", "class_proba": [0.63, 0.37]},
{"signal": 7, "line": 7, "class_status": 1, "class_name": "gaby", "class_proba": [0.50, 0.50]},
{"signal": 8, "line": 8, "class_status": 1, "class_name": "gaby", "class_proba": [0.63, 0.37]},
{"signal": 9, "line": 9, "class_status": 2, "class_name": "dann", "class_proba": [0.37, 0.63]},
{"signal": 10, "line": 10, "class_status": 2, "class_name": "dann", "class_proba": [0.17, 0.83]},
{"signal": 11, "line": 11, "class_status": 1, "class_name": "gaby", "class_proba": [0.63, 0.37]},
{"signal": 12, "line": 12, "class_status": 1, "class_name": "gaby", "class_proba": [0.63, 0.37]},
{"signal": 13, "line": 13, "class_status": 2, "class_name": "dann", "class_proba": [0.37, 0.63]},
{"signal": 14, "line": 14, "class_status": 1, "class_name": "gaby", "class_proba": [0.74, 0.26]},
{"signal": 15, "line": 15, "class_status": 1, "class_name": "gaby", "class_proba": [0.63, 0.37]},
{"signal": 16, "line": 16, "class_status": 1, "class_name": "gaby", "class_proba": [0.74, 0.26]},
{"signal": 17, "line": 17, "class_status": 1, "class_name": "gaby", "class_proba": [0.63, 0.37]},
{"signal": 18, "line": 18, "class_status": 1, "class_name": "gaby", "class_proba": [0.63, 0.37]},
{"signal": 19, "line": 19, "class_status": 2, "class_name": "dann", "class_proba": [0.37, 0.63]},
{"signal": 20, "line": 20, "class_status": 1, "class_name": "gaby", "class_proba": [0.63, 0.37]},
{"signal": 21, "line": 21, "class_status": 2, "class_name": "dann", "class_proba": [0.11, 0.89]},
{"signal": 22, "line": 22, "class_status": 1, "class_name": "gaby", "class_proba": [0.74, 0.26]},
{"signal": 23, "line": 23, "class_status": 1, "class_name": "gaby", "class_proba": [0.63, 0.37]},
{"signal": 24, "line": 24, "class_status": 1, "class_name": "gaby", "class_proba": [0.74, 0.26]},
{"signal": 25, "line": 25, "class_status": 1, "class_name": "gaby", "class_proba": [0.50, 0.50]},
{"signal": 26, "line": 26, "class_status": 2, "class_name": "dann", "class_proba": [0.06, 0.94]},
{"signal": 27, "line": 27, "class_status": 2, "class_name": "dann", "class_proba": [0.37, 0.63]},
{"signal": 28, "line": 28, "class_status": 1, "class_name": "gaby", "class_proba": [0.63, 0.37]},
{"signal": 29, "line": 29, "class_status": 1, "class_name": "gaby", "class_proba": [0.63, 0.37]}
],
"classification_summary": {"signals": 29, "classified": [19, 10], "unclassified": 0}
}
Utilisation
Vérifier que la Raspberry est branchée à l'ordinateur et vérifier le Nucleo est bien connecté à la Raspberry.
Lancer dans un premier temps le serveur TCP sur la machine virtuelle gabidann. Lancer ensuite le client TCP sur la Raspberry.
Les résultats seront affichés dans le terminal de la machine virtuelle.
