https://wiki-se.plil.fr/mediawiki/api.php?action=feedcontributions&feedformat=atom&user=Bblackwiki-se.plil.fr - Contributions [fr]2026-05-13T23:29:44ZContributionsMediaWiki 1.39.1https://wiki-se.plil.fr/mediawiki/index.php?title=SE5_ECEAI/eceai_2023/2024/black-blgrim&diff=4991SE5 ECEAI/eceai 2023/2024/black-blgrim2024-01-29T14:54:42Z<p>Bblack : /* Vidéo */</p>
<hr />
<div>=SignSpeak 2023/2024 =<br />
== '''Présentation du projet''' ==<br />
<br />
=== 1. Introduction ===<br />
----Le projet SignSpeak a pour ambition de créer une solution innovante pour la traduction du langage des signes en texte. L'objectif principal est de développer un système capable de capturer les mouvements des mains et de les interpréter en langage des signes, permettant une communication fluide entre les personnes sourdes ou malentendantes et celles qui ne connaissent pas le langage des signes. Ce projet intègre des technologies avancées telles que l'edge computing, l'intelligence artificielle embarquée, et les communications MQTT, offrant une approche novatrice dans le domaine de l'accessibilité et de la communication.<br />
<br />
=== 2. Architecture du Système ===<br />
----Notre solution repose sur une architecture intégrée impliquant plusieurs composants clés :<br />
<br />
* '''Capteurs et STM32''' : Des capteurs sont connectés à un microcontrôleur STM32, responsables de la capture des mouvements de main. Ces données sont ensuite transmises pour traitement.<br />
* '''Raspberry Pi''' : Agissant comme un intermédiaire, la Raspberry Pi reçoit les données des capteurs via UART, exécute un traitement préliminaire et communique avec le serveur.<br />
* '''Serveur et Machine Learning''' : Un serveur, hébergé sur une VM Xen, traite les données à l'aide d'un modèle SVM pour la traduction en langage des signes et fournit une interface web pour l'interaction utilisateur.<br />
*<br />
<br />
=== 3. Collecte et Préparation des Données ===<br />
----Le processus de collecte des données est géré par le script <code>enregistrementData.py</code>. Ce script lit les données transmises par le STM32 via UART et les enregistre dans un fichier CSV. Chaque entrée du fichier représente les valeurs de capteurs à un moment donné, accompagnées d'une étiquette correspondant au signe effectué. Cette approche assure une collecte de données structurée, essentielle pour l'entraînement précis du modèle d'apprentissage automatique.<syntaxhighlight lang="python"><br />
import serial<br />
import csv<br />
import sys<br />
import time<br />
<br />
# Vérification de l'argument d'entrée<br />
if len(sys.argv) < 2:<br />
print("Usage: python script.py <etiquette>")<br />
sys.exit(1)<br />
<br />
etiquette = sys.argv[1]<br />
<br />
# Paramètres de l'UART<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
<br />
# Créer une connexion UART<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
<br />
# Nom du fichier CSV<br />
filename = f"data_complete.csv"<br />
<br />
# Vérifier si le fichier existe déjà<br />
file_exists = False<br />
try:<br />
with open(filename, 'r') as f:<br />
file_exists = True<br />
except FileNotFoundError:<br />
file_exists = False<br />
<br />
# Ouvrir le fichier CSV en mode append<br />
with open(filename, 'a', newline='') as file:<br />
writer = csv.writer(file)<br />
<br />
# Écrire l'en-tête si le fichier n'existait pas<br />
if not file_exists:<br />
writer.writerow(["Capteur1", "Capteur2", "Capteur3", "Capteur4", "Capteur5", "Capteur6", "Capteur7", "Capteur8", "Capteur9", "Capteur10", "Capteur11", "Capteur12", "Capteur13", "Capteur14", <br />
"Capteur15", "Capteur16", "Etiquette"])<br />
elif file_exists:<br />
writer.writerow([])<br />
while True:<br />
# Lire une ligne de données depuis l'UART<br />
data = ser.readline().decode('utf-8').rstrip()<br />
print(f"Données reçues : '{data}'")<br />
<br />
# Vérifier si des données ont été reçues<br />
if data:<br />
# Diviser les données en valeurs individuelles<br />
sensor_values = data.split(',')<br />
<br />
# Filtrer les chaînes vides ou non numériques et convertir en flottants<br />
try:<br />
sensor_values = [float(value) for value in sensor_values if value.strip().isdigit()]<br />
<br />
# Vérifier qu'il y a 16 valeurs de capteur<br />
if len(sensor_values) == 16:<br />
sensor_values.append(etiquette)<br />
writer.writerow(sensor_values)<br />
else:<br />
print("Données incomplètes reçues")<br />
<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
print(f"Données problématiques : '{data}'")<br />
<br />
time.sleep(0.1)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
* Le script commence par établir une communication série avec le STM32.<br />
* Il lit ensuite les données en série, les décode et les stocke dans un fichier CSV pour une utilisation ultérieure.<br />
<br />
* Une fois les données collectées et stockées dans le fichier CSV, elles sont préparées pour l'entraînement du modèle.<br />
* Cette préparation implique la normalisation des données, la gestion des valeurs manquantes ou aberrantes, et leur formatage dans un bon format.[[Fichier:Rpi entrainement.png|vignette|1000x1000px|néant]]<br />
=== 4. Entraînement du Modèle d'Apprentissage Automatique ===<br />
----L'entraînement du modèle est réalisé par un script Python utilisant la bibliothèque scikit-learn. Le modèle SVM, choisi pour sa capacité à gérer des espaces de grande dimension, est entraîné sur l'ensemble des données collectées. Ce processus comprend la division des données en ensembles d'entraînement et de test, l'entraînement du modèle, et sa validation par le calcul de la précision. Nous avions testé plusieurs modèle, comme par exemple un modèle Knn ou randomForest, des 3 algorithmes, c'est celui qui nous à apporté les meilleurs résultats pour un meme nombre de data d'entrainement. (RandomForest en deuxième position)<syntaxhighlight lang="python"><br />
import pandas as pd<br />
from sklearn.model_selection import train_test_split<br />
from sklearn.svm import SVC<br />
from sklearn.metrics import accuracy_score<br />
import pickle<br />
<br />
# Charger vos données<br />
data = pd.read_csv('data_complete.csv')<br />
<br />
# Séparer les caractéristiques et les étiquettes<br />
X = data.drop('Etiquette', axis=1)<br />
y = data['Etiquette']<br />
<br />
# Diviser les données en ensembles d'entraînement et de test<br />
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)<br />
<br />
# Créer et entraîner le modèle SVM<br />
model = SVC(kernel='rbf')<br />
model.fit(X_train, y_train)<br />
<br />
# Sauvegarder le modèle entraîné<br />
with open('modele_svm.pkl', 'wb') as file:<br />
pickle.dump(model, file)<br />
<br />
# Charger le modèle et faire des prédictions<br />
with open('modele_svm.pkl', 'rb') as file:<br />
loaded_model = pickle.load(file)<br />
predictions = loaded_model.predict(X_test)<br />
print("Précision :", accuracy_score(y_test, predictions))<br />
<br />
</syntaxhighlight><br />
<br />
# '''Séparation des Données''':<br />
#* Les données sont divisées en deux ensembles : un ensemble d'entraînement et un ensemble de test. Cette séparation est cruciale pour évaluer objectivement la performance du modèle.<br />
#* Généralement, on adopte une répartition de 80% pour l'entraînement et 20% pour les tests.<br />
# '''Entraînement du Modèle SVM''':<br />
#* Le modèle SVM avec un noyau RBF (Radial Basis Function) est entraîné sur l'ensemble d'entraînement.<br />
#* L'entraînement implique l'ajustement du modèle aux données d'entraînement, en apprenant à distinguer les différents signes.<br />
# '''Sauvegarde et Réutilisation du Modèle'''<br />
#* Une fois entraîné et validé, le modèle est sauvegardé à l'aide de la bibliothèque <code>pickle</code><br />
# '''Validation et Évaluation du Modèle''':<br />
#* Après l'entraînement, le modèle est testé sur l'ensemble de test pour évaluer sa performance.<br />
#* La métrique principale utilisée est la précision, qui mesure la proportion de prédictions correctes par rapport au total des prédictions.<br />
<br />
Ensuite on peut générer le modèle comme ceci:<br />
[[Fichier:Generate model.png|vignette|399x399px|néant]]<br />
<br />
Avec cette prédiction lorsque notre modèle prédit le résultat, il est correct environ 71.81% du temps.<br />
<br />
=== 5. Intégration MQTT et Communication ===<br />
----Protocole de communication :<br />
<br />
Dans le cadre de notre projet, la communication entre les dispositifs Raspberry Pi et le serveur est établie via le protocole MQTT.<br />
<br />
Justification du Choix de MQTT :<br />
<br />
Au début du projet, une approche basée sur des sockets IPv6 avait été envisagée pour tirer parti de l'adressage direct et de la simplification de la configuration réseau qu'offre IPv6. Cependant, dans le but de respecter les impératifs de sobriété énergétique et d'assurer une scalabilité optimale du système, permettant ainsi de gérer aisément un nombre croissant de dispositifs Raspberry Pi, la décision a été prise d'adopter MQTT comme protocole de communication. Le protocole MQTT, reconnu pour sa légèreté et sa fiabilité, s'adapte parfaitement aux contraintes des applications IoT.<br />
<br />
<br />
'''Installation du broker mosquitto sur le serveur:'''<br />
<syntaxhighlight lang="shell"><br />
apt install -y mosquitto mosquitto-clients<br />
service mosquitto start<br />
</syntaxhighlight><br />
<br />
Activation de l'accès à distance au Broker Mosquitto:<br />
<br />
ajouter l'authentification par username et mot de passe<br />
<syntaxhighlight lang="shell"><br />
sudo mosquitto_passwd -c /etc/mosquitto/passwd username<br />
</syntaxhighlight><br />
après on nous demande d'entrer le mot de passe <br />
<br />
Modifier le fichier /etc/mosquitto/mosquitto.conf:<br />
<syntaxhighlight lang="shell"><br />
listener 1883 10.42.0.5<br />
#listener 1883 2001:660:4401:6050:216:3eff:fe86:cd63<br />
allow_anonymous false<br />
password_file /etc/mosquitto/passwd<br />
</syntaxhighlight><br />
<br />
Restart Mosquitto:<br />
<syntaxhighlight lang="shell"><br />
service mosquitto restart<br />
</syntaxhighlight><br />
<br />
Vérification ds logs:<br />
<syntaxhighlight lang="shell"><br />
cat /var/log/mosquitto/mosquitto.log<br />
</syntaxhighlight><br />
<br />
'''Création d'un client MQTT sur la Raspberry Pi:'''<br />
<br />
Le script mqtt_client_rpi.py joue un rôle clé dans cette architecture en facilitant la communication bidirectionnelle : il permet non seulement l'envoi des prédictions réalisées par le modèle SVM depuis la Raspberry Pi vers le serveur, mais autorise également la réception des commandes de contrôle, telles que les instructions de démarrage ou d'arrêt de la collecte de données.<br />
<br />
<syntaxhighlight lang="python"><br />
import paho.mqtt.client as mqtt<br />
import serial<br />
import pandas as pd<br />
import pickle<br />
import time<br />
<br />
<br />
<br />
MQTT_BROKER_ADDRESS = "10.42.0.5"<br />
#MQTT_BROKER_ADDRESS = "2001:660:4401:6050:216:3eff:fe86:cd63" VmHblgrimBblack<br />
MQTT_USERNAME = "username"<br />
MQTT_PASSWORD = "confidentiel"<br />
pi_id = "rpi1234"<br />
<br />
collecting_data = False <br />
<br />
client = mqtt.Client()<br />
client.username_pw_set(MQTT_USERNAME, MQTT_PASSWORD)<br />
client.connect(MQTT_BROKER_ADDRESS, 1883, 60)<br />
client.loop_start()<br />
<br />
<br />
def on_connect(client, userdata, flags, rc):<br />
print("Connected with result code " + str(rc))<br />
client.subscribe(f"config/{pi_id}")<br />
client.publish("raspberry_available", pi_id)<br />
<br />
def on_message(client, userdata, msg):<br />
global collecting_data<br />
if msg.topic == f"config/{pi_id}":<br />
command = msg.payload.decode()<br />
if command == "start":<br />
collecting_data = True<br />
elif command == "stop":<br />
collecting_data = False<br />
<br />
<br />
<br />
client.on_connect = on_connect<br />
client.on_message = on_message<br />
<br />
<br />
# Configurez le port série et chargez le modèle ici<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
with open('modele_svm.pkl', 'rb') as file:<br />
rf = pickle.load(file)<br />
try:<br />
<br />
while True:<br />
if collecting_data:<br />
data = ser.readline().decode('utf-8').rstrip()<br />
if data:<br />
try:<br />
sensor_values = [value for value in data.split(',') if value.strip().replace('.', '', 1).isdigit()]<br />
if len(sensor_values) == 16:<br />
sensor_values = list(map(float, sensor_values))<br />
sensor_values_df = pd.DataFrame([sensor_values])<br />
prediction = rf.predict(sensor_values_df)<br />
client.publish(f"telemetry/{pi_id}", str(prediction[0]).encode())<br />
print("Prédiction :", prediction[0])<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
else:<br />
time.sleep(0.1)<br />
<br />
except KeyboardInterrupt:<br />
print("Script interrompu")<br />
<br />
<br />
client.loop_stop()<br />
client.disconnect()<br />
</syntaxhighlight>Ici il y a 3 topics différents. lorsqu'une raspberry se connecte au réseau elle publie son ID (qui est unique, on peut prendre par exemple l'adresse MAC) sur le topic raspberry_available. Cela nous servira a savoir quelle raspberry est connecté et de se fait pouvoir afficher celles-ci sur notre interface web.<br />
<br />
le deuxième topic et le topic config/ID (avec id l'identifiant unique de la raspberry), il nous sert a envoyer les commandes "start" et "stop" a la raspberry afin qu'elle démarre ou arrête la lecture des datas.<br />
<br />
Le troisième topic est le topic telemetry/ID, ou la raspberry vient publier ses données.<br />
<br />
Un quatrième topic pourrait être implémenter comme par exemple le topic common_config, toutes les raspberrys serait abonnées a ce topic. S'il est nécessaire, cela nous permettrais d'envoyer la même commande a toutes les raspberry plutôt que de faire une publication sur chaque config/ID<br />
<br />
=== 6. Interface Serveur et Gestion des Données ===<br />
----Le serveur central, au cœur de notre système, est orchestré par le script <code>app.py</code> qui exploite le framework Flask pour mettre en place une interface serveur. Cette interface est conçue pour traiter efficacement les requêtes HTTP et les messages MQTT, offrant ainsi une API réactive pour l'interface utilisateur web. Elle permet également de visualiser en temps réel l'état des dispositifs Raspberry Pi connectés et les dernières données traitées.<br />
[[Fichier:Signspeakweb.png|centré|vignette|1000x1000px]]<br />
<br />
<br />
<br />
<syntaxhighlight lang="python"><br />
from flask import Flask, render_template, request, jsonify<br />
import paho.mqtt.client as mqtt<br />
import queue<br />
<br />
app = Flask(__name__)<br />
messages = []<br />
received_messages = queue.Queue()<br />
latest_message = None<br />
subscribed_topics = set()<br />
raspberry_ids = set()<br />
MQTT_BROKER_ADDRESS = "10.42.0.5"<br />
#MQTT_BROKER_ADDRESS = "2001:660:4401:6050:216:3eff:fe86:cd63" VmHblgrimBblack<br />
MQTT_USERNAME = "username"<br />
MQTT_PASSWORD = "confidentiel"<br />
<br />
<br />
mqtt_client = mqtt.Client()<br />
mqtt_client.username_pw_set(MQTT_USERNAME, MQTT_PASSWORD) <br />
mqtt_client.connect(MQTT_BROKER_ADDRESS, 1883, 60)<br />
mqtt_client.loop_start()<br />
<br />
def send_command_to_pi(pi_id, command):<br />
try:<br />
topic = f"config/{pi_id}"<br />
mqtt_client.publish(topic, command)<br />
subscribe_to_pi_telemetry(pi_id)<br />
return True, "Commande envoyée avec succès"<br />
except Exception as e:<br />
return False, f"Commande pas envoyée: Erreur MQTT : {e}"<br />
<br />
def subscribe_to_pi_telemetry(pi_id):<br />
global subscribed_topics<br />
topic = f"telemetry/{pi_id}"<br />
if topic not in subscribed_topics:<br />
mqtt_client.subscribe(topic)<br />
subscribed_topics.add(topic)<br />
<br />
def on_connect(client, userdata, flags, rc):<br />
print("Connected with result code " + str(rc))<br />
client.subscribe("raspberry_available")<br />
def on_message(client, userdata, msg):<br />
global raspberry_ids<br />
print(f"Received message on topic {msg.topic}: {msg.payload.decode()}") # Ajouter pour le débogage<br />
if msg.topic == "raspberry_available":<br />
raspberry_ids.add(msg.payload.decode())<br />
else:<br />
received_messages.put(msg.payload.decode())<br />
<br />
<br />
mqtt_client.on_connect = on_connect<br />
mqtt_client.on_message = on_message<br />
@app.route('/get-raspberry-ids')<br />
def get_raspberry_ids():<br />
return jsonify(list(raspberry_ids))<br />
@app.route('/get-latest-message')<br />
def get_latest_message():<br />
global latest_message<br />
while not received_messages.empty():<br />
messages.append(received_messages.get())<br />
<br />
latest_message = messages[-1] if messages else None<br />
<br />
print(f"Contenu de la réponse pour /get-latest-message : {latest_message}")<br />
<br />
if latest_message is not None:<br />
response = jsonify({"message": latest_message})<br />
return response<br />
else:<br />
message = "Aucun signe a traduire pour le moment"<br />
return jsonify(message)<br />
<br />
<br />
@app.route('/', methods=['GET', 'POST'])<br />
<br />
def index():<br />
global raspberry_ids<br />
error_message_rpi = None<br />
success_message = None<br />
<br />
if request.method == 'POST':<br />
pi_id = request.form.get('pi_id')<br />
command = request.form.get('command')<br />
if pi_id and command in ["start", "stop"]:<br />
success, er_message = send_command_to_pi(pi_id, command)<br />
if success:<br />
success_message = "Commande envoyée avec succès"<br />
else:<br />
error_message_rpi = er_message<br />
<br />
<br />
return render_template('index.html', raspberry_ids=list(raspberry_ids), error_message_rpi=error_message_rpi, success_message=success_message, message=latest_message)<br />
<br />
if __name__ == '__main__':<br />
app.run(debug=False, port=8066)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
=== 7. Conception de l'Interface Utilisateur ===<br />
----L'interface utilisateur, développée à l'aide des technologies web standard HTML, CSS, et JavaScript, offre une expérience interactive. Le fichier index.html constitue le point d'entrée de cette interface, proposant des fonctionnalités telles que l'envoi de commandes aux dispositifs Raspberry Pi et la visualisation des données traitées. L'utilisation de JavaScript pour interroger dynamiquement le serveur Flask permet de rafraîchir les informations affichées en temps réel, garantissant ainsi une interface réactive et à jour.<br />
<br />
<br />
<br />
index.html:<br />
<syntaxhighlight lang="html"><br />
<!DOCTYPE html><br />
<html><br />
<head><br />
<title>SignSpeak - Traducteur de Langage des Signes</title><br />
<link rel="stylesheet" href="https://stackpath.bootstrapcdn.com/bootstrap/4.3.1/css/bootstrap.min.css"><br />
<style><br />
body {<br />
background-color: #343a40; <br />
color: #ced4da; <br />
}<br />
.card {<br />
background-color: #495057; <br />
}<br />
.card-title, .card-text, .alert {<br />
color: #adb5bd; <br />
}<br />
.btn-primary {<br />
background-color: #007bff; <br />
border-color: #007bff;<br />
}<br />
.btn-danger {<br />
background-color: #dc3545; <br />
border-color: #dc3545;<br />
}<br />
.form-control {<br />
background-color: #495057; <br />
border: 1px solid #6c757d;<br />
color: #ced4da; <br />
}<br />
a, .btn-secondary {<br />
color: #17a2b8; <br />
}<br />
a:hover {<br />
color: #138496; <br />
}<br />
#latest-message {<br />
background-color: #596069; <br />
border: 1px solid #6c757d; <br />
color: #E9ECEF; <br />
padding: 10px; <br />
border-radius: 5px; <br />
}<br />
</style><br />
</head><br />
<body><br />
<div class="container mt-5"><br />
<h1 class="text-center mb-4">SignSpeak - Traducteur de Langage des Signes</h1><br />
<br />
<div class="row"><br />
<!-- Encadré pour les Raspberry Pi Disponibles --><br />
<div class="col-md-12"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Raspberry Pi Disponibles</h2><br />
<ul id="raspberry-list" class="list-group list-group-flush"><br />
<br />
</ul><br />
</div><br />
</div><br />
</div><br />
</div><br />
<br />
<div class="row"><br />
<!-- Encadré pour la Collecte des données --><br />
<div class="col-lg-6"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Collecte de données</h2><br />
<form method="post" class="form-inline"><br />
<input type="text" class="form-control mb-2 mr-sm-2" name="pi_id" placeholder="Entrez l'ID de la Raspberry Pi" required><br />
<button type="submit" class="btn btn-primary mb-2 mr-sm-2" name="command" value="start">Démarrer la Collecte</button><br />
<button type="submit" class="btn btn-danger mb-2" name="command" value="stop">Arrêter la Collecte</button><br />
</form><br />
</div><br />
</div><br />
</div><br />
<br />
<!-- Encadré pour le Dernier Message Reçu --><br />
<div class="col-lg-6"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Dernier Message Reçu</h2><br />
<div id="latest-message" class="alert alert-dark"><br />
Aucun message reçu pour le moment. <br />
</div><br />
</div><br />
</div><br />
</div><br />
</div><br />
<br />
<div class="mb-3 text-center"><br />
<a href="/logs" class="btn btn-secondary">Voir les Logs</a><br />
</div><br />
</div><br />
<script><br />
function fetchRaspberryIds() {<br />
var xhr = new XMLHttpRequest();<br />
xhr.onreadystatechange = function() {<br />
if (xhr.readyState == XMLHttpRequest.DONE) {<br />
if (xhr.status == 200) {<br />
var ids = JSON.parse(xhr.responseText);<br />
var list = document.getElementById('raspberry-list');<br />
list.innerHTML = '';<br />
ids.forEach(function(id) {<br />
var li = document.createElement('li');<br />
li.textContent = id;<br />
list.appendChild(li);<br />
});<br />
}<br />
}<br />
}<br />
xhr.open('GET', '/get-raspberry-ids', true);<br />
xhr.send();<br />
}<br />
<br />
function fetchLatestMessage() {<br />
var xhr = new XMLHttpRequest();<br />
xhr.onreadystatechange = function() {<br />
if (xhr.readyState == XMLHttpRequest.DONE) {<br />
if (xhr.status == 200) {<br />
console.log(xhr.responseText)<br />
document.getElementById('latest-message').textContent = xhr.responseText;<br />
}<br />
}<br />
}<br />
xhr.open('GET', '/get-latest-message', true);<br />
xhr.send();<br />
}<br />
<br />
setInterval(fetchRaspberryIds, 5000); // Met à jour les IDs toutes les 5 secondes<br />
setInterval(fetchLatestMessage, 500); // Met à jour le dernier message toutes les secondes<br />
</script><br />
<br />
<br />
<br />
{% if error_message_rpi %}<br />
<script><br />
alert("{{ error_message_rpi }}");<br />
</script><br />
{% endif %}<br />
<br />
{% if success_message %}<br />
<script><br />
alert("{{ success_message }}");<br />
</script><br />
{% endif %}<br />
</body><br />
</html><br />
<br />
</syntaxhighlight>On a aussi ajouté une page de logs, qui permet de voir l'historique de tous les données traitées.<br />
<br />
=== 9. Conclusion et Perspectives ===<br />
----SignSpeak représente une avancée significative dans le domaine de la traduction du langage des signes. Ce projet non seulement démont<br />
<br />
En conclusion, notre projet a vu la mise en place d'une infrastructure qui permet de facilité interaction entre les serveurs et les Raspberry Pi, notamment pour le démarrage et l'arrêt de la collecte de données, ainsi que pour l'envoi d'instructions d'entraînement spécifiques. Bien que nous ayons entamé le développement des fonctionnalités d'entraînement, permettant à l'utilisateur de spécifier depuis l'interface web l'identifiant de la Raspberry Pi et la lettre à entraîner, cette partie n'a pas pu être totalement finalisée dans le temps imparti.<br />
<br />
Pour le processus d'entraînement, l'idée était que la Raspberry Pi reçoit la lettre depuis le serveur,après il initie la collecte des données à partir du module STM32, stocke ces données dans un fichier CSV et génère le fichier .pkl correspondant au modèle d'intelligence artificielle. Parallèlement, pour la gestion des données brutes, la Raspberry Pi recçoit la lettre et devait transmettre les informations collectées au serveur, qui aurait alors pour tâche de les stocker également sous forme de fichier CSV et de générer le fichier .pkl nécessaire à l'application de l'intelligence artificielle.<br />
<br />
Les perspectives d'évolution de ce projet sont multiples. Elles incluent la finalisation de la fonctionnalité d'entraînement pour permettre une interaction complète et efficace dans la préparation des modèles d'intelligence artificielle directement depuis l'interface web. De plus, l'amélioration de la gestion des données brutes pour optimiser le stockage et le traitement sur le serveur ouvrirait la voie à des analyses plus poussées et à une meilleure performance des modèles générés. Enfin, l'extension de cette infrastructure à un plus grand nombre de Raspberry Pi et l'intégration de fonctionnalités supplémentaires pourraient transformer ce projet en une solution robuste et scalable pour diverses applications nécessitant la collecte et l'analyse de données en temps réel.[[Fichier:SignEntrainement.png|centré|vignette|1000x1000px]]<br />
<br />
== Vidéo ==<br />
Lorsqu'une raspberry se connecte au réseau, son ID apparait dans le cadre "Raspberry disponible". Ensuite il suffit de choisir la raspberry, rentrer son ID dans l'emplacement prévu à cet effet, puis on clique sur "démarrer la collecte", on peut voir en temps réel (mise jour du message toutes les secondes) le résultat dans le cadre Dernier Message Recu. Dans la vidéo on a choisi de prendre comme exemple la lettre "A", "B", les chiffres 1 et 2 et la phrase "I Love You".<br />
<br />
[[Fichier:RPReplay_Final1706462779.mov|sans_cadre]]<br />
[[Fichier:Capture d’écran 2024-01-29 à 15.43.56.png|néant|vignette]]<br />
[[Fichier:Capture d’écran 2024-01-29 à 15.45.25.png|néant|vignette|133x133px]]<br />
<br />
== Déroulement des séances ==<br />
<br />
==Séance du 04/12/2023==<br />
===Création de la machine virtuelle===<br />
Création d'une machine virtuelle sur le serveur chassiron :<br />
<br />
<code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code><br />
<br />
[[Fichier:IfconfigVM.png|sans_cadre]]<br />
===Raspberry-Pi===<br />
[[Fichier:Capture d’écran 2024-01-28 à 19.07.42.png|néant|vignette]]<br />
<br />
<br />
'''<big>Capteurs</big>'''<br />
<br />
pas de capteurs lors de la première séance<br />
<br />
== Séance du 18/12/2023 ==<br />
<br />
=== Sur la VM ===<br />
script serveur.py<br />
<br />
=== sur la raspberry ===<br />
script client.py<br />
<br />
lecture sur l'uart des données envoyés par le stm32<br />
<br />
envoie au serveur (tcp)<br />
<br />
<br />
=== sur le capteur ===<br />
pris ene main du capteur, mettre le code,<br />
<br />
== Séance du 19/12/2023 et du 20/12/2023 ==<br />
utilisation de la bibliothèque sciait-learn pour l'apprentissage automatique. Nous avons décidé que le but de notre application serait de traduire le langage des signes.<br />
<br />
Pour cela nous avons entrainé notre modèle avec quelques signes, comme la lettre A, B ou C et des chiffres 1, 2 et 3 pour commencer.<br />
<br />
//mettre screen des résultats entrainement.py et test.py<br />
<br />
Les résultats sont satisfaisants mais avec quelques erreurs, la prochaine étape est donc d'améliorer notre algorithme d'apprentissage (pour l'instant on utilise l'algorithme des k plus proches voisins), pour cela nous allons rajouter par exemple du filtrage et tester d'autres algo d'apprentissage automatique<br />
<br />
Coté serveur:<br />
<br />
Création d'un serveur web, afin de lire les données qui proviennet depuis la raspberrypi et les afficher.<br />
<br />
<br />
'''<big>Mise en Place de l'algorithme d'apprentissage</big>'''<br />
<br />
nous avons tester plusieurs méthode d'apprentissage comme la '''Méthode des k plus proches voisins''' (K-Neighbour) ou encore '''forêt aléatoire''' Random forest.<br />
<br />
'''Random Forest'''</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_ECEAI/eceai_2023/2024/black-blgrim&diff=4990SE5 ECEAI/eceai 2023/2024/black-blgrim2024-01-29T14:50:29Z<p>Bblack : /* Vidéo */</p>
<hr />
<div>=SignSpeak 2023/2024 =<br />
== '''Présentation du projet''' ==<br />
<br />
=== 1. Introduction ===<br />
----Le projet SignSpeak a pour ambition de créer une solution innovante pour la traduction du langage des signes en texte. L'objectif principal est de développer un système capable de capturer les mouvements des mains et de les interpréter en langage des signes, permettant une communication fluide entre les personnes sourdes ou malentendantes et celles qui ne connaissent pas le langage des signes. Ce projet intègre des technologies avancées telles que l'edge computing, l'intelligence artificielle embarquée, et les communications MQTT, offrant une approche novatrice dans le domaine de l'accessibilité et de la communication.<br />
<br />
=== 2. Architecture du Système ===<br />
----Notre solution repose sur une architecture intégrée impliquant plusieurs composants clés :<br />
<br />
* '''Capteurs et STM32''' : Des capteurs sont connectés à un microcontrôleur STM32, responsables de la capture des mouvements de main. Ces données sont ensuite transmises pour traitement.<br />
* '''Raspberry Pi''' : Agissant comme un intermédiaire, la Raspberry Pi reçoit les données des capteurs via UART, exécute un traitement préliminaire et communique avec le serveur.<br />
* '''Serveur et Machine Learning''' : Un serveur, hébergé sur une VM Xen, traite les données à l'aide d'un modèle SVM pour la traduction en langage des signes et fournit une interface web pour l'interaction utilisateur.<br />
*<br />
<br />
=== 3. Collecte et Préparation des Données ===<br />
----Le processus de collecte des données est géré par le script <code>enregistrementData.py</code>. Ce script lit les données transmises par le STM32 via UART et les enregistre dans un fichier CSV. Chaque entrée du fichier représente les valeurs de capteurs à un moment donné, accompagnées d'une étiquette correspondant au signe effectué. Cette approche assure une collecte de données structurée, essentielle pour l'entraînement précis du modèle d'apprentissage automatique.<syntaxhighlight lang="python"><br />
import serial<br />
import csv<br />
import sys<br />
import time<br />
<br />
# Vérification de l'argument d'entrée<br />
if len(sys.argv) < 2:<br />
print("Usage: python script.py <etiquette>")<br />
sys.exit(1)<br />
<br />
etiquette = sys.argv[1]<br />
<br />
# Paramètres de l'UART<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
<br />
# Créer une connexion UART<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
<br />
# Nom du fichier CSV<br />
filename = f"data_complete.csv"<br />
<br />
# Vérifier si le fichier existe déjà<br />
file_exists = False<br />
try:<br />
with open(filename, 'r') as f:<br />
file_exists = True<br />
except FileNotFoundError:<br />
file_exists = False<br />
<br />
# Ouvrir le fichier CSV en mode append<br />
with open(filename, 'a', newline='') as file:<br />
writer = csv.writer(file)<br />
<br />
# Écrire l'en-tête si le fichier n'existait pas<br />
if not file_exists:<br />
writer.writerow(["Capteur1", "Capteur2", "Capteur3", "Capteur4", "Capteur5", "Capteur6", "Capteur7", "Capteur8", "Capteur9", "Capteur10", "Capteur11", "Capteur12", "Capteur13", "Capteur14", <br />
"Capteur15", "Capteur16", "Etiquette"])<br />
elif file_exists:<br />
writer.writerow([])<br />
while True:<br />
# Lire une ligne de données depuis l'UART<br />
data = ser.readline().decode('utf-8').rstrip()<br />
print(f"Données reçues : '{data}'")<br />
<br />
# Vérifier si des données ont été reçues<br />
if data:<br />
# Diviser les données en valeurs individuelles<br />
sensor_values = data.split(',')<br />
<br />
# Filtrer les chaînes vides ou non numériques et convertir en flottants<br />
try:<br />
sensor_values = [float(value) for value in sensor_values if value.strip().isdigit()]<br />
<br />
# Vérifier qu'il y a 16 valeurs de capteur<br />
if len(sensor_values) == 16:<br />
sensor_values.append(etiquette)<br />
writer.writerow(sensor_values)<br />
else:<br />
print("Données incomplètes reçues")<br />
<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
print(f"Données problématiques : '{data}'")<br />
<br />
time.sleep(0.1)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
* Le script commence par établir une communication série avec le STM32.<br />
* Il lit ensuite les données en série, les décode et les stocke dans un fichier CSV pour une utilisation ultérieure.<br />
<br />
* Une fois les données collectées et stockées dans le fichier CSV, elles sont préparées pour l'entraînement du modèle.<br />
* Cette préparation implique la normalisation des données, la gestion des valeurs manquantes ou aberrantes, et leur formatage dans un bon format.[[Fichier:Rpi entrainement.png|vignette|1000x1000px|néant]]<br />
=== 4. Entraînement du Modèle d'Apprentissage Automatique ===<br />
----L'entraînement du modèle est réalisé par un script Python utilisant la bibliothèque scikit-learn. Le modèle SVM, choisi pour sa capacité à gérer des espaces de grande dimension, est entraîné sur l'ensemble des données collectées. Ce processus comprend la division des données en ensembles d'entraînement et de test, l'entraînement du modèle, et sa validation par le calcul de la précision. Nous avions testé plusieurs modèle, comme par exemple un modèle Knn ou randomForest, des 3 algorithmes, c'est celui qui nous à apporté les meilleurs résultats pour un meme nombre de data d'entrainement. (RandomForest en deuxième position)<syntaxhighlight lang="python"><br />
import pandas as pd<br />
from sklearn.model_selection import train_test_split<br />
from sklearn.svm import SVC<br />
from sklearn.metrics import accuracy_score<br />
import pickle<br />
<br />
# Charger vos données<br />
data = pd.read_csv('data_complete.csv')<br />
<br />
# Séparer les caractéristiques et les étiquettes<br />
X = data.drop('Etiquette', axis=1)<br />
y = data['Etiquette']<br />
<br />
# Diviser les données en ensembles d'entraînement et de test<br />
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)<br />
<br />
# Créer et entraîner le modèle SVM<br />
model = SVC(kernel='rbf')<br />
model.fit(X_train, y_train)<br />
<br />
# Sauvegarder le modèle entraîné<br />
with open('modele_svm.pkl', 'wb') as file:<br />
pickle.dump(model, file)<br />
<br />
# Charger le modèle et faire des prédictions<br />
with open('modele_svm.pkl', 'rb') as file:<br />
loaded_model = pickle.load(file)<br />
predictions = loaded_model.predict(X_test)<br />
print("Précision :", accuracy_score(y_test, predictions))<br />
<br />
</syntaxhighlight><br />
<br />
# '''Séparation des Données''':<br />
#* Les données sont divisées en deux ensembles : un ensemble d'entraînement et un ensemble de test. Cette séparation est cruciale pour évaluer objectivement la performance du modèle.<br />
#* Généralement, on adopte une répartition de 80% pour l'entraînement et 20% pour les tests.<br />
# '''Entraînement du Modèle SVM''':<br />
#* Le modèle SVM avec un noyau RBF (Radial Basis Function) est entraîné sur l'ensemble d'entraînement.<br />
#* L'entraînement implique l'ajustement du modèle aux données d'entraînement, en apprenant à distinguer les différents signes.<br />
# '''Sauvegarde et Réutilisation du Modèle'''<br />
#* Une fois entraîné et validé, le modèle est sauvegardé à l'aide de la bibliothèque <code>pickle</code><br />
# '''Validation et Évaluation du Modèle''':<br />
#* Après l'entraînement, le modèle est testé sur l'ensemble de test pour évaluer sa performance.<br />
#* La métrique principale utilisée est la précision, qui mesure la proportion de prédictions correctes par rapport au total des prédictions.<br />
<br />
Ensuite on peut générer le modèle comme ceci:<br />
[[Fichier:Generate model.png|vignette|399x399px|néant]]<br />
<br />
Avec cette prédiction lorsque notre modèle prédit le résultat, il est correct environ 71.81% du temps.<br />
<br />
=== 5. Intégration MQTT et Communication ===<br />
----Protocole de communication :<br />
<br />
Dans le cadre de notre projet, la communication entre les dispositifs Raspberry Pi et le serveur est établie via le protocole MQTT.<br />
<br />
Justification du Choix de MQTT :<br />
<br />
Au début du projet, une approche basée sur des sockets IPv6 avait été envisagée pour tirer parti de l'adressage direct et de la simplification de la configuration réseau qu'offre IPv6. Cependant, dans le but de respecter les impératifs de sobriété énergétique et d'assurer une scalabilité optimale du système, permettant ainsi de gérer aisément un nombre croissant de dispositifs Raspberry Pi, la décision a été prise d'adopter MQTT comme protocole de communication. Le protocole MQTT, reconnu pour sa légèreté et sa fiabilité, s'adapte parfaitement aux contraintes des applications IoT.<br />
<br />
<br />
'''Installation du broker mosquitto sur le serveur:'''<br />
<syntaxhighlight lang="shell"><br />
apt install -y mosquitto mosquitto-clients<br />
service mosquitto start<br />
</syntaxhighlight><br />
<br />
Activation de l'accès à distance au Broker Mosquitto:<br />
<br />
ajouter l'authentification par username et mot de passe<br />
<syntaxhighlight lang="shell"><br />
sudo mosquitto_passwd -c /etc/mosquitto/passwd username<br />
</syntaxhighlight><br />
après on nous demande d'entrer le mot de passe <br />
<br />
Modifier le fichier /etc/mosquitto/mosquitto.conf:<br />
<syntaxhighlight lang="shell"><br />
listener 1883 10.42.0.5<br />
#listener 1883 2001:660:4401:6050:216:3eff:fe86:cd63<br />
allow_anonymous false<br />
password_file /etc/mosquitto/passwd<br />
</syntaxhighlight><br />
<br />
Restart Mosquitto:<br />
<syntaxhighlight lang="shell"><br />
service mosquitto restart<br />
</syntaxhighlight><br />
<br />
Vérification ds logs:<br />
<syntaxhighlight lang="shell"><br />
cat /var/log/mosquitto/mosquitto.log<br />
</syntaxhighlight><br />
<br />
'''Création d'un client MQTT sur la Raspberry Pi:'''<br />
<br />
Le script mqtt_client_rpi.py joue un rôle clé dans cette architecture en facilitant la communication bidirectionnelle : il permet non seulement l'envoi des prédictions réalisées par le modèle SVM depuis la Raspberry Pi vers le serveur, mais autorise également la réception des commandes de contrôle, telles que les instructions de démarrage ou d'arrêt de la collecte de données.<br />
<br />
<syntaxhighlight lang="python"><br />
import paho.mqtt.client as mqtt<br />
import serial<br />
import pandas as pd<br />
import pickle<br />
import time<br />
<br />
<br />
<br />
MQTT_BROKER_ADDRESS = "10.42.0.5"<br />
#MQTT_BROKER_ADDRESS = "2001:660:4401:6050:216:3eff:fe86:cd63" VmHblgrimBblack<br />
MQTT_USERNAME = "username"<br />
MQTT_PASSWORD = "confidentiel"<br />
pi_id = "rpi1234"<br />
<br />
collecting_data = False <br />
<br />
client = mqtt.Client()<br />
client.username_pw_set(MQTT_USERNAME, MQTT_PASSWORD)<br />
client.connect(MQTT_BROKER_ADDRESS, 1883, 60)<br />
client.loop_start()<br />
<br />
<br />
def on_connect(client, userdata, flags, rc):<br />
print("Connected with result code " + str(rc))<br />
client.subscribe(f"config/{pi_id}")<br />
client.publish("raspberry_available", pi_id)<br />
<br />
def on_message(client, userdata, msg):<br />
global collecting_data<br />
if msg.topic == f"config/{pi_id}":<br />
command = msg.payload.decode()<br />
if command == "start":<br />
collecting_data = True<br />
elif command == "stop":<br />
collecting_data = False<br />
<br />
<br />
<br />
client.on_connect = on_connect<br />
client.on_message = on_message<br />
<br />
<br />
# Configurez le port série et chargez le modèle ici<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
with open('modele_svm.pkl', 'rb') as file:<br />
rf = pickle.load(file)<br />
try:<br />
<br />
while True:<br />
if collecting_data:<br />
data = ser.readline().decode('utf-8').rstrip()<br />
if data:<br />
try:<br />
sensor_values = [value for value in data.split(',') if value.strip().replace('.', '', 1).isdigit()]<br />
if len(sensor_values) == 16:<br />
sensor_values = list(map(float, sensor_values))<br />
sensor_values_df = pd.DataFrame([sensor_values])<br />
prediction = rf.predict(sensor_values_df)<br />
client.publish(f"telemetry/{pi_id}", str(prediction[0]).encode())<br />
print("Prédiction :", prediction[0])<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
else:<br />
time.sleep(0.1)<br />
<br />
except KeyboardInterrupt:<br />
print("Script interrompu")<br />
<br />
<br />
client.loop_stop()<br />
client.disconnect()<br />
</syntaxhighlight>Ici il y a 3 topics différents. lorsqu'une raspberry se connecte au réseau elle publie son ID (qui est unique, on peut prendre par exemple l'adresse MAC) sur le topic raspberry_available. Cela nous servira a savoir quelle raspberry est connecté et de se fait pouvoir afficher celles-ci sur notre interface web.<br />
<br />
le deuxième topic et le topic config/ID (avec id l'identifiant unique de la raspberry), il nous sert a envoyer les commandes "start" et "stop" a la raspberry afin qu'elle démarre ou arrête la lecture des datas.<br />
<br />
Le troisième topic est le topic telemetry/ID, ou la raspberry vient publier ses données.<br />
<br />
Un quatrième topic pourrait être implémenter comme par exemple le topic common_config, toutes les raspberrys serait abonnées a ce topic. S'il est nécessaire, cela nous permettrais d'envoyer la même commande a toutes les raspberry plutôt que de faire une publication sur chaque config/ID<br />
<br />
=== 6. Interface Serveur et Gestion des Données ===<br />
----Le serveur central, au cœur de notre système, est orchestré par le script <code>app.py</code> qui exploite le framework Flask pour mettre en place une interface serveur. Cette interface est conçue pour traiter efficacement les requêtes HTTP et les messages MQTT, offrant ainsi une API réactive pour l'interface utilisateur web. Elle permet également de visualiser en temps réel l'état des dispositifs Raspberry Pi connectés et les dernières données traitées.<br />
[[Fichier:Signspeakweb.png|centré|vignette|1000x1000px]]<br />
<br />
<br />
<br />
<syntaxhighlight lang="python"><br />
from flask import Flask, render_template, request, jsonify<br />
import paho.mqtt.client as mqtt<br />
import queue<br />
<br />
app = Flask(__name__)<br />
messages = []<br />
received_messages = queue.Queue()<br />
latest_message = None<br />
subscribed_topics = set()<br />
raspberry_ids = set()<br />
MQTT_BROKER_ADDRESS = "10.42.0.5"<br />
#MQTT_BROKER_ADDRESS = "2001:660:4401:6050:216:3eff:fe86:cd63" VmHblgrimBblack<br />
MQTT_USERNAME = "username"<br />
MQTT_PASSWORD = "confidentiel"<br />
<br />
<br />
mqtt_client = mqtt.Client()<br />
mqtt_client.username_pw_set(MQTT_USERNAME, MQTT_PASSWORD) <br />
mqtt_client.connect(MQTT_BROKER_ADDRESS, 1883, 60)<br />
mqtt_client.loop_start()<br />
<br />
def send_command_to_pi(pi_id, command):<br />
try:<br />
topic = f"config/{pi_id}"<br />
mqtt_client.publish(topic, command)<br />
subscribe_to_pi_telemetry(pi_id)<br />
return True, "Commande envoyée avec succès"<br />
except Exception as e:<br />
return False, f"Commande pas envoyée: Erreur MQTT : {e}"<br />
<br />
def subscribe_to_pi_telemetry(pi_id):<br />
global subscribed_topics<br />
topic = f"telemetry/{pi_id}"<br />
if topic not in subscribed_topics:<br />
mqtt_client.subscribe(topic)<br />
subscribed_topics.add(topic)<br />
<br />
def on_connect(client, userdata, flags, rc):<br />
print("Connected with result code " + str(rc))<br />
client.subscribe("raspberry_available")<br />
def on_message(client, userdata, msg):<br />
global raspberry_ids<br />
print(f"Received message on topic {msg.topic}: {msg.payload.decode()}") # Ajouter pour le débogage<br />
if msg.topic == "raspberry_available":<br />
raspberry_ids.add(msg.payload.decode())<br />
else:<br />
received_messages.put(msg.payload.decode())<br />
<br />
<br />
mqtt_client.on_connect = on_connect<br />
mqtt_client.on_message = on_message<br />
@app.route('/get-raspberry-ids')<br />
def get_raspberry_ids():<br />
return jsonify(list(raspberry_ids))<br />
@app.route('/get-latest-message')<br />
def get_latest_message():<br />
global latest_message<br />
while not received_messages.empty():<br />
messages.append(received_messages.get())<br />
<br />
latest_message = messages[-1] if messages else None<br />
<br />
print(f"Contenu de la réponse pour /get-latest-message : {latest_message}")<br />
<br />
if latest_message is not None:<br />
response = jsonify({"message": latest_message})<br />
return response<br />
else:<br />
message = "Aucun signe a traduire pour le moment"<br />
return jsonify(message)<br />
<br />
<br />
@app.route('/', methods=['GET', 'POST'])<br />
<br />
def index():<br />
global raspberry_ids<br />
error_message_rpi = None<br />
success_message = None<br />
<br />
if request.method == 'POST':<br />
pi_id = request.form.get('pi_id')<br />
command = request.form.get('command')<br />
if pi_id and command in ["start", "stop"]:<br />
success, er_message = send_command_to_pi(pi_id, command)<br />
if success:<br />
success_message = "Commande envoyée avec succès"<br />
else:<br />
error_message_rpi = er_message<br />
<br />
<br />
return render_template('index.html', raspberry_ids=list(raspberry_ids), error_message_rpi=error_message_rpi, success_message=success_message, message=latest_message)<br />
<br />
if __name__ == '__main__':<br />
app.run(debug=False, port=8066)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
=== 7. Conception de l'Interface Utilisateur ===<br />
----L'interface utilisateur, développée à l'aide des technologies web standard HTML, CSS, et JavaScript, offre une expérience interactive. Le fichier index.html constitue le point d'entrée de cette interface, proposant des fonctionnalités telles que l'envoi de commandes aux dispositifs Raspberry Pi et la visualisation des données traitées. L'utilisation de JavaScript pour interroger dynamiquement le serveur Flask permet de rafraîchir les informations affichées en temps réel, garantissant ainsi une interface réactive et à jour.<br />
<br />
<br />
<br />
index.html:<br />
<syntaxhighlight lang="html"><br />
<!DOCTYPE html><br />
<html><br />
<head><br />
<title>SignSpeak - Traducteur de Langage des Signes</title><br />
<link rel="stylesheet" href="https://stackpath.bootstrapcdn.com/bootstrap/4.3.1/css/bootstrap.min.css"><br />
<style><br />
body {<br />
background-color: #343a40; <br />
color: #ced4da; <br />
}<br />
.card {<br />
background-color: #495057; <br />
}<br />
.card-title, .card-text, .alert {<br />
color: #adb5bd; <br />
}<br />
.btn-primary {<br />
background-color: #007bff; <br />
border-color: #007bff;<br />
}<br />
.btn-danger {<br />
background-color: #dc3545; <br />
border-color: #dc3545;<br />
}<br />
.form-control {<br />
background-color: #495057; <br />
border: 1px solid #6c757d;<br />
color: #ced4da; <br />
}<br />
a, .btn-secondary {<br />
color: #17a2b8; <br />
}<br />
a:hover {<br />
color: #138496; <br />
}<br />
#latest-message {<br />
background-color: #596069; <br />
border: 1px solid #6c757d; <br />
color: #E9ECEF; <br />
padding: 10px; <br />
border-radius: 5px; <br />
}<br />
</style><br />
</head><br />
<body><br />
<div class="container mt-5"><br />
<h1 class="text-center mb-4">SignSpeak - Traducteur de Langage des Signes</h1><br />
<br />
<div class="row"><br />
<!-- Encadré pour les Raspberry Pi Disponibles --><br />
<div class="col-md-12"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Raspberry Pi Disponibles</h2><br />
<ul id="raspberry-list" class="list-group list-group-flush"><br />
<br />
</ul><br />
</div><br />
</div><br />
</div><br />
</div><br />
<br />
<div class="row"><br />
<!-- Encadré pour la Collecte des données --><br />
<div class="col-lg-6"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Collecte de données</h2><br />
<form method="post" class="form-inline"><br />
<input type="text" class="form-control mb-2 mr-sm-2" name="pi_id" placeholder="Entrez l'ID de la Raspberry Pi" required><br />
<button type="submit" class="btn btn-primary mb-2 mr-sm-2" name="command" value="start">Démarrer la Collecte</button><br />
<button type="submit" class="btn btn-danger mb-2" name="command" value="stop">Arrêter la Collecte</button><br />
</form><br />
</div><br />
</div><br />
</div><br />
<br />
<!-- Encadré pour le Dernier Message Reçu --><br />
<div class="col-lg-6"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Dernier Message Reçu</h2><br />
<div id="latest-message" class="alert alert-dark"><br />
Aucun message reçu pour le moment. <br />
</div><br />
</div><br />
</div><br />
</div><br />
</div><br />
<br />
<div class="mb-3 text-center"><br />
<a href="/logs" class="btn btn-secondary">Voir les Logs</a><br />
</div><br />
</div><br />
<script><br />
function fetchRaspberryIds() {<br />
var xhr = new XMLHttpRequest();<br />
xhr.onreadystatechange = function() {<br />
if (xhr.readyState == XMLHttpRequest.DONE) {<br />
if (xhr.status == 200) {<br />
var ids = JSON.parse(xhr.responseText);<br />
var list = document.getElementById('raspberry-list');<br />
list.innerHTML = '';<br />
ids.forEach(function(id) {<br />
var li = document.createElement('li');<br />
li.textContent = id;<br />
list.appendChild(li);<br />
});<br />
}<br />
}<br />
}<br />
xhr.open('GET', '/get-raspberry-ids', true);<br />
xhr.send();<br />
}<br />
<br />
function fetchLatestMessage() {<br />
var xhr = new XMLHttpRequest();<br />
xhr.onreadystatechange = function() {<br />
if (xhr.readyState == XMLHttpRequest.DONE) {<br />
if (xhr.status == 200) {<br />
console.log(xhr.responseText)<br />
document.getElementById('latest-message').textContent = xhr.responseText;<br />
}<br />
}<br />
}<br />
xhr.open('GET', '/get-latest-message', true);<br />
xhr.send();<br />
}<br />
<br />
setInterval(fetchRaspberryIds, 5000); // Met à jour les IDs toutes les 5 secondes<br />
setInterval(fetchLatestMessage, 500); // Met à jour le dernier message toutes les secondes<br />
</script><br />
<br />
<br />
<br />
{% if error_message_rpi %}<br />
<script><br />
alert("{{ error_message_rpi }}");<br />
</script><br />
{% endif %}<br />
<br />
{% if success_message %}<br />
<script><br />
alert("{{ success_message }}");<br />
</script><br />
{% endif %}<br />
</body><br />
</html><br />
<br />
</syntaxhighlight>On a aussi ajouté une page de logs, qui permet de voir l'historique de tous les données traitées.<br />
<br />
=== 9. Conclusion et Perspectives ===<br />
----SignSpeak représente une avancée significative dans le domaine de la traduction du langage des signes. Ce projet non seulement démont<br />
<br />
En conclusion, notre projet a vu la mise en place d'une infrastructure qui permet de facilité interaction entre les serveurs et les Raspberry Pi, notamment pour le démarrage et l'arrêt de la collecte de données, ainsi que pour l'envoi d'instructions d'entraînement spécifiques. Bien que nous ayons entamé le développement des fonctionnalités d'entraînement, permettant à l'utilisateur de spécifier depuis l'interface web l'identifiant de la Raspberry Pi et la lettre à entraîner, cette partie n'a pas pu être totalement finalisée dans le temps imparti.<br />
<br />
Pour le processus d'entraînement, l'idée était que la Raspberry Pi reçoit la lettre depuis le serveur,après il initie la collecte des données à partir du module STM32, stocke ces données dans un fichier CSV et génère le fichier .pkl correspondant au modèle d'intelligence artificielle. Parallèlement, pour la gestion des données brutes, la Raspberry Pi recçoit la lettre et devait transmettre les informations collectées au serveur, qui aurait alors pour tâche de les stocker également sous forme de fichier CSV et de générer le fichier .pkl nécessaire à l'application de l'intelligence artificielle.<br />
<br />
Les perspectives d'évolution de ce projet sont multiples. Elles incluent la finalisation de la fonctionnalité d'entraînement pour permettre une interaction complète et efficace dans la préparation des modèles d'intelligence artificielle directement depuis l'interface web. De plus, l'amélioration de la gestion des données brutes pour optimiser le stockage et le traitement sur le serveur ouvrirait la voie à des analyses plus poussées et à une meilleure performance des modèles générés. Enfin, l'extension de cette infrastructure à un plus grand nombre de Raspberry Pi et l'intégration de fonctionnalités supplémentaires pourraient transformer ce projet en une solution robuste et scalable pour diverses applications nécessitant la collecte et l'analyse de données en temps réel.[[Fichier:SignEntrainement.png|centré|vignette|1000x1000px]]<br />
<br />
== Vidéo ==<br />
Lorsque l'on clique sur "démarrer la collecte" en ayant spécifié un ID, on peut voir en temps réel le résultat dans le cadre Dernier Message Recu. Dans la vidéo on a choisi de prendre comme exemple la lettre "A", "B", les chiffres 1 et 2 et la phrase "I Love You"<br />
<br />
[[Fichier:RPReplay_Final1706462779.mov|sans_cadre]]<br />
[[Fichier:Capture d’écran 2024-01-29 à 15.43.56.png|néant|vignette]]<br />
[[Fichier:Capture d’écran 2024-01-29 à 15.45.25.png|néant|vignette|133x133px]]<br />
<br />
== Déroulement des séances ==<br />
<br />
==Séance du 04/12/2023==<br />
===Création de la machine virtuelle===<br />
Création d'une machine virtuelle sur le serveur chassiron :<br />
<br />
<code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code><br />
<br />
[[Fichier:IfconfigVM.png|sans_cadre]]<br />
===Raspberry-Pi===<br />
[[Fichier:Capture d’écran 2024-01-28 à 19.07.42.png|néant|vignette]]<br />
<br />
<br />
'''<big>Capteurs</big>'''<br />
<br />
pas de capteurs lors de la première séance<br />
<br />
== Séance du 18/12/2023 ==<br />
<br />
=== Sur la VM ===<br />
script serveur.py<br />
<br />
=== sur la raspberry ===<br />
script client.py<br />
<br />
lecture sur l'uart des données envoyés par le stm32<br />
<br />
envoie au serveur (tcp)<br />
<br />
<br />
=== sur le capteur ===<br />
pris ene main du capteur, mettre le code,<br />
<br />
== Séance du 19/12/2023 et du 20/12/2023 ==<br />
utilisation de la bibliothèque sciait-learn pour l'apprentissage automatique. Nous avons décidé que le but de notre application serait de traduire le langage des signes.<br />
<br />
Pour cela nous avons entrainé notre modèle avec quelques signes, comme la lettre A, B ou C et des chiffres 1, 2 et 3 pour commencer.<br />
<br />
//mettre screen des résultats entrainement.py et test.py<br />
<br />
Les résultats sont satisfaisants mais avec quelques erreurs, la prochaine étape est donc d'améliorer notre algorithme d'apprentissage (pour l'instant on utilise l'algorithme des k plus proches voisins), pour cela nous allons rajouter par exemple du filtrage et tester d'autres algo d'apprentissage automatique<br />
<br />
Coté serveur:<br />
<br />
Création d'un serveur web, afin de lire les données qui proviennet depuis la raspberrypi et les afficher.<br />
<br />
<br />
'''<big>Mise en Place de l'algorithme d'apprentissage</big>'''<br />
<br />
nous avons tester plusieurs méthode d'apprentissage comme la '''Méthode des k plus proches voisins''' (K-Neighbour) ou encore '''forêt aléatoire''' Random forest.<br />
<br />
'''Random Forest'''</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_ECEAI/eceai_2023/2024/black-blgrim&diff=4989SE5 ECEAI/eceai 2023/2024/black-blgrim2024-01-29T14:50:12Z<p>Bblack : /* Vidéo */</p>
<hr />
<div>=SignSpeak 2023/2024 =<br />
== '''Présentation du projet''' ==<br />
<br />
=== 1. Introduction ===<br />
----Le projet SignSpeak a pour ambition de créer une solution innovante pour la traduction du langage des signes en texte. L'objectif principal est de développer un système capable de capturer les mouvements des mains et de les interpréter en langage des signes, permettant une communication fluide entre les personnes sourdes ou malentendantes et celles qui ne connaissent pas le langage des signes. Ce projet intègre des technologies avancées telles que l'edge computing, l'intelligence artificielle embarquée, et les communications MQTT, offrant une approche novatrice dans le domaine de l'accessibilité et de la communication.<br />
<br />
=== 2. Architecture du Système ===<br />
----Notre solution repose sur une architecture intégrée impliquant plusieurs composants clés :<br />
<br />
* '''Capteurs et STM32''' : Des capteurs sont connectés à un microcontrôleur STM32, responsables de la capture des mouvements de main. Ces données sont ensuite transmises pour traitement.<br />
* '''Raspberry Pi''' : Agissant comme un intermédiaire, la Raspberry Pi reçoit les données des capteurs via UART, exécute un traitement préliminaire et communique avec le serveur.<br />
* '''Serveur et Machine Learning''' : Un serveur, hébergé sur une VM Xen, traite les données à l'aide d'un modèle SVM pour la traduction en langage des signes et fournit une interface web pour l'interaction utilisateur.<br />
*<br />
<br />
=== 3. Collecte et Préparation des Données ===<br />
----Le processus de collecte des données est géré par le script <code>enregistrementData.py</code>. Ce script lit les données transmises par le STM32 via UART et les enregistre dans un fichier CSV. Chaque entrée du fichier représente les valeurs de capteurs à un moment donné, accompagnées d'une étiquette correspondant au signe effectué. Cette approche assure une collecte de données structurée, essentielle pour l'entraînement précis du modèle d'apprentissage automatique.<syntaxhighlight lang="python"><br />
import serial<br />
import csv<br />
import sys<br />
import time<br />
<br />
# Vérification de l'argument d'entrée<br />
if len(sys.argv) < 2:<br />
print("Usage: python script.py <etiquette>")<br />
sys.exit(1)<br />
<br />
etiquette = sys.argv[1]<br />
<br />
# Paramètres de l'UART<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
<br />
# Créer une connexion UART<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
<br />
# Nom du fichier CSV<br />
filename = f"data_complete.csv"<br />
<br />
# Vérifier si le fichier existe déjà<br />
file_exists = False<br />
try:<br />
with open(filename, 'r') as f:<br />
file_exists = True<br />
except FileNotFoundError:<br />
file_exists = False<br />
<br />
# Ouvrir le fichier CSV en mode append<br />
with open(filename, 'a', newline='') as file:<br />
writer = csv.writer(file)<br />
<br />
# Écrire l'en-tête si le fichier n'existait pas<br />
if not file_exists:<br />
writer.writerow(["Capteur1", "Capteur2", "Capteur3", "Capteur4", "Capteur5", "Capteur6", "Capteur7", "Capteur8", "Capteur9", "Capteur10", "Capteur11", "Capteur12", "Capteur13", "Capteur14", <br />
"Capteur15", "Capteur16", "Etiquette"])<br />
elif file_exists:<br />
writer.writerow([])<br />
while True:<br />
# Lire une ligne de données depuis l'UART<br />
data = ser.readline().decode('utf-8').rstrip()<br />
print(f"Données reçues : '{data}'")<br />
<br />
# Vérifier si des données ont été reçues<br />
if data:<br />
# Diviser les données en valeurs individuelles<br />
sensor_values = data.split(',')<br />
<br />
# Filtrer les chaînes vides ou non numériques et convertir en flottants<br />
try:<br />
sensor_values = [float(value) for value in sensor_values if value.strip().isdigit()]<br />
<br />
# Vérifier qu'il y a 16 valeurs de capteur<br />
if len(sensor_values) == 16:<br />
sensor_values.append(etiquette)<br />
writer.writerow(sensor_values)<br />
else:<br />
print("Données incomplètes reçues")<br />
<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
print(f"Données problématiques : '{data}'")<br />
<br />
time.sleep(0.1)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
* Le script commence par établir une communication série avec le STM32.<br />
* Il lit ensuite les données en série, les décode et les stocke dans un fichier CSV pour une utilisation ultérieure.<br />
<br />
* Une fois les données collectées et stockées dans le fichier CSV, elles sont préparées pour l'entraînement du modèle.<br />
* Cette préparation implique la normalisation des données, la gestion des valeurs manquantes ou aberrantes, et leur formatage dans un bon format.[[Fichier:Rpi entrainement.png|vignette|1000x1000px|néant]]<br />
=== 4. Entraînement du Modèle d'Apprentissage Automatique ===<br />
----L'entraînement du modèle est réalisé par un script Python utilisant la bibliothèque scikit-learn. Le modèle SVM, choisi pour sa capacité à gérer des espaces de grande dimension, est entraîné sur l'ensemble des données collectées. Ce processus comprend la division des données en ensembles d'entraînement et de test, l'entraînement du modèle, et sa validation par le calcul de la précision. Nous avions testé plusieurs modèle, comme par exemple un modèle Knn ou randomForest, des 3 algorithmes, c'est celui qui nous à apporté les meilleurs résultats pour un meme nombre de data d'entrainement. (RandomForest en deuxième position)<syntaxhighlight lang="python"><br />
import pandas as pd<br />
from sklearn.model_selection import train_test_split<br />
from sklearn.svm import SVC<br />
from sklearn.metrics import accuracy_score<br />
import pickle<br />
<br />
# Charger vos données<br />
data = pd.read_csv('data_complete.csv')<br />
<br />
# Séparer les caractéristiques et les étiquettes<br />
X = data.drop('Etiquette', axis=1)<br />
y = data['Etiquette']<br />
<br />
# Diviser les données en ensembles d'entraînement et de test<br />
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)<br />
<br />
# Créer et entraîner le modèle SVM<br />
model = SVC(kernel='rbf')<br />
model.fit(X_train, y_train)<br />
<br />
# Sauvegarder le modèle entraîné<br />
with open('modele_svm.pkl', 'wb') as file:<br />
pickle.dump(model, file)<br />
<br />
# Charger le modèle et faire des prédictions<br />
with open('modele_svm.pkl', 'rb') as file:<br />
loaded_model = pickle.load(file)<br />
predictions = loaded_model.predict(X_test)<br />
print("Précision :", accuracy_score(y_test, predictions))<br />
<br />
</syntaxhighlight><br />
<br />
# '''Séparation des Données''':<br />
#* Les données sont divisées en deux ensembles : un ensemble d'entraînement et un ensemble de test. Cette séparation est cruciale pour évaluer objectivement la performance du modèle.<br />
#* Généralement, on adopte une répartition de 80% pour l'entraînement et 20% pour les tests.<br />
# '''Entraînement du Modèle SVM''':<br />
#* Le modèle SVM avec un noyau RBF (Radial Basis Function) est entraîné sur l'ensemble d'entraînement.<br />
#* L'entraînement implique l'ajustement du modèle aux données d'entraînement, en apprenant à distinguer les différents signes.<br />
# '''Sauvegarde et Réutilisation du Modèle'''<br />
#* Une fois entraîné et validé, le modèle est sauvegardé à l'aide de la bibliothèque <code>pickle</code><br />
# '''Validation et Évaluation du Modèle''':<br />
#* Après l'entraînement, le modèle est testé sur l'ensemble de test pour évaluer sa performance.<br />
#* La métrique principale utilisée est la précision, qui mesure la proportion de prédictions correctes par rapport au total des prédictions.<br />
<br />
Ensuite on peut générer le modèle comme ceci:<br />
[[Fichier:Generate model.png|vignette|399x399px|néant]]<br />
<br />
Avec cette prédiction lorsque notre modèle prédit le résultat, il est correct environ 71.81% du temps.<br />
<br />
=== 5. Intégration MQTT et Communication ===<br />
----Protocole de communication :<br />
<br />
Dans le cadre de notre projet, la communication entre les dispositifs Raspberry Pi et le serveur est établie via le protocole MQTT.<br />
<br />
Justification du Choix de MQTT :<br />
<br />
Au début du projet, une approche basée sur des sockets IPv6 avait été envisagée pour tirer parti de l'adressage direct et de la simplification de la configuration réseau qu'offre IPv6. Cependant, dans le but de respecter les impératifs de sobriété énergétique et d'assurer une scalabilité optimale du système, permettant ainsi de gérer aisément un nombre croissant de dispositifs Raspberry Pi, la décision a été prise d'adopter MQTT comme protocole de communication. Le protocole MQTT, reconnu pour sa légèreté et sa fiabilité, s'adapte parfaitement aux contraintes des applications IoT.<br />
<br />
<br />
'''Installation du broker mosquitto sur le serveur:'''<br />
<syntaxhighlight lang="shell"><br />
apt install -y mosquitto mosquitto-clients<br />
service mosquitto start<br />
</syntaxhighlight><br />
<br />
Activation de l'accès à distance au Broker Mosquitto:<br />
<br />
ajouter l'authentification par username et mot de passe<br />
<syntaxhighlight lang="shell"><br />
sudo mosquitto_passwd -c /etc/mosquitto/passwd username<br />
</syntaxhighlight><br />
après on nous demande d'entrer le mot de passe <br />
<br />
Modifier le fichier /etc/mosquitto/mosquitto.conf:<br />
<syntaxhighlight lang="shell"><br />
listener 1883 10.42.0.5<br />
#listener 1883 2001:660:4401:6050:216:3eff:fe86:cd63<br />
allow_anonymous false<br />
password_file /etc/mosquitto/passwd<br />
</syntaxhighlight><br />
<br />
Restart Mosquitto:<br />
<syntaxhighlight lang="shell"><br />
service mosquitto restart<br />
</syntaxhighlight><br />
<br />
Vérification ds logs:<br />
<syntaxhighlight lang="shell"><br />
cat /var/log/mosquitto/mosquitto.log<br />
</syntaxhighlight><br />
<br />
'''Création d'un client MQTT sur la Raspberry Pi:'''<br />
<br />
Le script mqtt_client_rpi.py joue un rôle clé dans cette architecture en facilitant la communication bidirectionnelle : il permet non seulement l'envoi des prédictions réalisées par le modèle SVM depuis la Raspberry Pi vers le serveur, mais autorise également la réception des commandes de contrôle, telles que les instructions de démarrage ou d'arrêt de la collecte de données.<br />
<br />
<syntaxhighlight lang="python"><br />
import paho.mqtt.client as mqtt<br />
import serial<br />
import pandas as pd<br />
import pickle<br />
import time<br />
<br />
<br />
<br />
MQTT_BROKER_ADDRESS = "10.42.0.5"<br />
#MQTT_BROKER_ADDRESS = "2001:660:4401:6050:216:3eff:fe86:cd63" VmHblgrimBblack<br />
MQTT_USERNAME = "username"<br />
MQTT_PASSWORD = "confidentiel"<br />
pi_id = "rpi1234"<br />
<br />
collecting_data = False <br />
<br />
client = mqtt.Client()<br />
client.username_pw_set(MQTT_USERNAME, MQTT_PASSWORD)<br />
client.connect(MQTT_BROKER_ADDRESS, 1883, 60)<br />
client.loop_start()<br />
<br />
<br />
def on_connect(client, userdata, flags, rc):<br />
print("Connected with result code " + str(rc))<br />
client.subscribe(f"config/{pi_id}")<br />
client.publish("raspberry_available", pi_id)<br />
<br />
def on_message(client, userdata, msg):<br />
global collecting_data<br />
if msg.topic == f"config/{pi_id}":<br />
command = msg.payload.decode()<br />
if command == "start":<br />
collecting_data = True<br />
elif command == "stop":<br />
collecting_data = False<br />
<br />
<br />
<br />
client.on_connect = on_connect<br />
client.on_message = on_message<br />
<br />
<br />
# Configurez le port série et chargez le modèle ici<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
with open('modele_svm.pkl', 'rb') as file:<br />
rf = pickle.load(file)<br />
try:<br />
<br />
while True:<br />
if collecting_data:<br />
data = ser.readline().decode('utf-8').rstrip()<br />
if data:<br />
try:<br />
sensor_values = [value for value in data.split(',') if value.strip().replace('.', '', 1).isdigit()]<br />
if len(sensor_values) == 16:<br />
sensor_values = list(map(float, sensor_values))<br />
sensor_values_df = pd.DataFrame([sensor_values])<br />
prediction = rf.predict(sensor_values_df)<br />
client.publish(f"telemetry/{pi_id}", str(prediction[0]).encode())<br />
print("Prédiction :", prediction[0])<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
else:<br />
time.sleep(0.1)<br />
<br />
except KeyboardInterrupt:<br />
print("Script interrompu")<br />
<br />
<br />
client.loop_stop()<br />
client.disconnect()<br />
</syntaxhighlight>Ici il y a 3 topics différents. lorsqu'une raspberry se connecte au réseau elle publie son ID (qui est unique, on peut prendre par exemple l'adresse MAC) sur le topic raspberry_available. Cela nous servira a savoir quelle raspberry est connecté et de se fait pouvoir afficher celles-ci sur notre interface web.<br />
<br />
le deuxième topic et le topic config/ID (avec id l'identifiant unique de la raspberry), il nous sert a envoyer les commandes "start" et "stop" a la raspberry afin qu'elle démarre ou arrête la lecture des datas.<br />
<br />
Le troisième topic est le topic telemetry/ID, ou la raspberry vient publier ses données.<br />
<br />
Un quatrième topic pourrait être implémenter comme par exemple le topic common_config, toutes les raspberrys serait abonnées a ce topic. S'il est nécessaire, cela nous permettrais d'envoyer la même commande a toutes les raspberry plutôt que de faire une publication sur chaque config/ID<br />
<br />
=== 6. Interface Serveur et Gestion des Données ===<br />
----Le serveur central, au cœur de notre système, est orchestré par le script <code>app.py</code> qui exploite le framework Flask pour mettre en place une interface serveur. Cette interface est conçue pour traiter efficacement les requêtes HTTP et les messages MQTT, offrant ainsi une API réactive pour l'interface utilisateur web. Elle permet également de visualiser en temps réel l'état des dispositifs Raspberry Pi connectés et les dernières données traitées.<br />
[[Fichier:Signspeakweb.png|centré|vignette|1000x1000px]]<br />
<br />
<br />
<br />
<syntaxhighlight lang="python"><br />
from flask import Flask, render_template, request, jsonify<br />
import paho.mqtt.client as mqtt<br />
import queue<br />
<br />
app = Flask(__name__)<br />
messages = []<br />
received_messages = queue.Queue()<br />
latest_message = None<br />
subscribed_topics = set()<br />
raspberry_ids = set()<br />
MQTT_BROKER_ADDRESS = "10.42.0.5"<br />
#MQTT_BROKER_ADDRESS = "2001:660:4401:6050:216:3eff:fe86:cd63" VmHblgrimBblack<br />
MQTT_USERNAME = "username"<br />
MQTT_PASSWORD = "confidentiel"<br />
<br />
<br />
mqtt_client = mqtt.Client()<br />
mqtt_client.username_pw_set(MQTT_USERNAME, MQTT_PASSWORD) <br />
mqtt_client.connect(MQTT_BROKER_ADDRESS, 1883, 60)<br />
mqtt_client.loop_start()<br />
<br />
def send_command_to_pi(pi_id, command):<br />
try:<br />
topic = f"config/{pi_id}"<br />
mqtt_client.publish(topic, command)<br />
subscribe_to_pi_telemetry(pi_id)<br />
return True, "Commande envoyée avec succès"<br />
except Exception as e:<br />
return False, f"Commande pas envoyée: Erreur MQTT : {e}"<br />
<br />
def subscribe_to_pi_telemetry(pi_id):<br />
global subscribed_topics<br />
topic = f"telemetry/{pi_id}"<br />
if topic not in subscribed_topics:<br />
mqtt_client.subscribe(topic)<br />
subscribed_topics.add(topic)<br />
<br />
def on_connect(client, userdata, flags, rc):<br />
print("Connected with result code " + str(rc))<br />
client.subscribe("raspberry_available")<br />
def on_message(client, userdata, msg):<br />
global raspberry_ids<br />
print(f"Received message on topic {msg.topic}: {msg.payload.decode()}") # Ajouter pour le débogage<br />
if msg.topic == "raspberry_available":<br />
raspberry_ids.add(msg.payload.decode())<br />
else:<br />
received_messages.put(msg.payload.decode())<br />
<br />
<br />
mqtt_client.on_connect = on_connect<br />
mqtt_client.on_message = on_message<br />
@app.route('/get-raspberry-ids')<br />
def get_raspberry_ids():<br />
return jsonify(list(raspberry_ids))<br />
@app.route('/get-latest-message')<br />
def get_latest_message():<br />
global latest_message<br />
while not received_messages.empty():<br />
messages.append(received_messages.get())<br />
<br />
latest_message = messages[-1] if messages else None<br />
<br />
print(f"Contenu de la réponse pour /get-latest-message : {latest_message}")<br />
<br />
if latest_message is not None:<br />
response = jsonify({"message": latest_message})<br />
return response<br />
else:<br />
message = "Aucun signe a traduire pour le moment"<br />
return jsonify(message)<br />
<br />
<br />
@app.route('/', methods=['GET', 'POST'])<br />
<br />
def index():<br />
global raspberry_ids<br />
error_message_rpi = None<br />
success_message = None<br />
<br />
if request.method == 'POST':<br />
pi_id = request.form.get('pi_id')<br />
command = request.form.get('command')<br />
if pi_id and command in ["start", "stop"]:<br />
success, er_message = send_command_to_pi(pi_id, command)<br />
if success:<br />
success_message = "Commande envoyée avec succès"<br />
else:<br />
error_message_rpi = er_message<br />
<br />
<br />
return render_template('index.html', raspberry_ids=list(raspberry_ids), error_message_rpi=error_message_rpi, success_message=success_message, message=latest_message)<br />
<br />
if __name__ == '__main__':<br />
app.run(debug=False, port=8066)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
=== 7. Conception de l'Interface Utilisateur ===<br />
----L'interface utilisateur, développée à l'aide des technologies web standard HTML, CSS, et JavaScript, offre une expérience interactive. Le fichier index.html constitue le point d'entrée de cette interface, proposant des fonctionnalités telles que l'envoi de commandes aux dispositifs Raspberry Pi et la visualisation des données traitées. L'utilisation de JavaScript pour interroger dynamiquement le serveur Flask permet de rafraîchir les informations affichées en temps réel, garantissant ainsi une interface réactive et à jour.<br />
<br />
<br />
<br />
index.html:<br />
<syntaxhighlight lang="html"><br />
<!DOCTYPE html><br />
<html><br />
<head><br />
<title>SignSpeak - Traducteur de Langage des Signes</title><br />
<link rel="stylesheet" href="https://stackpath.bootstrapcdn.com/bootstrap/4.3.1/css/bootstrap.min.css"><br />
<style><br />
body {<br />
background-color: #343a40; <br />
color: #ced4da; <br />
}<br />
.card {<br />
background-color: #495057; <br />
}<br />
.card-title, .card-text, .alert {<br />
color: #adb5bd; <br />
}<br />
.btn-primary {<br />
background-color: #007bff; <br />
border-color: #007bff;<br />
}<br />
.btn-danger {<br />
background-color: #dc3545; <br />
border-color: #dc3545;<br />
}<br />
.form-control {<br />
background-color: #495057; <br />
border: 1px solid #6c757d;<br />
color: #ced4da; <br />
}<br />
a, .btn-secondary {<br />
color: #17a2b8; <br />
}<br />
a:hover {<br />
color: #138496; <br />
}<br />
#latest-message {<br />
background-color: #596069; <br />
border: 1px solid #6c757d; <br />
color: #E9ECEF; <br />
padding: 10px; <br />
border-radius: 5px; <br />
}<br />
</style><br />
</head><br />
<body><br />
<div class="container mt-5"><br />
<h1 class="text-center mb-4">SignSpeak - Traducteur de Langage des Signes</h1><br />
<br />
<div class="row"><br />
<!-- Encadré pour les Raspberry Pi Disponibles --><br />
<div class="col-md-12"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Raspberry Pi Disponibles</h2><br />
<ul id="raspberry-list" class="list-group list-group-flush"><br />
<br />
</ul><br />
</div><br />
</div><br />
</div><br />
</div><br />
<br />
<div class="row"><br />
<!-- Encadré pour la Collecte des données --><br />
<div class="col-lg-6"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Collecte de données</h2><br />
<form method="post" class="form-inline"><br />
<input type="text" class="form-control mb-2 mr-sm-2" name="pi_id" placeholder="Entrez l'ID de la Raspberry Pi" required><br />
<button type="submit" class="btn btn-primary mb-2 mr-sm-2" name="command" value="start">Démarrer la Collecte</button><br />
<button type="submit" class="btn btn-danger mb-2" name="command" value="stop">Arrêter la Collecte</button><br />
</form><br />
</div><br />
</div><br />
</div><br />
<br />
<!-- Encadré pour le Dernier Message Reçu --><br />
<div class="col-lg-6"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Dernier Message Reçu</h2><br />
<div id="latest-message" class="alert alert-dark"><br />
Aucun message reçu pour le moment. <br />
</div><br />
</div><br />
</div><br />
</div><br />
</div><br />
<br />
<div class="mb-3 text-center"><br />
<a href="/logs" class="btn btn-secondary">Voir les Logs</a><br />
</div><br />
</div><br />
<script><br />
function fetchRaspberryIds() {<br />
var xhr = new XMLHttpRequest();<br />
xhr.onreadystatechange = function() {<br />
if (xhr.readyState == XMLHttpRequest.DONE) {<br />
if (xhr.status == 200) {<br />
var ids = JSON.parse(xhr.responseText);<br />
var list = document.getElementById('raspberry-list');<br />
list.innerHTML = '';<br />
ids.forEach(function(id) {<br />
var li = document.createElement('li');<br />
li.textContent = id;<br />
list.appendChild(li);<br />
});<br />
}<br />
}<br />
}<br />
xhr.open('GET', '/get-raspberry-ids', true);<br />
xhr.send();<br />
}<br />
<br />
function fetchLatestMessage() {<br />
var xhr = new XMLHttpRequest();<br />
xhr.onreadystatechange = function() {<br />
if (xhr.readyState == XMLHttpRequest.DONE) {<br />
if (xhr.status == 200) {<br />
console.log(xhr.responseText)<br />
document.getElementById('latest-message').textContent = xhr.responseText;<br />
}<br />
}<br />
}<br />
xhr.open('GET', '/get-latest-message', true);<br />
xhr.send();<br />
}<br />
<br />
setInterval(fetchRaspberryIds, 5000); // Met à jour les IDs toutes les 5 secondes<br />
setInterval(fetchLatestMessage, 500); // Met à jour le dernier message toutes les secondes<br />
</script><br />
<br />
<br />
<br />
{% if error_message_rpi %}<br />
<script><br />
alert("{{ error_message_rpi }}");<br />
</script><br />
{% endif %}<br />
<br />
{% if success_message %}<br />
<script><br />
alert("{{ success_message }}");<br />
</script><br />
{% endif %}<br />
</body><br />
</html><br />
<br />
</syntaxhighlight>On a aussi ajouté une page de logs, qui permet de voir l'historique de tous les données traitées.<br />
<br />
=== 9. Conclusion et Perspectives ===<br />
----SignSpeak représente une avancée significative dans le domaine de la traduction du langage des signes. Ce projet non seulement démont<br />
<br />
En conclusion, notre projet a vu la mise en place d'une infrastructure qui permet de facilité interaction entre les serveurs et les Raspberry Pi, notamment pour le démarrage et l'arrêt de la collecte de données, ainsi que pour l'envoi d'instructions d'entraînement spécifiques. Bien que nous ayons entamé le développement des fonctionnalités d'entraînement, permettant à l'utilisateur de spécifier depuis l'interface web l'identifiant de la Raspberry Pi et la lettre à entraîner, cette partie n'a pas pu être totalement finalisée dans le temps imparti.<br />
<br />
Pour le processus d'entraînement, l'idée était que la Raspberry Pi reçoit la lettre depuis le serveur,après il initie la collecte des données à partir du module STM32, stocke ces données dans un fichier CSV et génère le fichier .pkl correspondant au modèle d'intelligence artificielle. Parallèlement, pour la gestion des données brutes, la Raspberry Pi recçoit la lettre et devait transmettre les informations collectées au serveur, qui aurait alors pour tâche de les stocker également sous forme de fichier CSV et de générer le fichier .pkl nécessaire à l'application de l'intelligence artificielle.<br />
<br />
Les perspectives d'évolution de ce projet sont multiples. Elles incluent la finalisation de la fonctionnalité d'entraînement pour permettre une interaction complète et efficace dans la préparation des modèles d'intelligence artificielle directement depuis l'interface web. De plus, l'amélioration de la gestion des données brutes pour optimiser le stockage et le traitement sur le serveur ouvrirait la voie à des analyses plus poussées et à une meilleure performance des modèles générés. Enfin, l'extension de cette infrastructure à un plus grand nombre de Raspberry Pi et l'intégration de fonctionnalités supplémentaires pourraient transformer ce projet en une solution robuste et scalable pour diverses applications nécessitant la collecte et l'analyse de données en temps réel.[[Fichier:SignEntrainement.png|centré|vignette|1000x1000px]]<br />
<br />
== Vidéo ==<br />
Lorsque l'on clique sur "démarrer la collecte" en ayant spécifié un ID, on peut voir en temps réel le résultat dans le cadre Dernier Message Recu. Dans la vidéo on a choisi de prendre comme exemple la lettre "A", "B", les chiffres 1 et 2 et la phrase "I Love You"<br />
<br />
[[Fichier:RPReplay_Final1706462779.mov|sans_cadre]]<br />
[[Fichier:Capture d’écran 2024-01-29 à 15.43.56.png|néant|vignette]]<br />
[[Fichier:Capture d’écran 2024-01-29 à 15.45.25.png|néant|vignette]]<br />
<br />
== Déroulement des séances ==<br />
<br />
==Séance du 04/12/2023==<br />
===Création de la machine virtuelle===<br />
Création d'une machine virtuelle sur le serveur chassiron :<br />
<br />
<code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code><br />
<br />
[[Fichier:IfconfigVM.png|sans_cadre]]<br />
===Raspberry-Pi===<br />
[[Fichier:Capture d’écran 2024-01-28 à 19.07.42.png|néant|vignette]]<br />
<br />
<br />
'''<big>Capteurs</big>'''<br />
<br />
pas de capteurs lors de la première séance<br />
<br />
== Séance du 18/12/2023 ==<br />
<br />
=== Sur la VM ===<br />
script serveur.py<br />
<br />
=== sur la raspberry ===<br />
script client.py<br />
<br />
lecture sur l'uart des données envoyés par le stm32<br />
<br />
envoie au serveur (tcp)<br />
<br />
<br />
=== sur le capteur ===<br />
pris ene main du capteur, mettre le code,<br />
<br />
== Séance du 19/12/2023 et du 20/12/2023 ==<br />
utilisation de la bibliothèque sciait-learn pour l'apprentissage automatique. Nous avons décidé que le but de notre application serait de traduire le langage des signes.<br />
<br />
Pour cela nous avons entrainé notre modèle avec quelques signes, comme la lettre A, B ou C et des chiffres 1, 2 et 3 pour commencer.<br />
<br />
//mettre screen des résultats entrainement.py et test.py<br />
<br />
Les résultats sont satisfaisants mais avec quelques erreurs, la prochaine étape est donc d'améliorer notre algorithme d'apprentissage (pour l'instant on utilise l'algorithme des k plus proches voisins), pour cela nous allons rajouter par exemple du filtrage et tester d'autres algo d'apprentissage automatique<br />
<br />
Coté serveur:<br />
<br />
Création d'un serveur web, afin de lire les données qui proviennet depuis la raspberrypi et les afficher.<br />
<br />
<br />
'''<big>Mise en Place de l'algorithme d'apprentissage</big>'''<br />
<br />
nous avons tester plusieurs méthode d'apprentissage comme la '''Méthode des k plus proches voisins''' (K-Neighbour) ou encore '''forêt aléatoire''' Random forest.<br />
<br />
'''Random Forest'''</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_ECEAI/eceai_2023/2024/black-blgrim&diff=4988SE5 ECEAI/eceai 2023/2024/black-blgrim2024-01-29T14:49:02Z<p>Bblack : /* Vidéo */</p>
<hr />
<div>=SignSpeak 2023/2024 =<br />
== '''Présentation du projet''' ==<br />
<br />
=== 1. Introduction ===<br />
----Le projet SignSpeak a pour ambition de créer une solution innovante pour la traduction du langage des signes en texte. L'objectif principal est de développer un système capable de capturer les mouvements des mains et de les interpréter en langage des signes, permettant une communication fluide entre les personnes sourdes ou malentendantes et celles qui ne connaissent pas le langage des signes. Ce projet intègre des technologies avancées telles que l'edge computing, l'intelligence artificielle embarquée, et les communications MQTT, offrant une approche novatrice dans le domaine de l'accessibilité et de la communication.<br />
<br />
=== 2. Architecture du Système ===<br />
----Notre solution repose sur une architecture intégrée impliquant plusieurs composants clés :<br />
<br />
* '''Capteurs et STM32''' : Des capteurs sont connectés à un microcontrôleur STM32, responsables de la capture des mouvements de main. Ces données sont ensuite transmises pour traitement.<br />
* '''Raspberry Pi''' : Agissant comme un intermédiaire, la Raspberry Pi reçoit les données des capteurs via UART, exécute un traitement préliminaire et communique avec le serveur.<br />
* '''Serveur et Machine Learning''' : Un serveur, hébergé sur une VM Xen, traite les données à l'aide d'un modèle SVM pour la traduction en langage des signes et fournit une interface web pour l'interaction utilisateur.<br />
*<br />
<br />
=== 3. Collecte et Préparation des Données ===<br />
----Le processus de collecte des données est géré par le script <code>enregistrementData.py</code>. Ce script lit les données transmises par le STM32 via UART et les enregistre dans un fichier CSV. Chaque entrée du fichier représente les valeurs de capteurs à un moment donné, accompagnées d'une étiquette correspondant au signe effectué. Cette approche assure une collecte de données structurée, essentielle pour l'entraînement précis du modèle d'apprentissage automatique.<syntaxhighlight lang="python"><br />
import serial<br />
import csv<br />
import sys<br />
import time<br />
<br />
# Vérification de l'argument d'entrée<br />
if len(sys.argv) < 2:<br />
print("Usage: python script.py <etiquette>")<br />
sys.exit(1)<br />
<br />
etiquette = sys.argv[1]<br />
<br />
# Paramètres de l'UART<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
<br />
# Créer une connexion UART<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
<br />
# Nom du fichier CSV<br />
filename = f"data_complete.csv"<br />
<br />
# Vérifier si le fichier existe déjà<br />
file_exists = False<br />
try:<br />
with open(filename, 'r') as f:<br />
file_exists = True<br />
except FileNotFoundError:<br />
file_exists = False<br />
<br />
# Ouvrir le fichier CSV en mode append<br />
with open(filename, 'a', newline='') as file:<br />
writer = csv.writer(file)<br />
<br />
# Écrire l'en-tête si le fichier n'existait pas<br />
if not file_exists:<br />
writer.writerow(["Capteur1", "Capteur2", "Capteur3", "Capteur4", "Capteur5", "Capteur6", "Capteur7", "Capteur8", "Capteur9", "Capteur10", "Capteur11", "Capteur12", "Capteur13", "Capteur14", <br />
"Capteur15", "Capteur16", "Etiquette"])<br />
elif file_exists:<br />
writer.writerow([])<br />
while True:<br />
# Lire une ligne de données depuis l'UART<br />
data = ser.readline().decode('utf-8').rstrip()<br />
print(f"Données reçues : '{data}'")<br />
<br />
# Vérifier si des données ont été reçues<br />
if data:<br />
# Diviser les données en valeurs individuelles<br />
sensor_values = data.split(',')<br />
<br />
# Filtrer les chaînes vides ou non numériques et convertir en flottants<br />
try:<br />
sensor_values = [float(value) for value in sensor_values if value.strip().isdigit()]<br />
<br />
# Vérifier qu'il y a 16 valeurs de capteur<br />
if len(sensor_values) == 16:<br />
sensor_values.append(etiquette)<br />
writer.writerow(sensor_values)<br />
else:<br />
print("Données incomplètes reçues")<br />
<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
print(f"Données problématiques : '{data}'")<br />
<br />
time.sleep(0.1)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
* Le script commence par établir une communication série avec le STM32.<br />
* Il lit ensuite les données en série, les décode et les stocke dans un fichier CSV pour une utilisation ultérieure.<br />
<br />
* Une fois les données collectées et stockées dans le fichier CSV, elles sont préparées pour l'entraînement du modèle.<br />
* Cette préparation implique la normalisation des données, la gestion des valeurs manquantes ou aberrantes, et leur formatage dans un bon format.[[Fichier:Rpi entrainement.png|vignette|1000x1000px|néant]]<br />
=== 4. Entraînement du Modèle d'Apprentissage Automatique ===<br />
----L'entraînement du modèle est réalisé par un script Python utilisant la bibliothèque scikit-learn. Le modèle SVM, choisi pour sa capacité à gérer des espaces de grande dimension, est entraîné sur l'ensemble des données collectées. Ce processus comprend la division des données en ensembles d'entraînement et de test, l'entraînement du modèle, et sa validation par le calcul de la précision. Nous avions testé plusieurs modèle, comme par exemple un modèle Knn ou randomForest, des 3 algorithmes, c'est celui qui nous à apporté les meilleurs résultats pour un meme nombre de data d'entrainement. (RandomForest en deuxième position)<syntaxhighlight lang="python"><br />
import pandas as pd<br />
from sklearn.model_selection import train_test_split<br />
from sklearn.svm import SVC<br />
from sklearn.metrics import accuracy_score<br />
import pickle<br />
<br />
# Charger vos données<br />
data = pd.read_csv('data_complete.csv')<br />
<br />
# Séparer les caractéristiques et les étiquettes<br />
X = data.drop('Etiquette', axis=1)<br />
y = data['Etiquette']<br />
<br />
# Diviser les données en ensembles d'entraînement et de test<br />
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)<br />
<br />
# Créer et entraîner le modèle SVM<br />
model = SVC(kernel='rbf')<br />
model.fit(X_train, y_train)<br />
<br />
# Sauvegarder le modèle entraîné<br />
with open('modele_svm.pkl', 'wb') as file:<br />
pickle.dump(model, file)<br />
<br />
# Charger le modèle et faire des prédictions<br />
with open('modele_svm.pkl', 'rb') as file:<br />
loaded_model = pickle.load(file)<br />
predictions = loaded_model.predict(X_test)<br />
print("Précision :", accuracy_score(y_test, predictions))<br />
<br />
</syntaxhighlight><br />
<br />
# '''Séparation des Données''':<br />
#* Les données sont divisées en deux ensembles : un ensemble d'entraînement et un ensemble de test. Cette séparation est cruciale pour évaluer objectivement la performance du modèle.<br />
#* Généralement, on adopte une répartition de 80% pour l'entraînement et 20% pour les tests.<br />
# '''Entraînement du Modèle SVM''':<br />
#* Le modèle SVM avec un noyau RBF (Radial Basis Function) est entraîné sur l'ensemble d'entraînement.<br />
#* L'entraînement implique l'ajustement du modèle aux données d'entraînement, en apprenant à distinguer les différents signes.<br />
# '''Sauvegarde et Réutilisation du Modèle'''<br />
#* Une fois entraîné et validé, le modèle est sauvegardé à l'aide de la bibliothèque <code>pickle</code><br />
# '''Validation et Évaluation du Modèle''':<br />
#* Après l'entraînement, le modèle est testé sur l'ensemble de test pour évaluer sa performance.<br />
#* La métrique principale utilisée est la précision, qui mesure la proportion de prédictions correctes par rapport au total des prédictions.<br />
<br />
Ensuite on peut générer le modèle comme ceci:<br />
[[Fichier:Generate model.png|vignette|399x399px|néant]]<br />
<br />
Avec cette prédiction lorsque notre modèle prédit le résultat, il est correct environ 71.81% du temps.<br />
<br />
=== 5. Intégration MQTT et Communication ===<br />
----Protocole de communication :<br />
<br />
Dans le cadre de notre projet, la communication entre les dispositifs Raspberry Pi et le serveur est établie via le protocole MQTT.<br />
<br />
Justification du Choix de MQTT :<br />
<br />
Au début du projet, une approche basée sur des sockets IPv6 avait été envisagée pour tirer parti de l'adressage direct et de la simplification de la configuration réseau qu'offre IPv6. Cependant, dans le but de respecter les impératifs de sobriété énergétique et d'assurer une scalabilité optimale du système, permettant ainsi de gérer aisément un nombre croissant de dispositifs Raspberry Pi, la décision a été prise d'adopter MQTT comme protocole de communication. Le protocole MQTT, reconnu pour sa légèreté et sa fiabilité, s'adapte parfaitement aux contraintes des applications IoT.<br />
<br />
<br />
'''Installation du broker mosquitto sur le serveur:'''<br />
<syntaxhighlight lang="shell"><br />
apt install -y mosquitto mosquitto-clients<br />
service mosquitto start<br />
</syntaxhighlight><br />
<br />
Activation de l'accès à distance au Broker Mosquitto:<br />
<br />
ajouter l'authentification par username et mot de passe<br />
<syntaxhighlight lang="shell"><br />
sudo mosquitto_passwd -c /etc/mosquitto/passwd username<br />
</syntaxhighlight><br />
après on nous demande d'entrer le mot de passe <br />
<br />
Modifier le fichier /etc/mosquitto/mosquitto.conf:<br />
<syntaxhighlight lang="shell"><br />
listener 1883 10.42.0.5<br />
#listener 1883 2001:660:4401:6050:216:3eff:fe86:cd63<br />
allow_anonymous false<br />
password_file /etc/mosquitto/passwd<br />
</syntaxhighlight><br />
<br />
Restart Mosquitto:<br />
<syntaxhighlight lang="shell"><br />
service mosquitto restart<br />
</syntaxhighlight><br />
<br />
Vérification ds logs:<br />
<syntaxhighlight lang="shell"><br />
cat /var/log/mosquitto/mosquitto.log<br />
</syntaxhighlight><br />
<br />
'''Création d'un client MQTT sur la Raspberry Pi:'''<br />
<br />
Le script mqtt_client_rpi.py joue un rôle clé dans cette architecture en facilitant la communication bidirectionnelle : il permet non seulement l'envoi des prédictions réalisées par le modèle SVM depuis la Raspberry Pi vers le serveur, mais autorise également la réception des commandes de contrôle, telles que les instructions de démarrage ou d'arrêt de la collecte de données.<br />
<br />
<syntaxhighlight lang="python"><br />
import paho.mqtt.client as mqtt<br />
import serial<br />
import pandas as pd<br />
import pickle<br />
import time<br />
<br />
<br />
<br />
MQTT_BROKER_ADDRESS = "10.42.0.5"<br />
#MQTT_BROKER_ADDRESS = "2001:660:4401:6050:216:3eff:fe86:cd63" VmHblgrimBblack<br />
MQTT_USERNAME = "username"<br />
MQTT_PASSWORD = "confidentiel"<br />
pi_id = "rpi1234"<br />
<br />
collecting_data = False <br />
<br />
client = mqtt.Client()<br />
client.username_pw_set(MQTT_USERNAME, MQTT_PASSWORD)<br />
client.connect(MQTT_BROKER_ADDRESS, 1883, 60)<br />
client.loop_start()<br />
<br />
<br />
def on_connect(client, userdata, flags, rc):<br />
print("Connected with result code " + str(rc))<br />
client.subscribe(f"config/{pi_id}")<br />
client.publish("raspberry_available", pi_id)<br />
<br />
def on_message(client, userdata, msg):<br />
global collecting_data<br />
if msg.topic == f"config/{pi_id}":<br />
command = msg.payload.decode()<br />
if command == "start":<br />
collecting_data = True<br />
elif command == "stop":<br />
collecting_data = False<br />
<br />
<br />
<br />
client.on_connect = on_connect<br />
client.on_message = on_message<br />
<br />
<br />
# Configurez le port série et chargez le modèle ici<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
with open('modele_svm.pkl', 'rb') as file:<br />
rf = pickle.load(file)<br />
try:<br />
<br />
while True:<br />
if collecting_data:<br />
data = ser.readline().decode('utf-8').rstrip()<br />
if data:<br />
try:<br />
sensor_values = [value for value in data.split(',') if value.strip().replace('.', '', 1).isdigit()]<br />
if len(sensor_values) == 16:<br />
sensor_values = list(map(float, sensor_values))<br />
sensor_values_df = pd.DataFrame([sensor_values])<br />
prediction = rf.predict(sensor_values_df)<br />
client.publish(f"telemetry/{pi_id}", str(prediction[0]).encode())<br />
print("Prédiction :", prediction[0])<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
else:<br />
time.sleep(0.1)<br />
<br />
except KeyboardInterrupt:<br />
print("Script interrompu")<br />
<br />
<br />
client.loop_stop()<br />
client.disconnect()<br />
</syntaxhighlight>Ici il y a 3 topics différents. lorsqu'une raspberry se connecte au réseau elle publie son ID (qui est unique, on peut prendre par exemple l'adresse MAC) sur le topic raspberry_available. Cela nous servira a savoir quelle raspberry est connecté et de se fait pouvoir afficher celles-ci sur notre interface web.<br />
<br />
le deuxième topic et le topic config/ID (avec id l'identifiant unique de la raspberry), il nous sert a envoyer les commandes "start" et "stop" a la raspberry afin qu'elle démarre ou arrête la lecture des datas.<br />
<br />
Le troisième topic est le topic telemetry/ID, ou la raspberry vient publier ses données.<br />
<br />
Un quatrième topic pourrait être implémenter comme par exemple le topic common_config, toutes les raspberrys serait abonnées a ce topic. S'il est nécessaire, cela nous permettrais d'envoyer la même commande a toutes les raspberry plutôt que de faire une publication sur chaque config/ID<br />
<br />
=== 6. Interface Serveur et Gestion des Données ===<br />
----Le serveur central, au cœur de notre système, est orchestré par le script <code>app.py</code> qui exploite le framework Flask pour mettre en place une interface serveur. Cette interface est conçue pour traiter efficacement les requêtes HTTP et les messages MQTT, offrant ainsi une API réactive pour l'interface utilisateur web. Elle permet également de visualiser en temps réel l'état des dispositifs Raspberry Pi connectés et les dernières données traitées.<br />
[[Fichier:Signspeakweb.png|centré|vignette|1000x1000px]]<br />
<br />
<br />
<br />
<syntaxhighlight lang="python"><br />
from flask import Flask, render_template, request, jsonify<br />
import paho.mqtt.client as mqtt<br />
import queue<br />
<br />
app = Flask(__name__)<br />
messages = []<br />
received_messages = queue.Queue()<br />
latest_message = None<br />
subscribed_topics = set()<br />
raspberry_ids = set()<br />
MQTT_BROKER_ADDRESS = "10.42.0.5"<br />
#MQTT_BROKER_ADDRESS = "2001:660:4401:6050:216:3eff:fe86:cd63" VmHblgrimBblack<br />
MQTT_USERNAME = "username"<br />
MQTT_PASSWORD = "confidentiel"<br />
<br />
<br />
mqtt_client = mqtt.Client()<br />
mqtt_client.username_pw_set(MQTT_USERNAME, MQTT_PASSWORD) <br />
mqtt_client.connect(MQTT_BROKER_ADDRESS, 1883, 60)<br />
mqtt_client.loop_start()<br />
<br />
def send_command_to_pi(pi_id, command):<br />
try:<br />
topic = f"config/{pi_id}"<br />
mqtt_client.publish(topic, command)<br />
subscribe_to_pi_telemetry(pi_id)<br />
return True, "Commande envoyée avec succès"<br />
except Exception as e:<br />
return False, f"Commande pas envoyée: Erreur MQTT : {e}"<br />
<br />
def subscribe_to_pi_telemetry(pi_id):<br />
global subscribed_topics<br />
topic = f"telemetry/{pi_id}"<br />
if topic not in subscribed_topics:<br />
mqtt_client.subscribe(topic)<br />
subscribed_topics.add(topic)<br />
<br />
def on_connect(client, userdata, flags, rc):<br />
print("Connected with result code " + str(rc))<br />
client.subscribe("raspberry_available")<br />
def on_message(client, userdata, msg):<br />
global raspberry_ids<br />
print(f"Received message on topic {msg.topic}: {msg.payload.decode()}") # Ajouter pour le débogage<br />
if msg.topic == "raspberry_available":<br />
raspberry_ids.add(msg.payload.decode())<br />
else:<br />
received_messages.put(msg.payload.decode())<br />
<br />
<br />
mqtt_client.on_connect = on_connect<br />
mqtt_client.on_message = on_message<br />
@app.route('/get-raspberry-ids')<br />
def get_raspberry_ids():<br />
return jsonify(list(raspberry_ids))<br />
@app.route('/get-latest-message')<br />
def get_latest_message():<br />
global latest_message<br />
while not received_messages.empty():<br />
messages.append(received_messages.get())<br />
<br />
latest_message = messages[-1] if messages else None<br />
<br />
print(f"Contenu de la réponse pour /get-latest-message : {latest_message}")<br />
<br />
if latest_message is not None:<br />
response = jsonify({"message": latest_message})<br />
return response<br />
else:<br />
message = "Aucun signe a traduire pour le moment"<br />
return jsonify(message)<br />
<br />
<br />
@app.route('/', methods=['GET', 'POST'])<br />
<br />
def index():<br />
global raspberry_ids<br />
error_message_rpi = None<br />
success_message = None<br />
<br />
if request.method == 'POST':<br />
pi_id = request.form.get('pi_id')<br />
command = request.form.get('command')<br />
if pi_id and command in ["start", "stop"]:<br />
success, er_message = send_command_to_pi(pi_id, command)<br />
if success:<br />
success_message = "Commande envoyée avec succès"<br />
else:<br />
error_message_rpi = er_message<br />
<br />
<br />
return render_template('index.html', raspberry_ids=list(raspberry_ids), error_message_rpi=error_message_rpi, success_message=success_message, message=latest_message)<br />
<br />
if __name__ == '__main__':<br />
app.run(debug=False, port=8066)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
=== 7. Conception de l'Interface Utilisateur ===<br />
----L'interface utilisateur, développée à l'aide des technologies web standard HTML, CSS, et JavaScript, offre une expérience interactive. Le fichier index.html constitue le point d'entrée de cette interface, proposant des fonctionnalités telles que l'envoi de commandes aux dispositifs Raspberry Pi et la visualisation des données traitées. L'utilisation de JavaScript pour interroger dynamiquement le serveur Flask permet de rafraîchir les informations affichées en temps réel, garantissant ainsi une interface réactive et à jour.<br />
<br />
<br />
<br />
index.html:<br />
<syntaxhighlight lang="html"><br />
<!DOCTYPE html><br />
<html><br />
<head><br />
<title>SignSpeak - Traducteur de Langage des Signes</title><br />
<link rel="stylesheet" href="https://stackpath.bootstrapcdn.com/bootstrap/4.3.1/css/bootstrap.min.css"><br />
<style><br />
body {<br />
background-color: #343a40; <br />
color: #ced4da; <br />
}<br />
.card {<br />
background-color: #495057; <br />
}<br />
.card-title, .card-text, .alert {<br />
color: #adb5bd; <br />
}<br />
.btn-primary {<br />
background-color: #007bff; <br />
border-color: #007bff;<br />
}<br />
.btn-danger {<br />
background-color: #dc3545; <br />
border-color: #dc3545;<br />
}<br />
.form-control {<br />
background-color: #495057; <br />
border: 1px solid #6c757d;<br />
color: #ced4da; <br />
}<br />
a, .btn-secondary {<br />
color: #17a2b8; <br />
}<br />
a:hover {<br />
color: #138496; <br />
}<br />
#latest-message {<br />
background-color: #596069; <br />
border: 1px solid #6c757d; <br />
color: #E9ECEF; <br />
padding: 10px; <br />
border-radius: 5px; <br />
}<br />
</style><br />
</head><br />
<body><br />
<div class="container mt-5"><br />
<h1 class="text-center mb-4">SignSpeak - Traducteur de Langage des Signes</h1><br />
<br />
<div class="row"><br />
<!-- Encadré pour les Raspberry Pi Disponibles --><br />
<div class="col-md-12"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Raspberry Pi Disponibles</h2><br />
<ul id="raspberry-list" class="list-group list-group-flush"><br />
<br />
</ul><br />
</div><br />
</div><br />
</div><br />
</div><br />
<br />
<div class="row"><br />
<!-- Encadré pour la Collecte des données --><br />
<div class="col-lg-6"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Collecte de données</h2><br />
<form method="post" class="form-inline"><br />
<input type="text" class="form-control mb-2 mr-sm-2" name="pi_id" placeholder="Entrez l'ID de la Raspberry Pi" required><br />
<button type="submit" class="btn btn-primary mb-2 mr-sm-2" name="command" value="start">Démarrer la Collecte</button><br />
<button type="submit" class="btn btn-danger mb-2" name="command" value="stop">Arrêter la Collecte</button><br />
</form><br />
</div><br />
</div><br />
</div><br />
<br />
<!-- Encadré pour le Dernier Message Reçu --><br />
<div class="col-lg-6"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Dernier Message Reçu</h2><br />
<div id="latest-message" class="alert alert-dark"><br />
Aucun message reçu pour le moment. <br />
</div><br />
</div><br />
</div><br />
</div><br />
</div><br />
<br />
<div class="mb-3 text-center"><br />
<a href="/logs" class="btn btn-secondary">Voir les Logs</a><br />
</div><br />
</div><br />
<script><br />
function fetchRaspberryIds() {<br />
var xhr = new XMLHttpRequest();<br />
xhr.onreadystatechange = function() {<br />
if (xhr.readyState == XMLHttpRequest.DONE) {<br />
if (xhr.status == 200) {<br />
var ids = JSON.parse(xhr.responseText);<br />
var list = document.getElementById('raspberry-list');<br />
list.innerHTML = '';<br />
ids.forEach(function(id) {<br />
var li = document.createElement('li');<br />
li.textContent = id;<br />
list.appendChild(li);<br />
});<br />
}<br />
}<br />
}<br />
xhr.open('GET', '/get-raspberry-ids', true);<br />
xhr.send();<br />
}<br />
<br />
function fetchLatestMessage() {<br />
var xhr = new XMLHttpRequest();<br />
xhr.onreadystatechange = function() {<br />
if (xhr.readyState == XMLHttpRequest.DONE) {<br />
if (xhr.status == 200) {<br />
console.log(xhr.responseText)<br />
document.getElementById('latest-message').textContent = xhr.responseText;<br />
}<br />
}<br />
}<br />
xhr.open('GET', '/get-latest-message', true);<br />
xhr.send();<br />
}<br />
<br />
setInterval(fetchRaspberryIds, 5000); // Met à jour les IDs toutes les 5 secondes<br />
setInterval(fetchLatestMessage, 500); // Met à jour le dernier message toutes les secondes<br />
</script><br />
<br />
<br />
<br />
{% if error_message_rpi %}<br />
<script><br />
alert("{{ error_message_rpi }}");<br />
</script><br />
{% endif %}<br />
<br />
{% if success_message %}<br />
<script><br />
alert("{{ success_message }}");<br />
</script><br />
{% endif %}<br />
</body><br />
</html><br />
<br />
</syntaxhighlight>On a aussi ajouté une page de logs, qui permet de voir l'historique de tous les données traitées.<br />
<br />
=== 9. Conclusion et Perspectives ===<br />
----SignSpeak représente une avancée significative dans le domaine de la traduction du langage des signes. Ce projet non seulement démont<br />
<br />
En conclusion, notre projet a vu la mise en place d'une infrastructure qui permet de facilité interaction entre les serveurs et les Raspberry Pi, notamment pour le démarrage et l'arrêt de la collecte de données, ainsi que pour l'envoi d'instructions d'entraînement spécifiques. Bien que nous ayons entamé le développement des fonctionnalités d'entraînement, permettant à l'utilisateur de spécifier depuis l'interface web l'identifiant de la Raspberry Pi et la lettre à entraîner, cette partie n'a pas pu être totalement finalisée dans le temps imparti.<br />
<br />
Pour le processus d'entraînement, l'idée était que la Raspberry Pi reçoit la lettre depuis le serveur,après il initie la collecte des données à partir du module STM32, stocke ces données dans un fichier CSV et génère le fichier .pkl correspondant au modèle d'intelligence artificielle. Parallèlement, pour la gestion des données brutes, la Raspberry Pi recçoit la lettre et devait transmettre les informations collectées au serveur, qui aurait alors pour tâche de les stocker également sous forme de fichier CSV et de générer le fichier .pkl nécessaire à l'application de l'intelligence artificielle.<br />
<br />
Les perspectives d'évolution de ce projet sont multiples. Elles incluent la finalisation de la fonctionnalité d'entraînement pour permettre une interaction complète et efficace dans la préparation des modèles d'intelligence artificielle directement depuis l'interface web. De plus, l'amélioration de la gestion des données brutes pour optimiser le stockage et le traitement sur le serveur ouvrirait la voie à des analyses plus poussées et à une meilleure performance des modèles générés. Enfin, l'extension de cette infrastructure à un plus grand nombre de Raspberry Pi et l'intégration de fonctionnalités supplémentaires pourraient transformer ce projet en une solution robuste et scalable pour diverses applications nécessitant la collecte et l'analyse de données en temps réel.[[Fichier:SignEntrainement.png|centré|vignette|1000x1000px]]<br />
<br />
== Vidéo ==<br />
Lorsque l'on clique sur "démarrer la collecte" en ayant spécifié un ID, on peut voir en temps réel le résultat dans le cadre Dernier Message Recu.<br />
<br />
[[Fichier:RPReplay_Final1706462779.mov|sans_cadre]]<br />
[[Fichier:Capture d’écran 2024-01-29 à 15.43.56.png|néant|vignette]]<br />
[[Fichier:Capture d’écran 2024-01-29 à 15.45.25.png|néant|vignette]]<br />
<br />
== Déroulement des séances ==<br />
<br />
==Séance du 04/12/2023==<br />
===Création de la machine virtuelle===<br />
Création d'une machine virtuelle sur le serveur chassiron :<br />
<br />
<code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code><br />
<br />
[[Fichier:IfconfigVM.png|sans_cadre]]<br />
===Raspberry-Pi===<br />
[[Fichier:Capture d’écran 2024-01-28 à 19.07.42.png|néant|vignette]]<br />
<br />
<br />
'''<big>Capteurs</big>'''<br />
<br />
pas de capteurs lors de la première séance<br />
<br />
== Séance du 18/12/2023 ==<br />
<br />
=== Sur la VM ===<br />
script serveur.py<br />
<br />
=== sur la raspberry ===<br />
script client.py<br />
<br />
lecture sur l'uart des données envoyés par le stm32<br />
<br />
envoie au serveur (tcp)<br />
<br />
<br />
=== sur le capteur ===<br />
pris ene main du capteur, mettre le code,<br />
<br />
== Séance du 19/12/2023 et du 20/12/2023 ==<br />
utilisation de la bibliothèque sciait-learn pour l'apprentissage automatique. Nous avons décidé que le but de notre application serait de traduire le langage des signes.<br />
<br />
Pour cela nous avons entrainé notre modèle avec quelques signes, comme la lettre A, B ou C et des chiffres 1, 2 et 3 pour commencer.<br />
<br />
//mettre screen des résultats entrainement.py et test.py<br />
<br />
Les résultats sont satisfaisants mais avec quelques erreurs, la prochaine étape est donc d'améliorer notre algorithme d'apprentissage (pour l'instant on utilise l'algorithme des k plus proches voisins), pour cela nous allons rajouter par exemple du filtrage et tester d'autres algo d'apprentissage automatique<br />
<br />
Coté serveur:<br />
<br />
Création d'un serveur web, afin de lire les données qui proviennet depuis la raspberrypi et les afficher.<br />
<br />
<br />
'''<big>Mise en Place de l'algorithme d'apprentissage</big>'''<br />
<br />
nous avons tester plusieurs méthode d'apprentissage comme la '''Méthode des k plus proches voisins''' (K-Neighbour) ou encore '''forêt aléatoire''' Random forest.<br />
<br />
'''Random Forest'''</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=Fichier:Capture_d%E2%80%99%C3%A9cran_2024-01-29_%C3%A0_15.45.25.png&diff=4987Fichier:Capture d’écran 2024-01-29 à 15.45.25.png2024-01-29T14:48:51Z<p>Bblack : </p>
<hr />
<div>Capture d’écran 2024-01-29 à 15.45.25</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=Fichier:Capture_d%E2%80%99%C3%A9cran_2024-01-29_%C3%A0_15.43.56.png&diff=4986Fichier:Capture d’écran 2024-01-29 à 15.43.56.png2024-01-29T14:47:34Z<p>Bblack : </p>
<hr />
<div>Capture d’écran 2024-01-29 à 15.43.56</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_ECEAI/eceai_2023/2024/black-blgrim&diff=4908SE5 ECEAI/eceai 2023/2024/black-blgrim2024-01-28T18:19:22Z<p>Bblack : /* 7. Conception de l'Interface Utilisateur */</p>
<hr />
<div>=Compte rendu des séances=<br />
==Séance du 04/12/2023==<br />
===Création de la machine virtuelle===<br />
Création d'une machine virtuelle sur le serveur chassiron :<br />
<br />
<code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code><br />
<br />
[[Fichier:IfconfigVM.png|sans_cadre]]<br />
===Raspberry-Pi===<br />
[[Fichier:Capture d’écran 2024-01-28 à 19.07.42.png|néant|vignette]]<br />
<br />
<br />
'''<big>Capteurs</big>'''<br />
<br />
pas de capteurs lors de la première séance<br />
<br />
== Séance du 18/12/2023 ==<br />
<br />
=== Sur la VM ===<br />
script serveur.py<br />
<br />
=== sur la raspberry ===<br />
script client.py<br />
<br />
lecture sur l'uart des données envoyés par le stm32<br />
<br />
envoie au serveur (tcp)<br />
<br />
<br />
=== sur le capteur ===<br />
pris ene main du capteur, mettre le code,<br />
<br />
== Séance du 19/12/2023 et du 20/12/2023 ==<br />
utilisation de la bibliothèque sciait-learn pour l'apprentissage automatique. Nous avons décidé que le but de notre application serait de traduire le langage des signes.<br />
<br />
Pour cela nous avons entrainé notre modèle avec quelques signes, comme la lettre A, B ou C et des chiffres 1, 2 et 3 pour commencer.<br />
<br />
//mettre screen des résultats entrainement.py et test.py<br />
<br />
Les résultats sont satisfaisants mais avec quelques erreurs, la prochaine étape est donc d'améliorer notre algorithme d'apprentissage (pour l'instant on utilise l'algorithme des k plus proches voisins), pour cela nous allons rajouter par exemple du filtrage et tester d'autres algo d'apprentissage automatique<br />
<br />
Coté serveur:<br />
<br />
Création d'un serveur web, afin de lire les données qui proviennet depuis la raspberrypi et les afficher.<br />
<br />
<br />
'''<big>Mise en Place de l'algorithme d'apprentissage</big>'''<br />
<br />
nous avons tester plusieurs méthode d'apprentissage comme la '''Méthode des k plus proches voisins''' (K-Neighbour) ou encore '''forêt aléatoire''' Random forest.<br />
<br />
'''Random Forest'''<br />
<br />
<br />
<br />
== '''Présentation du projet''' ==<br />
<br />
=== 1. Introduction ===<br />
----Le projet SignSpeak a pour ambition de créer une solution innovante pour la traduction du langage des signes en texte. L'objectif principal est de développer un système capable de capturer les mouvements des mains et de les interpréter en langage des signes, permettant une communication fluide entre les personnes sourdes ou malentendantes et celles qui ne connaissent pas le langage des signes. Ce projet intègre des technologies avancées telles que l'edge computing, l'intelligence artificielle embarquée, et les communications MQTT, offrant une approche novatrice dans le domaine de l'accessibilité et de la communication.<br />
<br />
=== 2. Architecture du Système ===<br />
----Notre solution repose sur une architecture intégrée impliquant plusieurs composants clés :<br />
<br />
* '''Capteurs et STM32''' : Des capteurs sont connectés à un microcontrôleur STM32, responsables de la capture des mouvements de main. Ces données sont ensuite transmises pour traitement.<br />
* '''Raspberry Pi''' : Agissant comme un intermédiaire, la Raspberry Pi reçoit les données des capteurs via UART, exécute un traitement préliminaire et communique avec le serveur.<br />
* '''Serveur et Machine Learning''' : Un serveur, hébergé sur une VM Xen, traite les données à l'aide d'un modèle SVM pour la traduction en langage des signes et fournit une interface web pour l'interaction utilisateur.<br />
*<br />
<br />
=== 3. Collecte et Préparation des Données ===<br />
----Le processus de collecte des données est géré par le script <code>enregistrementData.py</code>. Ce script lit les données transmises par le STM32 via UART et les enregistre dans un fichier CSV. Chaque entrée du fichier représente les valeurs de capteurs à un moment donné, accompagnées d'une étiquette correspondant au signe effectué. Cette approche assure une collecte de données structurée, essentielle pour l'entraînement précis du modèle d'apprentissage automatique.<syntaxhighlight lang="python"><br />
import serial<br />
import csv<br />
import sys<br />
import time<br />
<br />
# Vérification de l'argument d'entrée<br />
if len(sys.argv) < 2:<br />
print("Usage: python script.py <etiquette>")<br />
sys.exit(1)<br />
<br />
etiquette = sys.argv[1]<br />
<br />
# Paramètres de l'UART<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
<br />
# Créer une connexion UART<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
<br />
# Nom du fichier CSV<br />
filename = f"data_complete.csv"<br />
<br />
# Vérifier si le fichier existe déjà<br />
file_exists = False<br />
try:<br />
with open(filename, 'r') as f:<br />
file_exists = True<br />
except FileNotFoundError:<br />
file_exists = False<br />
<br />
# Ouvrir le fichier CSV en mode append<br />
with open(filename, 'a', newline='') as file:<br />
writer = csv.writer(file)<br />
<br />
# Écrire l'en-tête si le fichier n'existait pas<br />
if not file_exists:<br />
writer.writerow(["Capteur1", "Capteur2", "Capteur3", "Capteur4", "Capteur5", "Capteur6", "Capteur7", "Capteur8", "Capteur9", "Capteur10", "Capteur11", "Capteur12", "Capteur13", "Capteur14", <br />
"Capteur15", "Capteur16", "Etiquette"])<br />
elif file_exists:<br />
writer.writerow([])<br />
while True:<br />
# Lire une ligne de données depuis l'UART<br />
data = ser.readline().decode('utf-8').rstrip()<br />
print(f"Données reçues : '{data}'")<br />
<br />
# Vérifier si des données ont été reçues<br />
if data:<br />
# Diviser les données en valeurs individuelles<br />
sensor_values = data.split(',')<br />
<br />
# Filtrer les chaînes vides ou non numériques et convertir en flottants<br />
try:<br />
sensor_values = [float(value) for value in sensor_values if value.strip().isdigit()]<br />
<br />
# Vérifier qu'il y a 16 valeurs de capteur<br />
if len(sensor_values) == 16:<br />
sensor_values.append(etiquette)<br />
writer.writerow(sensor_values)<br />
else:<br />
print("Données incomplètes reçues")<br />
<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
print(f"Données problématiques : '{data}'")<br />
<br />
time.sleep(0.1)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
* Le script commence par établir une communication série avec le STM32.<br />
* Il lit ensuite les données en série, les décode et les stocke dans un fichier CSV pour une utilisation ultérieure.<br />
<br />
* Une fois les données collectées et stockées dans le fichier CSV, elles sont préparées pour l'entraînement du modèle.<br />
* Cette préparation implique la normalisation des données, la gestion des valeurs manquantes ou aberrantes, et leur formatage dans un bon format.[[Fichier:Rpi entrainement.png|vignette|1000x1000px|néant]]<br />
=== 4. Entraînement du Modèle d'Apprentissage Automatique ===<br />
----L'entraînement du modèle est réalisé par un script Python utilisant la bibliothèque scikit-learn. Le modèle SVM, choisi pour sa capacité à gérer des espaces de grande dimension, est entraîné sur l'ensemble des données collectées. Ce processus comprend la division des données en ensembles d'entraînement et de test, l'entraînement du modèle, et sa validation par le calcul de la précision. Nous avions testé plusieurs modèle, comme par exemple un modèle Knn ou randomForest, des 3 algorithmes, c'est celui qui nous à apporté les meilleurs résultats pour un meme nombre de data d'entrainement. (RandomForest en deuxième position)<syntaxhighlight lang="python"><br />
import pandas as pd<br />
from sklearn.model_selection import train_test_split<br />
from sklearn.svm import SVC<br />
from sklearn.metrics import accuracy_score<br />
import pickle<br />
<br />
# Charger vos données<br />
data = pd.read_csv('data_complete.csv')<br />
<br />
# Séparer les caractéristiques et les étiquettes<br />
X = data.drop('Etiquette', axis=1)<br />
y = data['Etiquette']<br />
<br />
# Diviser les données en ensembles d'entraînement et de test<br />
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)<br />
<br />
# Créer et entraîner le modèle SVM<br />
model = SVC(kernel='rbf')<br />
model.fit(X_train, y_train)<br />
<br />
# Sauvegarder le modèle entraîné<br />
with open('modele_svm.pkl', 'wb') as file:<br />
pickle.dump(model, file)<br />
<br />
# Charger le modèle et faire des prédictions<br />
with open('modele_svm.pkl', 'rb') as file:<br />
loaded_model = pickle.load(file)<br />
predictions = loaded_model.predict(X_test)<br />
print("Précision :", accuracy_score(y_test, predictions))<br />
<br />
</syntaxhighlight><br />
<br />
# '''Séparation des Données''':<br />
#* Les données sont divisées en deux ensembles : un ensemble d'entraînement et un ensemble de test. Cette séparation est cruciale pour évaluer objectivement la performance du modèle.<br />
#* Généralement, on adopte une répartition de 80% pour l'entraînement et 20% pour les tests.<br />
# '''Entraînement du Modèle SVM''':<br />
#* Le modèle SVM avec un noyau RBF (Radial Basis Function) est entraîné sur l'ensemble d'entraînement.<br />
#* L'entraînement implique l'ajustement du modèle aux données d'entraînement, en apprenant à distinguer les différents signes.<br />
# '''Sauvegarde et Réutilisation du Modèle'''<br />
#* Une fois entraîné et validé, le modèle est sauvegardé à l'aide de la bibliothèque <code>pickle</code><br />
# '''Validation et Évaluation du Modèle''':<br />
#* Après l'entraînement, le modèle est testé sur l'ensemble de test pour évaluer sa performance.<br />
#* La métrique principale utilisée est la précision, qui mesure la proportion de prédictions correctes par rapport au total des prédictions.<br />
<br />
Ensuite on peut générer le modèle comme ceci:<br />
[[Fichier:Generate model.png|vignette|399x399px|néant]]<br />
<br />
Avec cette prédiction lorsque notre modèle prédit le résultat, il est correct environ 71.81% du temps.<br />
<br />
=== 5. Intégration MQTT et Communication ===<br />
----Protocole de communication :<br />
<br />
Dans le cadre de notre projet, la communication entre les dispositifs Raspberry Pi et le serveur est établie via le protocole MQTT.<br />
<br />
Justification du Choix de MQTT :<br />
<br />
Au début du projet, une approche basée sur des sockets IPv6 avait été envisagée pour tirer parti de l'adressage direct et de la simplification de la configuration réseau qu'offre IPv6. Cependant, dans le but de respecter les impératifs de sobriété énergétique et d'assurer une scalabilité optimale du système, permettant ainsi de gérer aisément un nombre croissant de dispositifs Raspberry Pi, la décision a été prise d'adopter MQTT comme protocole de communication. Le protocole MQTT, reconnu pour sa légèreté et sa fiabilité, s'adapte parfaitement aux contraintes des applications IoT.<br />
<br />
<br />
'''Installation du broker mosquitto sur le serveur:'''<br />
<syntaxhighlight lang="shell"><br />
apt install -y mosquitto mosquitto-clients<br />
service mosquitto start<br />
</syntaxhighlight><br />
<br />
Activation de l'accès à distance au Broker Mosquitto:<br />
<br />
ajouter l'authentification par username et mot de passe<br />
<syntaxhighlight lang="shell"><br />
sudo mosquitto_passwd -c /etc/mosquitto/passwd username<br />
</syntaxhighlight><br />
après on nous demande d'entrer le mot de passe <br />
<br />
Modifier le fichier /etc/mosquitto/mosquitto.conf:<br />
<syntaxhighlight lang="shell"><br />
listener 1883 10.42.0.5<br />
allow_anonymous false<br />
password_file /etc/mosquitto/passwd<br />
</syntaxhighlight><br />
<br />
Restart Mosquitto:<br />
<syntaxhighlight lang="shell"><br />
service mosquitto restart<br />
</syntaxhighlight><br />
<br />
Vérification ds logs:<br />
<syntaxhighlight lang="shell"><br />
cat /var/log/mosquitto/mosquitto.log<br />
</syntaxhighlight><br />
<br />
'''Création d'un client MQTT sur la Raspberry Pi:'''<br />
<br />
Le script mqtt_client_rpi.py joue un rôle clé dans cette architecture en facilitant la communication bidirectionnelle : il permet non seulement l'envoi des prédictions réalisées par le modèle SVM depuis la Raspberry Pi vers le serveur, mais autorise également la réception des commandes de contrôle, telles que les instructions de démarrage ou d'arrêt de la collecte de données.<br />
<br />
<syntaxhighlight lang="python"><br />
import paho.mqtt.client as mqtt<br />
import serial<br />
import pandas as pd<br />
import pickle<br />
import time<br />
<br />
<br />
<br />
MQTT_BROKER_ADDRESS = "10.42.0.5"<br />
MQTT_USERNAME = "username"<br />
MQTT_PASSWORD = "confidentiel"<br />
pi_id = "rpi1234"<br />
<br />
collecting_data = False <br />
<br />
client = mqtt.Client()<br />
client.username_pw_set(MQTT_USERNAME, MQTT_PASSWORD)<br />
client.connect(MQTT_BROKER_ADDRESS, 1883, 60)<br />
client.loop_start()<br />
<br />
<br />
def on_connect(client, userdata, flags, rc):<br />
print("Connected with result code " + str(rc))<br />
client.subscribe(f"config/{pi_id}")<br />
client.publish("raspberry_available", pi_id)<br />
<br />
def on_message(client, userdata, msg):<br />
global collecting_data<br />
if msg.topic == f"config/{pi_id}":<br />
command = msg.payload.decode()<br />
if command == "start":<br />
collecting_data = True<br />
elif command == "stop":<br />
collecting_data = False<br />
<br />
<br />
<br />
client.on_connect = on_connect<br />
client.on_message = on_message<br />
<br />
<br />
# Configurez le port série et chargez le modèle ici<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
with open('modele_svm.pkl', 'rb') as file:<br />
rf = pickle.load(file)<br />
try:<br />
<br />
while True:<br />
if collecting_data:<br />
data = ser.readline().decode('utf-8').rstrip()<br />
if data:<br />
try:<br />
sensor_values = [value for value in data.split(',') if value.strip().replace('.', '', 1).isdigit()]<br />
if len(sensor_values) == 16:<br />
sensor_values = list(map(float, sensor_values))<br />
sensor_values_df = pd.DataFrame([sensor_values])<br />
prediction = rf.predict(sensor_values_df)<br />
client.publish(f"telemetry/{pi_id}", str(prediction[0]).encode())<br />
print("Prédiction :", prediction[0])<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
else:<br />
time.sleep(0.1)<br />
<br />
except KeyboardInterrupt:<br />
print("Script interrompu")<br />
<br />
<br />
client.loop_stop()<br />
client.disconnect()<br />
</syntaxhighlight>Ici il y a 3 topics différents. lorsqu'une raspberry se connecte au réseau elle publie son ID (qui est unique, on peut prendre par exemple l'adresse MAC) sur le topic raspberry_available. Cela nous servira a savoir quelle raspberry est connecté et de se fait pouvoir afficher celles-ci sur notre interface web.<br />
<br />
le deuxième topic et le topic config/ID (avec id l'identifiant unique de la raspberry), il nous sert a envoyer les commandes "start" et "stop" a la raspberry afin qu'elle démarre ou arrête la lecture des datas.<br />
<br />
Le troisième topic est le topic telemetry/ID, ou la raspberry vient publier ses données.<br />
<br />
Un quatrième topic pourrait être implémenter comme par exemple le topic common_config, toutes les raspberrys serait abonnées a ce topic. S'il est nécessaire, cela nous permettrais d'envoyer la même commande a toutes les raspberry plutôt que de faire une publication sur chaque config/ID <br />
<br />
=== 6. Interface Serveur et Gestion des Données ===<br />
----Le serveur central, au cœur de notre système, est orchestré par le script <code>app.py</code> qui exploite le framework Flask pour mettre en place une interface serveur. Cette interface est conçue pour traiter efficacement les requêtes HTTP et les messages MQTT, offrant ainsi une API réactive pour l'interface utilisateur web. Elle permet également de visualiser en temps réel l'état des dispositifs Raspberry Pi connectés et les dernières données traitées.<br />
[[Fichier:Signspeakweb.png|centré|vignette|1000x1000px]]<br />
<br />
<br />
<br />
<syntaxhighlight lang="python"><br />
from flask import Flask, render_template, request, jsonify<br />
import paho.mqtt.client as mqtt<br />
import queue<br />
<br />
app = Flask(__name__)<br />
messages = []<br />
received_messages = queue.Queue()<br />
latest_message = None<br />
subscribed_topics = set()<br />
raspberry_ids = set()<br />
MQTT_BROKER_ADDRESS = "10.42.0.5"<br />
MQTT_USERNAME = "username"<br />
MQTT_PASSWORD = "confidentiel"<br />
<br />
<br />
mqtt_client = mqtt.Client()<br />
mqtt_client.username_pw_set(MQTT_USERNAME, MQTT_PASSWORD) <br />
mqtt_client.connect(MQTT_BROKER_ADDRESS, 1883, 60)<br />
mqtt_client.loop_start()<br />
<br />
def send_command_to_pi(pi_id, command):<br />
try:<br />
topic = f"config/{pi_id}"<br />
mqtt_client.publish(topic, command)<br />
subscribe_to_pi_telemetry(pi_id)<br />
return True, "Commande envoyée avec succès"<br />
except Exception as e:<br />
return False, f"Commande pas envoyée: Erreur MQTT : {e}"<br />
<br />
def subscribe_to_pi_telemetry(pi_id):<br />
global subscribed_topics<br />
topic = f"telemetry/{pi_id}"<br />
if topic not in subscribed_topics:<br />
mqtt_client.subscribe(topic)<br />
subscribed_topics.add(topic)<br />
<br />
def on_connect(client, userdata, flags, rc):<br />
print("Connected with result code " + str(rc))<br />
client.subscribe("raspberry_available")<br />
def on_message(client, userdata, msg):<br />
global raspberry_ids<br />
print(f"Received message on topic {msg.topic}: {msg.payload.decode()}") # Ajouter pour le débogage<br />
if msg.topic == "raspberry_available":<br />
raspberry_ids.add(msg.payload.decode())<br />
else:<br />
received_messages.put(msg.payload.decode())<br />
<br />
<br />
mqtt_client.on_connect = on_connect<br />
mqtt_client.on_message = on_message<br />
@app.route('/get-raspberry-ids')<br />
def get_raspberry_ids():<br />
return jsonify(list(raspberry_ids))<br />
@app.route('/get-latest-message')<br />
def get_latest_message():<br />
global latest_message<br />
while not received_messages.empty():<br />
messages.append(received_messages.get())<br />
<br />
latest_message = messages[-1] if messages else None<br />
<br />
print(f"Contenu de la réponse pour /get-latest-message : {latest_message}")<br />
<br />
if latest_message is not None:<br />
response = jsonify({"message": latest_message})<br />
return response<br />
else:<br />
message = "Aucun signe a traduire pour le moment"<br />
return jsonify(message)<br />
<br />
<br />
@app.route('/', methods=['GET', 'POST'])<br />
<br />
def index():<br />
global raspberry_ids<br />
error_message_rpi = None<br />
success_message = None<br />
<br />
if request.method == 'POST':<br />
pi_id = request.form.get('pi_id')<br />
command = request.form.get('command')<br />
if pi_id and command in ["start", "stop"]:<br />
success, er_message = send_command_to_pi(pi_id, command)<br />
if success:<br />
success_message = "Commande envoyée avec succès"<br />
else:<br />
error_message_rpi = er_message<br />
<br />
<br />
return render_template('index.html', raspberry_ids=list(raspberry_ids), error_message_rpi=error_message_rpi, success_message=success_message, message=latest_message)<br />
<br />
if __name__ == '__main__':<br />
app.run(debug=False, port=8066)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
=== 7. Conception de l'Interface Utilisateur ===<br />
----L'interface utilisateur, développée à l'aide des technologies web standard HTML, CSS, et JavaScript, offre une expérience interactive. Le fichier index.html constitue le point d'entrée de cette interface, proposant des fonctionnalités telles que l'envoi de commandes aux dispositifs Raspberry Pi et la visualisation des données traitées. L'utilisation de JavaScript pour interroger dynamiquement le serveur Flask permet de rafraîchir les informations affichées en temps réel, garantissant ainsi une interface réactive et à jour.<br />
<br />
<br />
<br />
index.html:<br />
<syntaxhighlight lang="html"><br />
<!DOCTYPE html><br />
<html><br />
<head><br />
<title>SignSpeak - Traducteur de Langage des Signes</title><br />
<link rel="stylesheet" href="https://stackpath.bootstrapcdn.com/bootstrap/4.3.1/css/bootstrap.min.css"><br />
<style><br />
body {<br />
background-color: #343a40; <br />
color: #ced4da; <br />
}<br />
.card {<br />
background-color: #495057; <br />
}<br />
.card-title, .card-text, .alert {<br />
color: #adb5bd; <br />
}<br />
.btn-primary {<br />
background-color: #007bff; <br />
border-color: #007bff;<br />
}<br />
.btn-danger {<br />
background-color: #dc3545; <br />
border-color: #dc3545;<br />
}<br />
.form-control {<br />
background-color: #495057; <br />
border: 1px solid #6c757d;<br />
color: #ced4da; <br />
}<br />
a, .btn-secondary {<br />
color: #17a2b8; <br />
}<br />
a:hover {<br />
color: #138496; <br />
}<br />
#latest-message {<br />
background-color: #596069; <br />
border: 1px solid #6c757d; <br />
color: #E9ECEF; <br />
padding: 10px; <br />
border-radius: 5px; <br />
}<br />
</style><br />
</head><br />
<body><br />
<div class="container mt-5"><br />
<h1 class="text-center mb-4">SignSpeak - Traducteur de Langage des Signes</h1><br />
<br />
<div class="row"><br />
<!-- Encadré pour les Raspberry Pi Disponibles --><br />
<div class="col-md-12"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Raspberry Pi Disponibles</h2><br />
<ul id="raspberry-list" class="list-group list-group-flush"><br />
<br />
</ul><br />
</div><br />
</div><br />
</div><br />
</div><br />
<br />
<div class="row"><br />
<!-- Encadré pour la Collecte des données --><br />
<div class="col-lg-6"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Collecte de données</h2><br />
<form method="post" class="form-inline"><br />
<input type="text" class="form-control mb-2 mr-sm-2" name="pi_id" placeholder="Entrez l'ID de la Raspberry Pi" required><br />
<button type="submit" class="btn btn-primary mb-2 mr-sm-2" name="command" value="start">Démarrer la Collecte</button><br />
<button type="submit" class="btn btn-danger mb-2" name="command" value="stop">Arrêter la Collecte</button><br />
</form><br />
</div><br />
</div><br />
</div><br />
<br />
<!-- Encadré pour le Dernier Message Reçu --><br />
<div class="col-lg-6"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Dernier Message Reçu</h2><br />
<div id="latest-message" class="alert alert-dark"><br />
Aucun message reçu pour le moment. <br />
</div><br />
</div><br />
</div><br />
</div><br />
</div><br />
<br />
<div class="mb-3 text-center"><br />
<a href="/logs" class="btn btn-secondary">Voir les Logs</a><br />
</div><br />
</div><br />
<script><br />
function fetchRaspberryIds() {<br />
var xhr = new XMLHttpRequest();<br />
xhr.onreadystatechange = function() {<br />
if (xhr.readyState == XMLHttpRequest.DONE) {<br />
if (xhr.status == 200) {<br />
var ids = JSON.parse(xhr.responseText);<br />
var list = document.getElementById('raspberry-list');<br />
list.innerHTML = '';<br />
ids.forEach(function(id) {<br />
var li = document.createElement('li');<br />
li.textContent = id;<br />
list.appendChild(li);<br />
});<br />
}<br />
}<br />
}<br />
xhr.open('GET', '/get-raspberry-ids', true);<br />
xhr.send();<br />
}<br />
<br />
function fetchLatestMessage() {<br />
var xhr = new XMLHttpRequest();<br />
xhr.onreadystatechange = function() {<br />
if (xhr.readyState == XMLHttpRequest.DONE) {<br />
if (xhr.status == 200) {<br />
console.log(xhr.responseText)<br />
document.getElementById('latest-message').textContent = xhr.responseText;<br />
}<br />
}<br />
}<br />
xhr.open('GET', '/get-latest-message', true);<br />
xhr.send();<br />
}<br />
<br />
setInterval(fetchRaspberryIds, 5000); // Met à jour les IDs toutes les 5 secondes<br />
setInterval(fetchLatestMessage, 500); // Met à jour le dernier message toutes les secondes<br />
</script><br />
<br />
<br />
<br />
{% if error_message_rpi %}<br />
<script><br />
alert("{{ error_message_rpi }}");<br />
</script><br />
{% endif %}<br />
<br />
{% if success_message %}<br />
<script><br />
alert("{{ success_message }}");<br />
</script><br />
{% endif %}<br />
</body><br />
</html><br />
<br />
</syntaxhighlight>On a aussi ajouté une page de logs, qui permet de voir l'historique de tous les données traitées.<br />
<br />
=== 9. Conclusion et Perspectives ===<br />
----SignSpeak représente une avancée significative dans le domaine de la traduction du langage des signes. Ce projet non seulement démont<br />
<br />
== Vidéo ==<br />
Lorsque l'on clique sur "démarrer la collecte" en ayant spécifié un ID, on peut voir en temps réel le résultat dans le cadre Dernier Message Recu.<br />
<br />
[[Fichier:RPReplay_Final1706462779.mov|sans_cadre]]<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
== Déroulement des séances ==<br />
<br />
==Séance du 04/12/2023==<br />
===Création de la machine virtuelle===<br />
Création d'une machine virtuelle sur le serveur chassiron :<br />
<br />
<code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code><br />
<br />
[[Fichier:IfconfigVM.png|sans_cadre]]<br />
===Raspberry-Pi===<br />
[[Fichier:Capture d’écran 2024-01-28 à 19.07.42.png|néant|vignette]]<br />
<br />
<br />
'''<big>Capteurs</big>'''<br />
<br />
pas de capteurs lors de la première séance<br />
<br />
== Séance du 18/12/2023 ==<br />
<br />
=== Sur la VM ===<br />
script serveur.py<br />
<br />
=== sur la raspberry ===<br />
script client.py<br />
<br />
lecture sur l'uart des données envoyés par le stm32<br />
<br />
envoie au serveur (tcp)<br />
<br />
<br />
=== sur le capteur ===<br />
pris ene main du capteur, mettre le code,<br />
<br />
== Séance du 19/12/2023 et du 20/12/2023 ==<br />
utilisation de la bibliothèque sciait-learn pour l'apprentissage automatique. Nous avons décidé que le but de notre application serait de traduire le langage des signes.<br />
<br />
Pour cela nous avons entrainé notre modèle avec quelques signes, comme la lettre A, B ou C et des chiffres 1, 2 et 3 pour commencer.<br />
<br />
//mettre screen des résultats entrainement.py et test.py<br />
<br />
Les résultats sont satisfaisants mais avec quelques erreurs, la prochaine étape est donc d'améliorer notre algorithme d'apprentissage (pour l'instant on utilise l'algorithme des k plus proches voisins), pour cela nous allons rajouter par exemple du filtrage et tester d'autres algo d'apprentissage automatique<br />
<br />
Coté serveur:<br />
<br />
Création d'un serveur web, afin de lire les données qui proviennet depuis la raspberrypi et les afficher.<br />
<br />
<br />
'''<big>Mise en Place de l'algorithme d'apprentissage</big>'''<br />
<br />
nous avons tester plusieurs méthode d'apprentissage comme la '''Méthode des k plus proches voisins''' (K-Neighbour) ou encore '''forêt aléatoire''' Random forest.<br />
<br />
'''Random Forest'''</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_ECEAI/eceai_2023/2024/black-blgrim&diff=4903SE5 ECEAI/eceai 2023/2024/black-blgrim2024-01-28T18:15:47Z<p>Bblack : /* 7. Conception de l'Interface Utilisateur */</p>
<hr />
<div>=Compte rendu des séances=<br />
==Séance du 04/12/2023==<br />
===Création de la machine virtuelle===<br />
Création d'une machine virtuelle sur le serveur chassiron :<br />
<br />
<code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code><br />
<br />
[[Fichier:IfconfigVM.png|sans_cadre]]<br />
===Raspberry-Pi===<br />
[[Fichier:Capture d’écran 2024-01-28 à 19.07.42.png|néant|vignette]]<br />
<br />
<br />
'''<big>Capteurs</big>'''<br />
<br />
pas de capteurs lors de la première séance<br />
<br />
== Séance du 18/12/2023 ==<br />
<br />
=== Sur la VM ===<br />
script serveur.py<br />
<br />
=== sur la raspberry ===<br />
script client.py<br />
<br />
lecture sur l'uart des données envoyés par le stm32<br />
<br />
envoie au serveur (tcp)<br />
<br />
<br />
=== sur le capteur ===<br />
pris ene main du capteur, mettre le code,<br />
<br />
== Séance du 19/12/2023 et du 20/12/2023 ==<br />
utilisation de la bibliothèque sciait-learn pour l'apprentissage automatique. Nous avons décidé que le but de notre application serait de traduire le langage des signes.<br />
<br />
Pour cela nous avons entrainé notre modèle avec quelques signes, comme la lettre A, B ou C et des chiffres 1, 2 et 3 pour commencer.<br />
<br />
//mettre screen des résultats entrainement.py et test.py<br />
<br />
Les résultats sont satisfaisants mais avec quelques erreurs, la prochaine étape est donc d'améliorer notre algorithme d'apprentissage (pour l'instant on utilise l'algorithme des k plus proches voisins), pour cela nous allons rajouter par exemple du filtrage et tester d'autres algo d'apprentissage automatique<br />
<br />
Coté serveur:<br />
<br />
Création d'un serveur web, afin de lire les données qui proviennet depuis la raspberrypi et les afficher.<br />
<br />
<br />
'''<big>Mise en Place de l'algorithme d'apprentissage</big>'''<br />
<br />
nous avons tester plusieurs méthode d'apprentissage comme la '''Méthode des k plus proches voisins''' (K-Neighbour) ou encore '''forêt aléatoire''' Random forest.<br />
<br />
'''Random Forest'''<br />
<br />
<br />
<br />
== '''Présentation du projet''' ==<br />
<br />
=== 1. Introduction ===<br />
----Le projet SignSpeak a pour ambition de créer une solution innovante pour la traduction du langage des signes en texte. L'objectif principal est de développer un système capable de capturer les mouvements des mains et de les interpréter en langage des signes, permettant une communication fluide entre les personnes sourdes ou malentendantes et celles qui ne connaissent pas le langage des signes. Ce projet intègre des technologies avancées telles que l'edge computing, l'intelligence artificielle embarquée, et les communications MQTT, offrant une approche novatrice dans le domaine de l'accessibilité et de la communication.<br />
<br />
=== 2. Architecture du Système ===<br />
----Notre solution repose sur une architecture intégrée impliquant plusieurs composants clés :<br />
<br />
* '''Capteurs et STM32''' : Des capteurs sont connectés à un microcontrôleur STM32, responsables de la capture des mouvements de main. Ces données sont ensuite transmises pour traitement.<br />
* '''Raspberry Pi''' : Agissant comme un intermédiaire, la Raspberry Pi reçoit les données des capteurs via UART, exécute un traitement préliminaire et communique avec le serveur.<br />
* '''Serveur et Machine Learning''' : Un serveur, hébergé sur une VM Xen, traite les données à l'aide d'un modèle SVM pour la traduction en langage des signes et fournit une interface web pour l'interaction utilisateur.<br />
*<br />
<br />
=== 3. Collecte et Préparation des Données ===<br />
----Le processus de collecte des données est géré par le script <code>enregistrementData.py</code>. Ce script lit les données transmises par le STM32 via UART et les enregistre dans un fichier CSV. Chaque entrée du fichier représente les valeurs de capteurs à un moment donné, accompagnées d'une étiquette correspondant au signe effectué. Cette approche assure une collecte de données structurée, essentielle pour l'entraînement précis du modèle d'apprentissage automatique.<syntaxhighlight lang="python"><br />
import serial<br />
import csv<br />
import sys<br />
import time<br />
<br />
# Vérification de l'argument d'entrée<br />
if len(sys.argv) < 2:<br />
print("Usage: python script.py <etiquette>")<br />
sys.exit(1)<br />
<br />
etiquette = sys.argv[1]<br />
<br />
# Paramètres de l'UART<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
<br />
# Créer une connexion UART<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
<br />
# Nom du fichier CSV<br />
filename = f"data_complete.csv"<br />
<br />
# Vérifier si le fichier existe déjà<br />
file_exists = False<br />
try:<br />
with open(filename, 'r') as f:<br />
file_exists = True<br />
except FileNotFoundError:<br />
file_exists = False<br />
<br />
# Ouvrir le fichier CSV en mode append<br />
with open(filename, 'a', newline='') as file:<br />
writer = csv.writer(file)<br />
<br />
# Écrire l'en-tête si le fichier n'existait pas<br />
if not file_exists:<br />
writer.writerow(["Capteur1", "Capteur2", "Capteur3", "Capteur4", "Capteur5", "Capteur6", "Capteur7", "Capteur8", "Capteur9", "Capteur10", "Capteur11", "Capteur12", "Capteur13", "Capteur14", <br />
"Capteur15", "Capteur16", "Etiquette"])<br />
elif file_exists:<br />
writer.writerow([])<br />
while True:<br />
# Lire une ligne de données depuis l'UART<br />
data = ser.readline().decode('utf-8').rstrip()<br />
print(f"Données reçues : '{data}'")<br />
<br />
# Vérifier si des données ont été reçues<br />
if data:<br />
# Diviser les données en valeurs individuelles<br />
sensor_values = data.split(',')<br />
<br />
# Filtrer les chaînes vides ou non numériques et convertir en flottants<br />
try:<br />
sensor_values = [float(value) for value in sensor_values if value.strip().isdigit()]<br />
<br />
# Vérifier qu'il y a 16 valeurs de capteur<br />
if len(sensor_values) == 16:<br />
sensor_values.append(etiquette)<br />
writer.writerow(sensor_values)<br />
else:<br />
print("Données incomplètes reçues")<br />
<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
print(f"Données problématiques : '{data}'")<br />
<br />
time.sleep(0.1)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
* Le script commence par établir une communication série avec le STM32.<br />
* Il lit ensuite les données en série, les décode et les stocke dans un fichier CSV pour une utilisation ultérieure.<br />
<br />
* Une fois les données collectées et stockées dans le fichier CSV, elles sont préparées pour l'entraînement du modèle.<br />
* Cette préparation implique la normalisation des données, la gestion des valeurs manquantes ou aberrantes, et leur formatage dans un bon format.[[Fichier:Rpi entrainement.png|vignette|1000x1000px|néant]]<br />
=== 4. Entraînement du Modèle d'Apprentissage Automatique ===<br />
----L'entraînement du modèle est réalisé par un script Python utilisant la bibliothèque scikit-learn. Le modèle SVM, choisi pour sa capacité à gérer des espaces de grande dimension, est entraîné sur l'ensemble des données collectées. Ce processus comprend la division des données en ensembles d'entraînement et de test, l'entraînement du modèle, et sa validation par le calcul de la précision. Nous avions testé plusieurs modèle, comme par exemple un modèle Knn ou randomForest, des 3 algorithmes, c'est celui qui nous à apporté les meilleurs résultats pour un meme nombre de data d'entrainement. (RandomForest en deuxième position)<syntaxhighlight lang="python"><br />
import pandas as pd<br />
from sklearn.model_selection import train_test_split<br />
from sklearn.svm import SVC<br />
from sklearn.metrics import accuracy_score<br />
import pickle<br />
<br />
# Charger vos données<br />
data = pd.read_csv('data_complete.csv')<br />
<br />
# Séparer les caractéristiques et les étiquettes<br />
X = data.drop('Etiquette', axis=1)<br />
y = data['Etiquette']<br />
<br />
# Diviser les données en ensembles d'entraînement et de test<br />
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)<br />
<br />
# Créer et entraîner le modèle SVM<br />
model = SVC(kernel='rbf')<br />
model.fit(X_train, y_train)<br />
<br />
# Sauvegarder le modèle entraîné<br />
with open('modele_svm.pkl', 'wb') as file:<br />
pickle.dump(model, file)<br />
<br />
# Charger le modèle et faire des prédictions<br />
with open('modele_svm.pkl', 'rb') as file:<br />
loaded_model = pickle.load(file)<br />
predictions = loaded_model.predict(X_test)<br />
print("Précision :", accuracy_score(y_test, predictions))<br />
<br />
</syntaxhighlight><br />
<br />
# '''Séparation des Données''':<br />
#* Les données sont divisées en deux ensembles : un ensemble d'entraînement et un ensemble de test. Cette séparation est cruciale pour évaluer objectivement la performance du modèle.<br />
#* Généralement, on adopte une répartition de 80% pour l'entraînement et 20% pour les tests.<br />
# '''Entraînement du Modèle SVM''':<br />
#* Le modèle SVM avec un noyau RBF (Radial Basis Function) est entraîné sur l'ensemble d'entraînement.<br />
#* L'entraînement implique l'ajustement du modèle aux données d'entraînement, en apprenant à distinguer les différents signes.<br />
# '''Sauvegarde et Réutilisation du Modèle'''<br />
#* Une fois entraîné et validé, le modèle est sauvegardé à l'aide de la bibliothèque <code>pickle</code><br />
# '''Validation et Évaluation du Modèle''':<br />
#* Après l'entraînement, le modèle est testé sur l'ensemble de test pour évaluer sa performance.<br />
#* La métrique principale utilisée est la précision, qui mesure la proportion de prédictions correctes par rapport au total des prédictions.<br />
<br />
Ensuite on peut générer le modèle comme ceci:<br />
[[Fichier:Generate model.png|vignette|399x399px|néant]]<br />
<br />
Avec cette prédiction lorsque notre modèle prédit le résultat, il est correct environ 71.81% du temps.<br />
<br />
=== 5. Intégration MQTT et Communication ===<br />
----Protocole de communication :<br />
<br />
Dans le cadre de notre projet, la communication entre les dispositifs Raspberry Pi et le serveur est établie via le protocole MQTT.<br />
<br />
Justification du Choix de MQTT :<br />
<br />
Au début du projet, une approche basée sur des sockets IPv6 avait été envisagée pour tirer parti de l'adressage direct et de la simplification de la configuration réseau qu'offre IPv6. Cependant, dans le but de respecter les impératifs de sobriété énergétique et d'assurer une scalabilité optimale du système, permettant ainsi de gérer aisément un nombre croissant de dispositifs Raspberry Pi, la décision a été prise d'adopter MQTT comme protocole de communication. Le protocole MQTT, reconnu pour sa légèreté et sa fiabilité, s'adapte parfaitement aux contraintes des applications IoT.<br />
<br />
<br />
'''Installation du broker mosquitto sur le serveur:'''<br />
<syntaxhighlight lang="shell"><br />
apt install -y mosquitto mosquitto-clients<br />
service mosquitto start<br />
</syntaxhighlight><br />
<br />
Activation de l'accès à distance au Broker Mosquitto:<br />
<br />
ajouter l'authentification par username et mot de passe<br />
<syntaxhighlight lang="shell"><br />
sudo mosquitto_passwd -c /etc/mosquitto/passwd username<br />
</syntaxhighlight><br />
après on nous demande d'entrer le mot de passe <br />
<br />
Modifier le fichier /etc/mosquitto/mosquitto.conf:<br />
<syntaxhighlight lang="shell"><br />
listener 1883 10.42.0.5<br />
allow_anonymous false<br />
password_file /etc/mosquitto/passwd<br />
</syntaxhighlight><br />
<br />
Restart Mosquitto:<br />
<syntaxhighlight lang="shell"><br />
service mosquitto restart<br />
</syntaxhighlight><br />
<br />
Vérification ds logs:<br />
<syntaxhighlight lang="shell"><br />
cat /var/log/mosquitto/mosquitto.log<br />
</syntaxhighlight><br />
<br />
'''Création d'un client MQTT sur la Raspberry Pi:'''<br />
<br />
Le script mqtt_client_rpi.py joue un rôle clé dans cette architecture en facilitant la communication bidirectionnelle : il permet non seulement l'envoi des prédictions réalisées par le modèle SVM depuis la Raspberry Pi vers le serveur, mais autorise également la réception des commandes de contrôle, telles que les instructions de démarrage ou d'arrêt de la collecte de données.<br />
<br />
<syntaxhighlight lang="python"><br />
import paho.mqtt.client as mqtt<br />
import serial<br />
import pandas as pd<br />
import pickle<br />
import time<br />
<br />
<br />
<br />
MQTT_BROKER_ADDRESS = "10.42.0.5"<br />
MQTT_USERNAME = "username"<br />
MQTT_PASSWORD = "confidentiel"<br />
pi_id = "rpi1234"<br />
<br />
collecting_data = False <br />
<br />
client = mqtt.Client()<br />
client.username_pw_set(MQTT_USERNAME, MQTT_PASSWORD)<br />
client.connect(MQTT_BROKER_ADDRESS, 1883, 60)<br />
client.loop_start()<br />
<br />
<br />
def on_connect(client, userdata, flags, rc):<br />
print("Connected with result code " + str(rc))<br />
client.subscribe(f"config/{pi_id}")<br />
client.publish("raspberry_available", pi_id)<br />
<br />
def on_message(client, userdata, msg):<br />
global collecting_data<br />
if msg.topic == f"config/{pi_id}":<br />
command = msg.payload.decode()<br />
if command == "start":<br />
collecting_data = True<br />
elif command == "stop":<br />
collecting_data = False<br />
<br />
<br />
<br />
client.on_connect = on_connect<br />
client.on_message = on_message<br />
<br />
<br />
# Configurez le port série et chargez le modèle ici<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
with open('modele_svm.pkl', 'rb') as file:<br />
rf = pickle.load(file)<br />
try:<br />
<br />
while True:<br />
if collecting_data:<br />
data = ser.readline().decode('utf-8').rstrip()<br />
if data:<br />
try:<br />
sensor_values = [value for value in data.split(',') if value.strip().replace('.', '', 1).isdigit()]<br />
if len(sensor_values) == 16:<br />
sensor_values = list(map(float, sensor_values))<br />
sensor_values_df = pd.DataFrame([sensor_values])<br />
prediction = rf.predict(sensor_values_df)<br />
client.publish(f"telemetry/{pi_id}", str(prediction[0]).encode())<br />
print("Prédiction :", prediction[0])<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
else:<br />
time.sleep(0.1)<br />
<br />
except KeyboardInterrupt:<br />
print("Script interrompu")<br />
<br />
<br />
client.loop_stop()<br />
client.disconnect()<br />
</syntaxhighlight>Ici il y a 3 topics différents. lorsqu'une raspberry se connecte au réseau elle publie son ID (qui est unique, on peut prendre par exemple l'adresse MAC) sur le topic raspberry_available. Cela nous servira a savoir quelle raspberry est connecté et de se fait pouvoir afficher celles-ci sur notre interface web.<br />
<br />
le deuxième topic et le topic config/ID (avec id l'identifiant unique de la raspberry), il nous sert a envoyer les commandes "start" et "stop" a la raspberry afin qu'elle démarre ou arrête la lecture des datas.<br />
<br />
Le troisième topic est le topic telemetry/ID, ou la raspberry vient publier ses données.<br />
<br />
Un quatrième topic pourrait être implémenter comme par exemple le topic common_config, toutes les raspberrys serait abonnées a ce topic. S'il est nécessaire, cela nous permettrais d'envoyer la même commande a toutes les raspberry plutôt que de faire une publication sur chaque config/ID <br />
<br />
=== 6. Interface Serveur et Gestion des Données ===<br />
----Le serveur central, au cœur de notre système, est orchestré par le script <code>app.py</code> qui exploite le framework Flask pour mettre en place une interface serveur. Cette interface est conçue pour traiter efficacement les requêtes HTTP et les messages MQTT, offrant ainsi une API réactive pour l'interface utilisateur web. Elle permet également de visualiser en temps réel l'état des dispositifs Raspberry Pi connectés et les dernières données traitées.<br />
[[Fichier:Signspeakweb.png|centré|vignette|1000x1000px]]<br />
<br />
<br />
<br />
<syntaxhighlight lang="python"><br />
from flask import Flask, render_template, request, jsonify<br />
import paho.mqtt.client as mqtt<br />
import queue<br />
<br />
app = Flask(__name__)<br />
messages = []<br />
received_messages = queue.Queue()<br />
latest_message = None<br />
subscribed_topics = set()<br />
raspberry_ids = set()<br />
MQTT_BROKER_ADDRESS = "10.42.0.5"<br />
MQTT_USERNAME = "username"<br />
MQTT_PASSWORD = "confidentiel"<br />
<br />
<br />
mqtt_client = mqtt.Client()<br />
mqtt_client.username_pw_set(MQTT_USERNAME, MQTT_PASSWORD) <br />
mqtt_client.connect(MQTT_BROKER_ADDRESS, 1883, 60)<br />
mqtt_client.loop_start()<br />
<br />
def send_command_to_pi(pi_id, command):<br />
try:<br />
topic = f"config/{pi_id}"<br />
mqtt_client.publish(topic, command)<br />
subscribe_to_pi_telemetry(pi_id)<br />
return True, "Commande envoyée avec succès"<br />
except Exception as e:<br />
return False, f"Commande pas envoyée: Erreur MQTT : {e}"<br />
<br />
def subscribe_to_pi_telemetry(pi_id):<br />
global subscribed_topics<br />
topic = f"telemetry/{pi_id}"<br />
if topic not in subscribed_topics:<br />
mqtt_client.subscribe(topic)<br />
subscribed_topics.add(topic)<br />
<br />
def on_connect(client, userdata, flags, rc):<br />
print("Connected with result code " + str(rc))<br />
client.subscribe("raspberry_available")<br />
def on_message(client, userdata, msg):<br />
global raspberry_ids<br />
print(f"Received message on topic {msg.topic}: {msg.payload.decode()}") # Ajouter pour le débogage<br />
if msg.topic == "raspberry_available":<br />
raspberry_ids.add(msg.payload.decode())<br />
else:<br />
received_messages.put(msg.payload.decode())<br />
<br />
<br />
mqtt_client.on_connect = on_connect<br />
mqtt_client.on_message = on_message<br />
@app.route('/get-raspberry-ids')<br />
def get_raspberry_ids():<br />
return jsonify(list(raspberry_ids))<br />
@app.route('/get-latest-message')<br />
def get_latest_message():<br />
global latest_message<br />
while not received_messages.empty():<br />
messages.append(received_messages.get())<br />
<br />
latest_message = messages[-1] if messages else None<br />
<br />
print(f"Contenu de la réponse pour /get-latest-message : {latest_message}")<br />
<br />
if latest_message is not None:<br />
response = jsonify({"message": latest_message})<br />
return response<br />
else:<br />
message = "Aucun signe a traduire pour le moment"<br />
return jsonify(message)<br />
<br />
<br />
@app.route('/', methods=['GET', 'POST'])<br />
<br />
def index():<br />
global raspberry_ids<br />
error_message_rpi = None<br />
success_message = None<br />
<br />
if request.method == 'POST':<br />
pi_id = request.form.get('pi_id')<br />
command = request.form.get('command')<br />
if pi_id and command in ["start", "stop"]:<br />
success, er_message = send_command_to_pi(pi_id, command)<br />
if success:<br />
success_message = "Commande envoyée avec succès"<br />
else:<br />
error_message_rpi = er_message<br />
<br />
<br />
return render_template('index.html', raspberry_ids=list(raspberry_ids), error_message_rpi=error_message_rpi, success_message=success_message, message=latest_message)<br />
<br />
if __name__ == '__main__':<br />
app.run(debug=False, port=8066)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
=== 7. Conception de l'Interface Utilisateur ===<br />
----L'interface utilisateur, développée à l'aide des technologies web standard HTML, CSS, et JavaScript, offre une expérience interactive. Le fichier index.html constitue le point d'entrée de cette interface, proposant des fonctionnalités telles que l'envoi de commandes aux dispositifs Raspberry Pi et la visualisation des données traitées. L'utilisation de JavaScript pour interroger dynamiquement le serveur Flask permet de rafraîchir les informations affichées en temps réel, garantissant ainsi une interface réactive et à jour.<br />
<br />
<br />
<br />
index.html:<br />
<syntaxhighlight lang="html"><br />
<!DOCTYPE html><br />
<html><br />
<head><br />
<title>SignSpeak - Traducteur de Langage des Signes</title><br />
<link rel="stylesheet" href="https://stackpath.bootstrapcdn.com/bootstrap/4.3.1/css/bootstrap.min.css"><br />
<style><br />
body {<br />
background-color: #343a40; <br />
color: #ced4da; <br />
}<br />
.card {<br />
background-color: #495057; /* Fond des encadrés plus sombre */<br />
}<br />
.card-title, .card-text, .alert {<br />
color: #adb5bd; /* Gris plus doux pour les titres, le texte et les alertes */<br />
}<br />
.btn-primary {<br />
background-color: #007bff; /* Bleu Bootstrap par défaut pour les boutons */<br />
border-color: #007bff;<br />
}<br />
.btn-danger {<br />
background-color: #dc3545; /* Rouge Bootstrap par défaut pour les boutons d'arrêt */<br />
border-color: #dc3545;<br />
}<br />
.form-control {<br />
background-color: #495057; /* Fond des champs de saisie plus sombre */<br />
border: 1px solid #6c757d;<br />
color: #ced4da; /* Couleur du texte dans les champs de saisie */<br />
}<br />
a, .btn-secondary {<br />
color: #17a2b8; /* Bleu clair pour les liens et les boutons secondaires */<br />
}<br />
a:hover {<br />
color: #138496; <br />
}<br />
#latest-message {<br />
background-color: #596069; <br />
border: 1px solid #6c757d; <br />
color: #E9ECEF; <br />
padding: 10px; <br />
border-radius: 5px; <br />
}<br />
</style><br />
</head><br />
<body><br />
<div class="container mt-5"><br />
<h1 class="text-center mb-4">SignSpeak - Traducteur de Langage des Signes</h1><br />
<br />
<div class="row"><br />
<!-- Encadré pour les Raspberry Pi Disponibles --><br />
<div class="col-md-12"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Raspberry Pi Disponibles</h2><br />
<ul id="raspberry-list" class="list-group list-group-flush"><br />
<br />
</ul><br />
</div><br />
</div><br />
</div><br />
</div><br />
<br />
<div class="row"><br />
<!-- Encadré pour la Collecte des données --><br />
<div class="col-lg-6"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Collecte de données</h2><br />
<form method="post" class="form-inline"><br />
<input type="text" class="form-control mb-2 mr-sm-2" name="pi_id" placeholder="Entrez l'ID de la Raspberry Pi" required><br />
<button type="submit" class="btn btn-primary mb-2 mr-sm-2" name="command" value="start">Démarrer la Collecte</button><br />
<button type="submit" class="btn btn-danger mb-2" name="command" value="stop">Arrêter la Collecte</button><br />
</form><br />
</div><br />
</div><br />
</div><br />
<br />
<!-- Encadré pour le Dernier Message Reçu --><br />
<div class="col-lg-6"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Dernier Message Reçu</h2><br />
<div id="latest-message" class="alert alert-dark"><br />
Aucun message reçu pour le moment. <br />
</div><br />
</div><br />
</div><br />
</div><br />
</div><br />
<br />
<div class="mb-3 text-center"><br />
<a href="/logs" class="btn btn-secondary">Voir les Logs</a><br />
</div><br />
</div><br />
<script><br />
function fetchRaspberryIds() {<br />
var xhr = new XMLHttpRequest();<br />
xhr.onreadystatechange = function() {<br />
if (xhr.readyState == XMLHttpRequest.DONE) {<br />
if (xhr.status == 200) {<br />
var ids = JSON.parse(xhr.responseText);<br />
var list = document.getElementById('raspberry-list');<br />
list.innerHTML = '';<br />
ids.forEach(function(id) {<br />
var li = document.createElement('li');<br />
li.textContent = id;<br />
list.appendChild(li);<br />
});<br />
}<br />
}<br />
}<br />
xhr.open('GET', '/get-raspberry-ids', true);<br />
xhr.send();<br />
}<br />
<br />
function fetchLatestMessage() {<br />
var xhr = new XMLHttpRequest();<br />
xhr.onreadystatechange = function() {<br />
if (xhr.readyState == XMLHttpRequest.DONE) {<br />
if (xhr.status == 200) {<br />
console.log(xhr.responseText)<br />
document.getElementById('latest-message').textContent = xhr.responseText;<br />
}<br />
}<br />
}<br />
xhr.open('GET', '/get-latest-message', true);<br />
xhr.send();<br />
}<br />
<br />
setInterval(fetchRaspberryIds, 5000); // Met à jour les IDs toutes les 5 secondes<br />
setInterval(fetchLatestMessage, 500); // Met à jour le dernier message toutes les secondes<br />
</script><br />
<br />
<br />
<br />
{% if error_message_rpi %}<br />
<script><br />
alert("{{ error_message_rpi }}");<br />
</script><br />
{% endif %}<br />
<br />
{% if success_message %}<br />
<script><br />
alert("{{ success_message }}");<br />
</script><br />
{% endif %}<br />
</body><br />
</html><br />
<br />
</syntaxhighlight>On a aussi ajouté une page de logs, qui permet de voir l'historique de tous les données traitées.<br />
<br />
=== 9. Conclusion et Perspectives ===<br />
----SignSpeak représente une avancée significative dans le domaine de la traduction du langage des signes. Ce projet non seulement démont<br />
<br />
== Vidéo ==<br />
Lorsque l'on clique sur "démarrer la collecte" en ayant spécifié un ID, on peut voir en temps réel le résultat dans le cadre Dernier Message Recu.<br />
<br />
[[Fichier:RPReplay_Final1706462779.mov|sans_cadre]]<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
== Déroulement des séances ==<br />
<br />
==Séance du 04/12/2023==<br />
===Création de la machine virtuelle===<br />
Création d'une machine virtuelle sur le serveur chassiron :<br />
<br />
<code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code><br />
<br />
[[Fichier:IfconfigVM.png|sans_cadre]]<br />
===Raspberry-Pi===<br />
[[Fichier:Capture d’écran 2024-01-28 à 19.07.42.png|néant|vignette]]<br />
<br />
<br />
'''<big>Capteurs</big>'''<br />
<br />
pas de capteurs lors de la première séance<br />
<br />
== Séance du 18/12/2023 ==<br />
<br />
=== Sur la VM ===<br />
script serveur.py<br />
<br />
=== sur la raspberry ===<br />
script client.py<br />
<br />
lecture sur l'uart des données envoyés par le stm32<br />
<br />
envoie au serveur (tcp)<br />
<br />
<br />
=== sur le capteur ===<br />
pris ene main du capteur, mettre le code,<br />
<br />
== Séance du 19/12/2023 et du 20/12/2023 ==<br />
utilisation de la bibliothèque sciait-learn pour l'apprentissage automatique. Nous avons décidé que le but de notre application serait de traduire le langage des signes.<br />
<br />
Pour cela nous avons entrainé notre modèle avec quelques signes, comme la lettre A, B ou C et des chiffres 1, 2 et 3 pour commencer.<br />
<br />
//mettre screen des résultats entrainement.py et test.py<br />
<br />
Les résultats sont satisfaisants mais avec quelques erreurs, la prochaine étape est donc d'améliorer notre algorithme d'apprentissage (pour l'instant on utilise l'algorithme des k plus proches voisins), pour cela nous allons rajouter par exemple du filtrage et tester d'autres algo d'apprentissage automatique<br />
<br />
Coté serveur:<br />
<br />
Création d'un serveur web, afin de lire les données qui proviennet depuis la raspberrypi et les afficher.<br />
<br />
<br />
'''<big>Mise en Place de l'algorithme d'apprentissage</big>'''<br />
<br />
nous avons tester plusieurs méthode d'apprentissage comme la '''Méthode des k plus proches voisins''' (K-Neighbour) ou encore '''forêt aléatoire''' Random forest.<br />
<br />
'''Random Forest'''</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_ECEAI/eceai_2023/2024/black-blgrim&diff=4902SE5 ECEAI/eceai 2023/2024/black-blgrim2024-01-28T18:14:19Z<p>Bblack : /* Séance du 04/12/2023 */</p>
<hr />
<div>=Compte rendu des séances=<br />
==Séance du 04/12/2023==<br />
===Création de la machine virtuelle===<br />
Création d'une machine virtuelle sur le serveur chassiron :<br />
<br />
<code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code><br />
<br />
[[Fichier:IfconfigVM.png|sans_cadre]]<br />
===Raspberry-Pi===<br />
[[Fichier:Capture d’écran 2024-01-28 à 19.07.42.png|néant|vignette]]<br />
<br />
<br />
'''<big>Capteurs</big>'''<br />
<br />
pas de capteurs lors de la première séance<br />
<br />
== Séance du 18/12/2023 ==<br />
<br />
=== Sur la VM ===<br />
script serveur.py<br />
<br />
=== sur la raspberry ===<br />
script client.py<br />
<br />
lecture sur l'uart des données envoyés par le stm32<br />
<br />
envoie au serveur (tcp)<br />
<br />
<br />
=== sur le capteur ===<br />
pris ene main du capteur, mettre le code,<br />
<br />
== Séance du 19/12/2023 et du 20/12/2023 ==<br />
utilisation de la bibliothèque sciait-learn pour l'apprentissage automatique. Nous avons décidé que le but de notre application serait de traduire le langage des signes.<br />
<br />
Pour cela nous avons entrainé notre modèle avec quelques signes, comme la lettre A, B ou C et des chiffres 1, 2 et 3 pour commencer.<br />
<br />
//mettre screen des résultats entrainement.py et test.py<br />
<br />
Les résultats sont satisfaisants mais avec quelques erreurs, la prochaine étape est donc d'améliorer notre algorithme d'apprentissage (pour l'instant on utilise l'algorithme des k plus proches voisins), pour cela nous allons rajouter par exemple du filtrage et tester d'autres algo d'apprentissage automatique<br />
<br />
Coté serveur:<br />
<br />
Création d'un serveur web, afin de lire les données qui proviennet depuis la raspberrypi et les afficher.<br />
<br />
<br />
'''<big>Mise en Place de l'algorithme d'apprentissage</big>'''<br />
<br />
nous avons tester plusieurs méthode d'apprentissage comme la '''Méthode des k plus proches voisins''' (K-Neighbour) ou encore '''forêt aléatoire''' Random forest.<br />
<br />
'''Random Forest'''<br />
<br />
<br />
<br />
== '''Présentation du projet''' ==<br />
<br />
=== 1. Introduction ===<br />
----Le projet SignSpeak a pour ambition de créer une solution innovante pour la traduction du langage des signes en texte. L'objectif principal est de développer un système capable de capturer les mouvements des mains et de les interpréter en langage des signes, permettant une communication fluide entre les personnes sourdes ou malentendantes et celles qui ne connaissent pas le langage des signes. Ce projet intègre des technologies avancées telles que l'edge computing, l'intelligence artificielle embarquée, et les communications MQTT, offrant une approche novatrice dans le domaine de l'accessibilité et de la communication.<br />
<br />
=== 2. Architecture du Système ===<br />
----Notre solution repose sur une architecture intégrée impliquant plusieurs composants clés :<br />
<br />
* '''Capteurs et STM32''' : Des capteurs sont connectés à un microcontrôleur STM32, responsables de la capture des mouvements de main. Ces données sont ensuite transmises pour traitement.<br />
* '''Raspberry Pi''' : Agissant comme un intermédiaire, la Raspberry Pi reçoit les données des capteurs via UART, exécute un traitement préliminaire et communique avec le serveur.<br />
* '''Serveur et Machine Learning''' : Un serveur, hébergé sur une VM Xen, traite les données à l'aide d'un modèle SVM pour la traduction en langage des signes et fournit une interface web pour l'interaction utilisateur.<br />
*<br />
<br />
=== 3. Collecte et Préparation des Données ===<br />
----Le processus de collecte des données est géré par le script <code>enregistrementData.py</code>. Ce script lit les données transmises par le STM32 via UART et les enregistre dans un fichier CSV. Chaque entrée du fichier représente les valeurs de capteurs à un moment donné, accompagnées d'une étiquette correspondant au signe effectué. Cette approche assure une collecte de données structurée, essentielle pour l'entraînement précis du modèle d'apprentissage automatique.<syntaxhighlight lang="python"><br />
import serial<br />
import csv<br />
import sys<br />
import time<br />
<br />
# Vérification de l'argument d'entrée<br />
if len(sys.argv) < 2:<br />
print("Usage: python script.py <etiquette>")<br />
sys.exit(1)<br />
<br />
etiquette = sys.argv[1]<br />
<br />
# Paramètres de l'UART<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
<br />
# Créer une connexion UART<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
<br />
# Nom du fichier CSV<br />
filename = f"data_complete.csv"<br />
<br />
# Vérifier si le fichier existe déjà<br />
file_exists = False<br />
try:<br />
with open(filename, 'r') as f:<br />
file_exists = True<br />
except FileNotFoundError:<br />
file_exists = False<br />
<br />
# Ouvrir le fichier CSV en mode append<br />
with open(filename, 'a', newline='') as file:<br />
writer = csv.writer(file)<br />
<br />
# Écrire l'en-tête si le fichier n'existait pas<br />
if not file_exists:<br />
writer.writerow(["Capteur1", "Capteur2", "Capteur3", "Capteur4", "Capteur5", "Capteur6", "Capteur7", "Capteur8", "Capteur9", "Capteur10", "Capteur11", "Capteur12", "Capteur13", "Capteur14", <br />
"Capteur15", "Capteur16", "Etiquette"])<br />
elif file_exists:<br />
writer.writerow([])<br />
while True:<br />
# Lire une ligne de données depuis l'UART<br />
data = ser.readline().decode('utf-8').rstrip()<br />
print(f"Données reçues : '{data}'")<br />
<br />
# Vérifier si des données ont été reçues<br />
if data:<br />
# Diviser les données en valeurs individuelles<br />
sensor_values = data.split(',')<br />
<br />
# Filtrer les chaînes vides ou non numériques et convertir en flottants<br />
try:<br />
sensor_values = [float(value) for value in sensor_values if value.strip().isdigit()]<br />
<br />
# Vérifier qu'il y a 16 valeurs de capteur<br />
if len(sensor_values) == 16:<br />
sensor_values.append(etiquette)<br />
writer.writerow(sensor_values)<br />
else:<br />
print("Données incomplètes reçues")<br />
<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
print(f"Données problématiques : '{data}'")<br />
<br />
time.sleep(0.1)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
* Le script commence par établir une communication série avec le STM32.<br />
* Il lit ensuite les données en série, les décode et les stocke dans un fichier CSV pour une utilisation ultérieure.<br />
<br />
* Une fois les données collectées et stockées dans le fichier CSV, elles sont préparées pour l'entraînement du modèle.<br />
* Cette préparation implique la normalisation des données, la gestion des valeurs manquantes ou aberrantes, et leur formatage dans un bon format.[[Fichier:Rpi entrainement.png|vignette|1000x1000px|néant]]<br />
=== 4. Entraînement du Modèle d'Apprentissage Automatique ===<br />
----L'entraînement du modèle est réalisé par un script Python utilisant la bibliothèque scikit-learn. Le modèle SVM, choisi pour sa capacité à gérer des espaces de grande dimension, est entraîné sur l'ensemble des données collectées. Ce processus comprend la division des données en ensembles d'entraînement et de test, l'entraînement du modèle, et sa validation par le calcul de la précision. Nous avions testé plusieurs modèle, comme par exemple un modèle Knn ou randomForest, des 3 algorithmes, c'est celui qui nous à apporté les meilleurs résultats pour un meme nombre de data d'entrainement. (RandomForest en deuxième position)<syntaxhighlight lang="python"><br />
import pandas as pd<br />
from sklearn.model_selection import train_test_split<br />
from sklearn.svm import SVC<br />
from sklearn.metrics import accuracy_score<br />
import pickle<br />
<br />
# Charger vos données<br />
data = pd.read_csv('data_complete.csv')<br />
<br />
# Séparer les caractéristiques et les étiquettes<br />
X = data.drop('Etiquette', axis=1)<br />
y = data['Etiquette']<br />
<br />
# Diviser les données en ensembles d'entraînement et de test<br />
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)<br />
<br />
# Créer et entraîner le modèle SVM<br />
model = SVC(kernel='rbf')<br />
model.fit(X_train, y_train)<br />
<br />
# Sauvegarder le modèle entraîné<br />
with open('modele_svm.pkl', 'wb') as file:<br />
pickle.dump(model, file)<br />
<br />
# Charger le modèle et faire des prédictions<br />
with open('modele_svm.pkl', 'rb') as file:<br />
loaded_model = pickle.load(file)<br />
predictions = loaded_model.predict(X_test)<br />
print("Précision :", accuracy_score(y_test, predictions))<br />
<br />
</syntaxhighlight><br />
<br />
# '''Séparation des Données''':<br />
#* Les données sont divisées en deux ensembles : un ensemble d'entraînement et un ensemble de test. Cette séparation est cruciale pour évaluer objectivement la performance du modèle.<br />
#* Généralement, on adopte une répartition de 80% pour l'entraînement et 20% pour les tests.<br />
# '''Entraînement du Modèle SVM''':<br />
#* Le modèle SVM avec un noyau RBF (Radial Basis Function) est entraîné sur l'ensemble d'entraînement.<br />
#* L'entraînement implique l'ajustement du modèle aux données d'entraînement, en apprenant à distinguer les différents signes.<br />
# '''Sauvegarde et Réutilisation du Modèle'''<br />
#* Une fois entraîné et validé, le modèle est sauvegardé à l'aide de la bibliothèque <code>pickle</code><br />
# '''Validation et Évaluation du Modèle''':<br />
#* Après l'entraînement, le modèle est testé sur l'ensemble de test pour évaluer sa performance.<br />
#* La métrique principale utilisée est la précision, qui mesure la proportion de prédictions correctes par rapport au total des prédictions.<br />
<br />
Ensuite on peut générer le modèle comme ceci:<br />
[[Fichier:Generate model.png|vignette|399x399px|néant]]<br />
<br />
Avec cette prédiction lorsque notre modèle prédit le résultat, il est correct environ 71.81% du temps.<br />
<br />
=== 5. Intégration MQTT et Communication ===<br />
----Protocole de communication :<br />
<br />
Dans le cadre de notre projet, la communication entre les dispositifs Raspberry Pi et le serveur est établie via le protocole MQTT.<br />
<br />
Justification du Choix de MQTT :<br />
<br />
Au début du projet, une approche basée sur des sockets IPv6 avait été envisagée pour tirer parti de l'adressage direct et de la simplification de la configuration réseau qu'offre IPv6. Cependant, dans le but de respecter les impératifs de sobriété énergétique et d'assurer une scalabilité optimale du système, permettant ainsi de gérer aisément un nombre croissant de dispositifs Raspberry Pi, la décision a été prise d'adopter MQTT comme protocole de communication. Le protocole MQTT, reconnu pour sa légèreté et sa fiabilité, s'adapte parfaitement aux contraintes des applications IoT.<br />
<br />
<br />
'''Installation du broker mosquitto sur le serveur:'''<br />
<syntaxhighlight lang="shell"><br />
apt install -y mosquitto mosquitto-clients<br />
service mosquitto start<br />
</syntaxhighlight><br />
<br />
Activation de l'accès à distance au Broker Mosquitto:<br />
<br />
ajouter l'authentification par username et mot de passe<br />
<syntaxhighlight lang="shell"><br />
sudo mosquitto_passwd -c /etc/mosquitto/passwd username<br />
</syntaxhighlight><br />
après on nous demande d'entrer le mot de passe <br />
<br />
Modifier le fichier /etc/mosquitto/mosquitto.conf:<br />
<syntaxhighlight lang="shell"><br />
listener 1883 10.42.0.5<br />
allow_anonymous false<br />
password_file /etc/mosquitto/passwd<br />
</syntaxhighlight><br />
<br />
Restart Mosquitto:<br />
<syntaxhighlight lang="shell"><br />
service mosquitto restart<br />
</syntaxhighlight><br />
<br />
Vérification ds logs:<br />
<syntaxhighlight lang="shell"><br />
cat /var/log/mosquitto/mosquitto.log<br />
</syntaxhighlight><br />
<br />
'''Création d'un client MQTT sur la Raspberry Pi:'''<br />
<br />
Le script mqtt_client_rpi.py joue un rôle clé dans cette architecture en facilitant la communication bidirectionnelle : il permet non seulement l'envoi des prédictions réalisées par le modèle SVM depuis la Raspberry Pi vers le serveur, mais autorise également la réception des commandes de contrôle, telles que les instructions de démarrage ou d'arrêt de la collecte de données.<br />
<br />
<syntaxhighlight lang="python"><br />
import paho.mqtt.client as mqtt<br />
import serial<br />
import pandas as pd<br />
import pickle<br />
import time<br />
<br />
<br />
<br />
MQTT_BROKER_ADDRESS = "10.42.0.5"<br />
MQTT_USERNAME = "username"<br />
MQTT_PASSWORD = "confidentiel"<br />
pi_id = "rpi1234"<br />
<br />
collecting_data = False <br />
<br />
client = mqtt.Client()<br />
client.username_pw_set(MQTT_USERNAME, MQTT_PASSWORD)<br />
client.connect(MQTT_BROKER_ADDRESS, 1883, 60)<br />
client.loop_start()<br />
<br />
<br />
def on_connect(client, userdata, flags, rc):<br />
print("Connected with result code " + str(rc))<br />
client.subscribe(f"config/{pi_id}")<br />
client.publish("raspberry_available", pi_id)<br />
<br />
def on_message(client, userdata, msg):<br />
global collecting_data<br />
if msg.topic == f"config/{pi_id}":<br />
command = msg.payload.decode()<br />
if command == "start":<br />
collecting_data = True<br />
elif command == "stop":<br />
collecting_data = False<br />
<br />
<br />
<br />
client.on_connect = on_connect<br />
client.on_message = on_message<br />
<br />
<br />
# Configurez le port série et chargez le modèle ici<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
with open('modele_svm.pkl', 'rb') as file:<br />
rf = pickle.load(file)<br />
try:<br />
<br />
while True:<br />
if collecting_data:<br />
data = ser.readline().decode('utf-8').rstrip()<br />
if data:<br />
try:<br />
sensor_values = [value for value in data.split(',') if value.strip().replace('.', '', 1).isdigit()]<br />
if len(sensor_values) == 16:<br />
sensor_values = list(map(float, sensor_values))<br />
sensor_values_df = pd.DataFrame([sensor_values])<br />
prediction = rf.predict(sensor_values_df)<br />
client.publish(f"telemetry/{pi_id}", str(prediction[0]).encode())<br />
print("Prédiction :", prediction[0])<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
else:<br />
time.sleep(0.1)<br />
<br />
except KeyboardInterrupt:<br />
print("Script interrompu")<br />
<br />
<br />
client.loop_stop()<br />
client.disconnect()<br />
</syntaxhighlight>Ici il y a 3 topics différents. lorsqu'une raspberry se connecte au réseau elle publie son ID (qui est unique, on peut prendre par exemple l'adresse MAC) sur le topic raspberry_available. Cela nous servira a savoir quelle raspberry est connecté et de se fait pouvoir afficher celles-ci sur notre interface web.<br />
<br />
le deuxième topic et le topic config/ID (avec id l'identifiant unique de la raspberry), il nous sert a envoyer les commandes "start" et "stop" a la raspberry afin qu'elle démarre ou arrête la lecture des datas.<br />
<br />
Le troisième topic est le topic telemetry/ID, ou la raspberry vient publier ses données.<br />
<br />
Un quatrième topic pourrait être implémenter comme par exemple le topic common_config, toutes les raspberrys serait abonnées a ce topic. S'il est nécessaire, cela nous permettrais d'envoyer la même commande a toutes les raspberry plutôt que de faire une publication sur chaque config/ID <br />
<br />
=== 6. Interface Serveur et Gestion des Données ===<br />
----Le serveur central, au cœur de notre système, est orchestré par le script <code>app.py</code> qui exploite le framework Flask pour mettre en place une interface serveur. Cette interface est conçue pour traiter efficacement les requêtes HTTP et les messages MQTT, offrant ainsi une API réactive pour l'interface utilisateur web. Elle permet également de visualiser en temps réel l'état des dispositifs Raspberry Pi connectés et les dernières données traitées.<br />
[[Fichier:Signspeakweb.png|centré|vignette|1000x1000px]]<br />
<br />
<br />
<br />
<syntaxhighlight lang="python"><br />
from flask import Flask, render_template, request, jsonify<br />
import paho.mqtt.client as mqtt<br />
import queue<br />
<br />
app = Flask(__name__)<br />
messages = []<br />
received_messages = queue.Queue()<br />
latest_message = None<br />
subscribed_topics = set()<br />
raspberry_ids = set()<br />
MQTT_BROKER_ADDRESS = "10.42.0.5"<br />
MQTT_USERNAME = "username"<br />
MQTT_PASSWORD = "confidentiel"<br />
<br />
<br />
mqtt_client = mqtt.Client()<br />
mqtt_client.username_pw_set(MQTT_USERNAME, MQTT_PASSWORD) <br />
mqtt_client.connect(MQTT_BROKER_ADDRESS, 1883, 60)<br />
mqtt_client.loop_start()<br />
<br />
def send_command_to_pi(pi_id, command):<br />
try:<br />
topic = f"config/{pi_id}"<br />
mqtt_client.publish(topic, command)<br />
subscribe_to_pi_telemetry(pi_id)<br />
return True, "Commande envoyée avec succès"<br />
except Exception as e:<br />
return False, f"Commande pas envoyée: Erreur MQTT : {e}"<br />
<br />
def subscribe_to_pi_telemetry(pi_id):<br />
global subscribed_topics<br />
topic = f"telemetry/{pi_id}"<br />
if topic not in subscribed_topics:<br />
mqtt_client.subscribe(topic)<br />
subscribed_topics.add(topic)<br />
<br />
def on_connect(client, userdata, flags, rc):<br />
print("Connected with result code " + str(rc))<br />
client.subscribe("raspberry_available")<br />
def on_message(client, userdata, msg):<br />
global raspberry_ids<br />
print(f"Received message on topic {msg.topic}: {msg.payload.decode()}") # Ajouter pour le débogage<br />
if msg.topic == "raspberry_available":<br />
raspberry_ids.add(msg.payload.decode())<br />
else:<br />
received_messages.put(msg.payload.decode())<br />
<br />
<br />
mqtt_client.on_connect = on_connect<br />
mqtt_client.on_message = on_message<br />
@app.route('/get-raspberry-ids')<br />
def get_raspberry_ids():<br />
return jsonify(list(raspberry_ids))<br />
@app.route('/get-latest-message')<br />
def get_latest_message():<br />
global latest_message<br />
while not received_messages.empty():<br />
messages.append(received_messages.get())<br />
<br />
latest_message = messages[-1] if messages else None<br />
<br />
# Ajoutez cet enregistrement de débogage<br />
print(f"Contenu de la réponse pour /get-latest-message : {latest_message}")<br />
<br />
if latest_message is not None:<br />
response = jsonify({"message": latest_message})<br />
return response<br />
else:<br />
message = "Aucun signe a traduire pour le moment"<br />
return jsonify(message)<br />
<br />
<br />
@app.route('/', methods=['GET', 'POST'])<br />
<br />
def index():<br />
global raspberry_ids<br />
error_message_rpi = None<br />
success_message = None<br />
<br />
if request.method == 'POST':<br />
pi_id = request.form.get('pi_id')<br />
command = request.form.get('command')<br />
if pi_id and command in ["start", "stop"]:<br />
success, er_message = send_command_to_pi(pi_id, command)<br />
if success:<br />
success_message = "Commande envoyée avec succès"<br />
else:<br />
error_message_rpi = er_message<br />
<br />
<br />
return render_template('index.html', raspberry_ids=list(raspberry_ids), error_message_rpi=error_message_rpi, success_message=success_message, message=latest_message)<br />
<br />
if __name__ == '__main__':<br />
app.run(debug=False, port=8066)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
=== 7. Conception de l'Interface Utilisateur ===<br />
----L'interface utilisateur, développée à l'aide des technologies web standard HTML, CSS, et JavaScript, offre une expérience interactive. Le fichier index.html constitue le point d'entrée de cette interface, proposant des fonctionnalités telles que l'envoi de commandes aux dispositifs Raspberry Pi et la visualisation des données traitées. L'utilisation de JavaScript pour interroger dynamiquement le serveur Flask permet de rafraîchir les informations affichées en temps réel, garantissant ainsi une interface réactive et à jour.<br />
<br />
<br />
<br />
index.html:<br />
<syntaxhighlight lang="html"><br />
<!DOCTYPE html><br />
<html><br />
<head><br />
<title>SignSpeak - Traducteur de Langage des Signes</title><br />
<link rel="stylesheet" href="https://stackpath.bootstrapcdn.com/bootstrap/4.3.1/css/bootstrap.min.css"><br />
<style><br />
body {<br />
background-color: #343a40; /* Couleur d'arrière-plan foncé */<br />
color: #ced4da; /* Gris clair pour le texte pour un meilleur contraste */<br />
}<br />
.card {<br />
background-color: #495057; /* Fond des encadrés plus sombre */<br />
}<br />
.card-title, .card-text, .alert {<br />
color: #adb5bd; /* Gris plus doux pour les titres, le texte et les alertes */<br />
}<br />
.btn-primary {<br />
background-color: #007bff; /* Bleu Bootstrap par défaut pour les boutons */<br />
border-color: #007bff;<br />
}<br />
.btn-danger {<br />
background-color: #dc3545; /* Rouge Bootstrap par défaut pour les boutons d'arrêt */<br />
border-color: #dc3545;<br />
}<br />
.form-control {<br />
background-color: #495057; /* Fond des champs de saisie plus sombre */<br />
border: 1px solid #6c757d;<br />
color: #ced4da; /* Couleur du texte dans les champs de saisie */<br />
}<br />
a, .btn-secondary {<br />
color: #17a2b8; /* Bleu clair pour les liens et les boutons secondaires */<br />
}<br />
a:hover {<br />
color: #138496; <br />
}<br />
#latest-message {<br />
background-color: #596069; <br />
border: 1px solid #6c757d; <br />
color: #E9ECEF; <br />
padding: 10px; <br />
border-radius: 5px; <br />
}<br />
</style><br />
</head><br />
<body><br />
<div class="container mt-5"><br />
<h1 class="text-center mb-4">SignSpeak - Traducteur de Langage des Signes</h1><br />
<br />
<div class="row"><br />
<!-- Encadré pour les Raspberry Pi Disponibles --><br />
<div class="col-md-12"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Raspberry Pi Disponibles</h2><br />
<ul id="raspberry-list" class="list-group list-group-flush"><br />
<br />
</ul><br />
</div><br />
</div><br />
</div><br />
</div><br />
<br />
<div class="row"><br />
<!-- Encadré pour la Collecte des données --><br />
<div class="col-lg-6"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Collecte de données</h2><br />
<form method="post" class="form-inline"><br />
<input type="text" class="form-control mb-2 mr-sm-2" name="pi_id" placeholder="Entrez l'ID de la Raspberry Pi" required><br />
<button type="submit" class="btn btn-primary mb-2 mr-sm-2" name="command" value="start">Démarrer la Collecte</button><br />
<button type="submit" class="btn btn-danger mb-2" name="command" value="stop">Arrêter la Collecte</button><br />
</form><br />
</div><br />
</div><br />
</div><br />
<br />
<!-- Encadré pour le Dernier Message Reçu --><br />
<div class="col-lg-6"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Dernier Message Reçu</h2><br />
<div id="latest-message" class="alert alert-dark"><br />
Aucun message reçu pour le moment. <br />
</div><br />
</div><br />
</div><br />
</div><br />
</div><br />
<br />
<div class="mb-3 text-center"><br />
<a href="/logs" class="btn btn-secondary">Voir les Logs</a><br />
</div><br />
</div><br />
<script><br />
function fetchRaspberryIds() {<br />
var xhr = new XMLHttpRequest();<br />
xhr.onreadystatechange = function() {<br />
if (xhr.readyState == XMLHttpRequest.DONE) {<br />
if (xhr.status == 200) {<br />
var ids = JSON.parse(xhr.responseText);<br />
var list = document.getElementById('raspberry-list');<br />
list.innerHTML = '';<br />
ids.forEach(function(id) {<br />
var li = document.createElement('li');<br />
li.textContent = id;<br />
list.appendChild(li);<br />
});<br />
}<br />
}<br />
}<br />
xhr.open('GET', '/get-raspberry-ids', true);<br />
xhr.send();<br />
}<br />
<br />
function fetchLatestMessage() {<br />
var xhr = new XMLHttpRequest();<br />
xhr.onreadystatechange = function() {<br />
if (xhr.readyState == XMLHttpRequest.DONE) {<br />
if (xhr.status == 200) {<br />
console.log(xhr.responseText)<br />
document.getElementById('latest-message').textContent = xhr.responseText;<br />
}<br />
}<br />
}<br />
xhr.open('GET', '/get-latest-message', true);<br />
xhr.send();<br />
}<br />
<br />
setInterval(fetchRaspberryIds, 5000); // Met à jour les IDs toutes les 5 secondes<br />
setInterval(fetchLatestMessage, 500); // Met à jour le dernier message toutes les secondes<br />
</script><br />
<br />
<br />
<br />
{% if error_message_rpi %}<br />
<script><br />
alert("{{ error_message_rpi }}");<br />
</script><br />
{% endif %}<br />
<br />
{% if success_message %}<br />
<script><br />
alert("{{ success_message }}");<br />
</script><br />
{% endif %}<br />
</body><br />
</html><br />
<br />
</syntaxhighlight>On a aussi ajouté une page de logs, qui permet de voir l'historique de tous les données traitées.<br />
<br />
=== 9. Conclusion et Perspectives ===<br />
----SignSpeak représente une avancée significative dans le domaine de la traduction du langage des signes. Ce projet non seulement démont<br />
<br />
== Vidéo ==<br />
Lorsque l'on clique sur "démarrer la collecte" en ayant spécifié un ID, on peut voir en temps réel le résultat dans le cadre Dernier Message Recu.<br />
<br />
[[Fichier:RPReplay_Final1706462779.mov|sans_cadre]]<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
== Déroulement des séances ==<br />
<br />
==Séance du 04/12/2023==<br />
===Création de la machine virtuelle===<br />
Création d'une machine virtuelle sur le serveur chassiron :<br />
<br />
<code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code><br />
<br />
[[Fichier:IfconfigVM.png|sans_cadre]]<br />
===Raspberry-Pi===<br />
[[Fichier:Capture d’écran 2024-01-28 à 19.07.42.png|néant|vignette]]<br />
<br />
<br />
'''<big>Capteurs</big>'''<br />
<br />
pas de capteurs lors de la première séance<br />
<br />
== Séance du 18/12/2023 ==<br />
<br />
=== Sur la VM ===<br />
script serveur.py<br />
<br />
=== sur la raspberry ===<br />
script client.py<br />
<br />
lecture sur l'uart des données envoyés par le stm32<br />
<br />
envoie au serveur (tcp)<br />
<br />
<br />
=== sur le capteur ===<br />
pris ene main du capteur, mettre le code,<br />
<br />
== Séance du 19/12/2023 et du 20/12/2023 ==<br />
utilisation de la bibliothèque sciait-learn pour l'apprentissage automatique. Nous avons décidé que le but de notre application serait de traduire le langage des signes.<br />
<br />
Pour cela nous avons entrainé notre modèle avec quelques signes, comme la lettre A, B ou C et des chiffres 1, 2 et 3 pour commencer.<br />
<br />
//mettre screen des résultats entrainement.py et test.py<br />
<br />
Les résultats sont satisfaisants mais avec quelques erreurs, la prochaine étape est donc d'améliorer notre algorithme d'apprentissage (pour l'instant on utilise l'algorithme des k plus proches voisins), pour cela nous allons rajouter par exemple du filtrage et tester d'autres algo d'apprentissage automatique<br />
<br />
Coté serveur:<br />
<br />
Création d'un serveur web, afin de lire les données qui proviennet depuis la raspberrypi et les afficher.<br />
<br />
<br />
'''<big>Mise en Place de l'algorithme d'apprentissage</big>'''<br />
<br />
nous avons tester plusieurs méthode d'apprentissage comme la '''Méthode des k plus proches voisins''' (K-Neighbour) ou encore '''forêt aléatoire''' Random forest.<br />
<br />
'''Random Forest'''</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_ECEAI/eceai_2023/2024/black-blgrim&diff=4901SE5 ECEAI/eceai 2023/2024/black-blgrim2024-01-28T18:13:07Z<p>Bblack : /* Séance du 04/12/2023 */</p>
<hr />
<div>=Compte rendu des séances=<br />
==Séance du 04/12/2023==<br />
===Création de la machine virtuelle===<br />
Création d'une machine virtuelle sur le serveur chassiron :<br />
<br />
<code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code><br />
<br />
[[Fichier:IfconfigVM.png|sans_cadre]]<br />
===Raspberry-Pi===<br />
[[Fichier:Capture d’écran 2024-01-28 à 19.07.42.png|néant|vignette]]<br />
<br />
<br />
'''<big>Capteurs</big>'''<br />
<br />
pas de capteurs lors de la première séance<br />
<br />
== Séance du 18/12/2023 ==<br />
<br />
=== Sur la VM ===<br />
script serveur.py<br />
<br />
=== sur la raspberry ===<br />
script client.py<br />
<br />
lecture sur l'uart des données envoyés par le stm32<br />
<br />
envoie au serveur (tcp)<br />
<br />
<br />
=== sur le capteur ===<br />
pris ene main du capteur, mettre le code,<br />
<br />
== Séance du 19/12/2023 et du 20/12/2023 ==<br />
utilisation de la bibliothèque sciait-learn pour l'apprentissage automatique. Nous avons décidé que le but de notre application serait de traduire le langage des signes.<br />
<br />
Pour cela nous avons entrainé notre modèle avec quelques signes, comme la lettre A, B ou C et des chiffres 1, 2 et 3 pour commencer.<br />
<br />
//mettre screen des résultats entrainement.py et test.py<br />
<br />
Les résultats sont satisfaisants mais avec quelques erreurs, la prochaine étape est donc d'améliorer notre algorithme d'apprentissage (pour l'instant on utilise l'algorithme des k plus proches voisins), pour cela nous allons rajouter par exemple du filtrage et tester d'autres algo d'apprentissage automatique<br />
<br />
Coté serveur:<br />
<br />
Création d'un serveur web, afin de lire les données qui proviennet depuis la raspberrypi et les afficher.<br />
<br />
<br />
'''<big>Mise en Place de l'algorithme d'apprentissage</big>'''<br />
<br />
nous avons tester plusieurs méthode d'apprentissage comme la '''Méthode des k plus proches voisins''' (K-Neighbour) ou encore '''forêt aléatoire''' Random forest.<br />
<br />
'''Random Forest'''<br />
<br />
<br />
<br />
== '''Présentation du projet''' ==<br />
<br />
=== 1. Introduction ===<br />
----Le projet SignSpeak a pour ambition de créer une solution innovante pour la traduction du langage des signes en texte. L'objectif principal est de développer un système capable de capturer les mouvements des mains et de les interpréter en langage des signes, permettant une communication fluide entre les personnes sourdes ou malentendantes et celles qui ne connaissent pas le langage des signes. Ce projet intègre des technologies avancées telles que l'edge computing, l'intelligence artificielle embarquée, et les communications MQTT, offrant une approche novatrice dans le domaine de l'accessibilité et de la communication.<br />
<br />
=== 2. Architecture du Système ===<br />
----Notre solution repose sur une architecture intégrée impliquant plusieurs composants clés :<br />
<br />
* '''Capteurs et STM32''' : Des capteurs sont connectés à un microcontrôleur STM32, responsables de la capture des mouvements de main. Ces données sont ensuite transmises pour traitement.<br />
* '''Raspberry Pi''' : Agissant comme un intermédiaire, la Raspberry Pi reçoit les données des capteurs via UART, exécute un traitement préliminaire et communique avec le serveur.<br />
* '''Serveur et Machine Learning''' : Un serveur, hébergé sur une VM Xen, traite les données à l'aide d'un modèle SVM pour la traduction en langage des signes et fournit une interface web pour l'interaction utilisateur.<br />
*<br />
<br />
=== 3. Collecte et Préparation des Données ===<br />
----Le processus de collecte des données est géré par le script <code>enregistrementData.py</code>. Ce script lit les données transmises par le STM32 via UART et les enregistre dans un fichier CSV. Chaque entrée du fichier représente les valeurs de capteurs à un moment donné, accompagnées d'une étiquette correspondant au signe effectué. Cette approche assure une collecte de données structurée, essentielle pour l'entraînement précis du modèle d'apprentissage automatique.<syntaxhighlight lang="python"><br />
import serial<br />
import csv<br />
import sys<br />
import time<br />
<br />
# Vérification de l'argument d'entrée<br />
if len(sys.argv) < 2:<br />
print("Usage: python script.py <etiquette>")<br />
sys.exit(1)<br />
<br />
etiquette = sys.argv[1]<br />
<br />
# Paramètres de l'UART<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
<br />
# Créer une connexion UART<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
<br />
# Nom du fichier CSV<br />
filename = f"data_complete.csv"<br />
<br />
# Vérifier si le fichier existe déjà<br />
file_exists = False<br />
try:<br />
with open(filename, 'r') as f:<br />
file_exists = True<br />
except FileNotFoundError:<br />
file_exists = False<br />
<br />
# Ouvrir le fichier CSV en mode append<br />
with open(filename, 'a', newline='') as file:<br />
writer = csv.writer(file)<br />
<br />
# Écrire l'en-tête si le fichier n'existait pas<br />
if not file_exists:<br />
writer.writerow(["Capteur1", "Capteur2", "Capteur3", "Capteur4", "Capteur5", "Capteur6", "Capteur7", "Capteur8", "Capteur9", "Capteur10", "Capteur11", "Capteur12", "Capteur13", "Capteur14", <br />
"Capteur15", "Capteur16", "Etiquette"])<br />
elif file_exists:<br />
writer.writerow([])<br />
while True:<br />
# Lire une ligne de données depuis l'UART<br />
data = ser.readline().decode('utf-8').rstrip()<br />
print(f"Données reçues : '{data}'")<br />
<br />
# Vérifier si des données ont été reçues<br />
if data:<br />
# Diviser les données en valeurs individuelles<br />
sensor_values = data.split(',')<br />
<br />
# Filtrer les chaînes vides ou non numériques et convertir en flottants<br />
try:<br />
sensor_values = [float(value) for value in sensor_values if value.strip().isdigit()]<br />
<br />
# Vérifier qu'il y a 16 valeurs de capteur<br />
if len(sensor_values) == 16:<br />
sensor_values.append(etiquette)<br />
writer.writerow(sensor_values)<br />
else:<br />
print("Données incomplètes reçues")<br />
<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
print(f"Données problématiques : '{data}'")<br />
<br />
time.sleep(0.1)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
* Le script commence par établir une communication série avec le STM32.<br />
* Il lit ensuite les données en série, les décode et les stocke dans un fichier CSV pour une utilisation ultérieure.<br />
<br />
* Une fois les données collectées et stockées dans le fichier CSV, elles sont préparées pour l'entraînement du modèle.<br />
* Cette préparation implique la normalisation des données, la gestion des valeurs manquantes ou aberrantes, et leur formatage dans un bon format.[[Fichier:Rpi entrainement.png|vignette|1000x1000px|néant]]<br />
=== 4. Entraînement du Modèle d'Apprentissage Automatique ===<br />
----L'entraînement du modèle est réalisé par un script Python utilisant la bibliothèque scikit-learn. Le modèle SVM, choisi pour sa capacité à gérer des espaces de grande dimension, est entraîné sur l'ensemble des données collectées. Ce processus comprend la division des données en ensembles d'entraînement et de test, l'entraînement du modèle, et sa validation par le calcul de la précision. Nous avions testé plusieurs modèle, comme par exemple un modèle Knn ou randomForest, des 3 algorithmes, c'est celui qui nous à apporté les meilleurs résultats pour un meme nombre de data d'entrainement. (RandomForest en deuxième position)<syntaxhighlight lang="python"><br />
import pandas as pd<br />
from sklearn.model_selection import train_test_split<br />
from sklearn.svm import SVC<br />
from sklearn.metrics import accuracy_score<br />
import pickle<br />
<br />
# Charger vos données<br />
data = pd.read_csv('data_complete.csv')<br />
<br />
# Séparer les caractéristiques et les étiquettes<br />
X = data.drop('Etiquette', axis=1)<br />
y = data['Etiquette']<br />
<br />
# Diviser les données en ensembles d'entraînement et de test<br />
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)<br />
<br />
# Créer et entraîner le modèle SVM<br />
model = SVC(kernel='rbf')<br />
model.fit(X_train, y_train)<br />
<br />
# Sauvegarder le modèle entraîné<br />
with open('modele_svm.pkl', 'wb') as file:<br />
pickle.dump(model, file)<br />
<br />
# Charger le modèle et faire des prédictions<br />
with open('modele_svm.pkl', 'rb') as file:<br />
loaded_model = pickle.load(file)<br />
predictions = loaded_model.predict(X_test)<br />
print("Précision :", accuracy_score(y_test, predictions))<br />
<br />
</syntaxhighlight><br />
<br />
# '''Séparation des Données''':<br />
#* Les données sont divisées en deux ensembles : un ensemble d'entraînement et un ensemble de test. Cette séparation est cruciale pour évaluer objectivement la performance du modèle.<br />
#* Généralement, on adopte une répartition de 80% pour l'entraînement et 20% pour les tests.<br />
# '''Entraînement du Modèle SVM''':<br />
#* Le modèle SVM avec un noyau RBF (Radial Basis Function) est entraîné sur l'ensemble d'entraînement.<br />
#* L'entraînement implique l'ajustement du modèle aux données d'entraînement, en apprenant à distinguer les différents signes.<br />
# '''Sauvegarde et Réutilisation du Modèle'''<br />
#* Une fois entraîné et validé, le modèle est sauvegardé à l'aide de la bibliothèque <code>pickle</code><br />
# '''Validation et Évaluation du Modèle''':<br />
#* Après l'entraînement, le modèle est testé sur l'ensemble de test pour évaluer sa performance.<br />
#* La métrique principale utilisée est la précision, qui mesure la proportion de prédictions correctes par rapport au total des prédictions.<br />
<br />
Ensuite on peut générer le modèle comme ceci:<br />
[[Fichier:Generate model.png|vignette|399x399px|néant]]<br />
<br />
Avec cette prédiction lorsque notre modèle prédit le résultat, il est correct environ 71.81% du temps.<br />
<br />
=== 5. Intégration MQTT et Communication ===<br />
----Protocole de communication :<br />
<br />
Dans le cadre de notre projet, la communication entre les dispositifs Raspberry Pi et le serveur est établie via le protocole MQTT.<br />
<br />
Justification du Choix de MQTT :<br />
<br />
Au début du projet, une approche basée sur des sockets IPv6 avait été envisagée pour tirer parti de l'adressage direct et de la simplification de la configuration réseau qu'offre IPv6. Cependant, dans le but de respecter les impératifs de sobriété énergétique et d'assurer une scalabilité optimale du système, permettant ainsi de gérer aisément un nombre croissant de dispositifs Raspberry Pi, la décision a été prise d'adopter MQTT comme protocole de communication. Le protocole MQTT, reconnu pour sa légèreté et sa fiabilité, s'adapte parfaitement aux contraintes des applications IoT.<br />
<br />
<br />
'''Installation du broker mosquitto sur le serveur:'''<br />
<syntaxhighlight lang="shell"><br />
apt install -y mosquitto mosquitto-clients<br />
service mosquitto start<br />
</syntaxhighlight><br />
<br />
Activation de l'accès à distance au Broker Mosquitto:<br />
<br />
ajouter l'authentification par username et mot de passe<br />
<syntaxhighlight lang="shell"><br />
sudo mosquitto_passwd -c /etc/mosquitto/passwd username<br />
</syntaxhighlight><br />
après on nous demande d'entrer le mot de passe <br />
<br />
Modifier le fichier /etc/mosquitto/mosquitto.conf:<br />
<syntaxhighlight lang="shell"><br />
listener 1883 10.42.0.5<br />
allow_anonymous false<br />
password_file /etc/mosquitto/passwd<br />
</syntaxhighlight><br />
<br />
Restart Mosquitto:<br />
<syntaxhighlight lang="shell"><br />
service mosquitto restart<br />
</syntaxhighlight><br />
<br />
Vérification ds logs:<br />
<syntaxhighlight lang="shell"><br />
cat /var/log/mosquitto/mosquitto.log<br />
</syntaxhighlight><br />
<br />
'''Création d'un client MQTT sur la Raspberry Pi:'''<br />
<br />
Le script mqtt_client_rpi.py joue un rôle clé dans cette architecture en facilitant la communication bidirectionnelle : il permet non seulement l'envoi des prédictions réalisées par le modèle SVM depuis la Raspberry Pi vers le serveur, mais autorise également la réception des commandes de contrôle, telles que les instructions de démarrage ou d'arrêt de la collecte de données.<br />
<br />
<syntaxhighlight lang="python"><br />
import paho.mqtt.client as mqtt<br />
import serial<br />
import pandas as pd<br />
import pickle<br />
import time<br />
<br />
<br />
<br />
MQTT_BROKER_ADDRESS = "10.42.0.5"<br />
MQTT_USERNAME = "username"<br />
MQTT_PASSWORD = "confidentiel"<br />
pi_id = "rpi1234"<br />
<br />
collecting_data = False <br />
<br />
client = mqtt.Client()<br />
client.username_pw_set(MQTT_USERNAME, MQTT_PASSWORD)<br />
client.connect(MQTT_BROKER_ADDRESS, 1883, 60)<br />
client.loop_start()<br />
<br />
<br />
def on_connect(client, userdata, flags, rc):<br />
print("Connected with result code " + str(rc))<br />
client.subscribe(f"config/{pi_id}")<br />
client.publish("raspberry_available", pi_id)<br />
<br />
def on_message(client, userdata, msg):<br />
global collecting_data<br />
if msg.topic == f"config/{pi_id}":<br />
command = msg.payload.decode()<br />
if command == "start":<br />
collecting_data = True<br />
elif command == "stop":<br />
collecting_data = False<br />
<br />
<br />
<br />
client.on_connect = on_connect<br />
client.on_message = on_message<br />
<br />
<br />
# Configurez le port série et chargez le modèle ici<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
with open('modele_svm.pkl', 'rb') as file:<br />
rf = pickle.load(file)<br />
try:<br />
<br />
while True:<br />
if collecting_data:<br />
data = ser.readline().decode('utf-8').rstrip()<br />
if data:<br />
try:<br />
sensor_values = [value for value in data.split(',') if value.strip().replace('.', '', 1).isdigit()]<br />
if len(sensor_values) == 16:<br />
sensor_values = list(map(float, sensor_values))<br />
sensor_values_df = pd.DataFrame([sensor_values])<br />
prediction = rf.predict(sensor_values_df)<br />
client.publish(f"telemetry/{pi_id}", str(prediction[0]).encode())<br />
print("Prédiction :", prediction[0])<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
else:<br />
time.sleep(0.1)<br />
<br />
except KeyboardInterrupt:<br />
print("Script interrompu")<br />
<br />
<br />
client.loop_stop()<br />
client.disconnect()<br />
</syntaxhighlight>Ici il y a 3 topics différents. lorsqu'une raspberry se connecte au réseau elle publie son ID (qui est unique, on peut prendre par exemple l'adresse MAC) sur le topic raspberry_available. Cela nous servira a savoir quelle raspberry est connecté et de se fait pouvoir afficher celles-ci sur notre interface web.<br />
<br />
le deuxième topic et le topic config/ID (avec id l'identifiant unique de la raspberry), il nous sert a envoyer les commandes "start" et "stop" a la raspberry afin qu'elle démarre ou arrête la lecture des datas.<br />
<br />
Le troisième topic est le topic telemetry/ID, ou la raspberry vient publier ses données.<br />
<br />
Un quatrième topic pourrait être implémenter comme par exemple le topic common_config, toutes les raspberrys serait abonnées a ce topic. S'il est nécessaire, cela nous permettrais d'envoyer la même commande a toutes les raspberry plutôt que de faire une publication sur chaque config/ID <br />
<br />
=== 6. Interface Serveur et Gestion des Données ===<br />
----Le serveur central, au cœur de notre système, est orchestré par le script <code>app.py</code> qui exploite le framework Flask pour mettre en place une interface serveur. Cette interface est conçue pour traiter efficacement les requêtes HTTP et les messages MQTT, offrant ainsi une API réactive pour l'interface utilisateur web. Elle permet également de visualiser en temps réel l'état des dispositifs Raspberry Pi connectés et les dernières données traitées.<br />
[[Fichier:Signspeakweb.png|centré|vignette|1000x1000px]]<br />
<br />
<br />
<br />
<syntaxhighlight lang="python"><br />
from flask import Flask, render_template, request, jsonify<br />
import paho.mqtt.client as mqtt<br />
import queue<br />
<br />
app = Flask(__name__)<br />
messages = []<br />
received_messages = queue.Queue()<br />
latest_message = None<br />
subscribed_topics = set()<br />
raspberry_ids = set()<br />
MQTT_BROKER_ADDRESS = "10.42.0.5"<br />
MQTT_USERNAME = "username"<br />
MQTT_PASSWORD = "confidentiel"<br />
<br />
<br />
mqtt_client = mqtt.Client()<br />
mqtt_client.username_pw_set(MQTT_USERNAME, MQTT_PASSWORD) <br />
mqtt_client.connect(MQTT_BROKER_ADDRESS, 1883, 60)<br />
mqtt_client.loop_start()<br />
<br />
def send_command_to_pi(pi_id, command):<br />
try:<br />
topic = f"config/{pi_id}"<br />
mqtt_client.publish(topic, command)<br />
subscribe_to_pi_telemetry(pi_id)<br />
return True, "Commande envoyée avec succès"<br />
except Exception as e:<br />
return False, f"Commande pas envoyée: Erreur MQTT : {e}"<br />
<br />
def subscribe_to_pi_telemetry(pi_id):<br />
global subscribed_topics<br />
topic = f"telemetry/{pi_id}"<br />
if topic not in subscribed_topics:<br />
mqtt_client.subscribe(topic)<br />
subscribed_topics.add(topic)<br />
<br />
def on_connect(client, userdata, flags, rc):<br />
print("Connected with result code " + str(rc))<br />
client.subscribe("raspberry_available")<br />
def on_message(client, userdata, msg):<br />
global raspberry_ids<br />
print(f"Received message on topic {msg.topic}: {msg.payload.decode()}") # Ajouter pour le débogage<br />
if msg.topic == "raspberry_available":<br />
raspberry_ids.add(msg.payload.decode())<br />
else:<br />
received_messages.put(msg.payload.decode())<br />
<br />
<br />
mqtt_client.on_connect = on_connect<br />
mqtt_client.on_message = on_message<br />
@app.route('/get-raspberry-ids')<br />
def get_raspberry_ids():<br />
return jsonify(list(raspberry_ids))<br />
@app.route('/get-latest-message')<br />
def get_latest_message():<br />
global latest_message<br />
while not received_messages.empty():<br />
messages.append(received_messages.get())<br />
<br />
latest_message = messages[-1] if messages else None<br />
<br />
# Ajoutez cet enregistrement de débogage<br />
print(f"Contenu de la réponse pour /get-latest-message : {latest_message}")<br />
<br />
if latest_message is not None:<br />
response = jsonify({"message": latest_message})<br />
return response<br />
else:<br />
message = "Aucun signe a traduire pour le moment"<br />
return jsonify(message)<br />
<br />
<br />
@app.route('/', methods=['GET', 'POST'])<br />
<br />
def index():<br />
global raspberry_ids<br />
error_message_rpi = None<br />
success_message = None<br />
<br />
if request.method == 'POST':<br />
pi_id = request.form.get('pi_id')<br />
command = request.form.get('command')<br />
if pi_id and command in ["start", "stop"]:<br />
success, er_message = send_command_to_pi(pi_id, command)<br />
if success:<br />
success_message = "Commande envoyée avec succès"<br />
else:<br />
error_message_rpi = er_message<br />
<br />
<br />
return render_template('index.html', raspberry_ids=list(raspberry_ids), error_message_rpi=error_message_rpi, success_message=success_message, message=latest_message)<br />
<br />
if __name__ == '__main__':<br />
app.run(debug=False, port=8066)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
=== 7. Conception de l'Interface Utilisateur ===<br />
----L'interface utilisateur, développée à l'aide des technologies web standard HTML, CSS, et JavaScript, offre une expérience interactive. Le fichier index.html constitue le point d'entrée de cette interface, proposant des fonctionnalités telles que l'envoi de commandes aux dispositifs Raspberry Pi et la visualisation des données traitées. L'utilisation de JavaScript pour interroger dynamiquement le serveur Flask permet de rafraîchir les informations affichées en temps réel, garantissant ainsi une interface réactive et à jour.<br />
<br />
<br />
<br />
index.html:<br />
<syntaxhighlight lang="html"><br />
<!DOCTYPE html><br />
<html><br />
<head><br />
<title>SignSpeak - Traducteur de Langage des Signes</title><br />
<link rel="stylesheet" href="https://stackpath.bootstrapcdn.com/bootstrap/4.3.1/css/bootstrap.min.css"><br />
<style><br />
body {<br />
background-color: #343a40; /* Couleur d'arrière-plan foncé */<br />
color: #ced4da; /* Gris clair pour le texte pour un meilleur contraste */<br />
}<br />
.card {<br />
background-color: #495057; /* Fond des encadrés plus sombre */<br />
}<br />
.card-title, .card-text, .alert {<br />
color: #adb5bd; /* Gris plus doux pour les titres, le texte et les alertes */<br />
}<br />
.btn-primary {<br />
background-color: #007bff; /* Bleu Bootstrap par défaut pour les boutons */<br />
border-color: #007bff;<br />
}<br />
.btn-danger {<br />
background-color: #dc3545; /* Rouge Bootstrap par défaut pour les boutons d'arrêt */<br />
border-color: #dc3545;<br />
}<br />
.form-control {<br />
background-color: #495057; /* Fond des champs de saisie plus sombre */<br />
border: 1px solid #6c757d;<br />
color: #ced4da; /* Couleur du texte dans les champs de saisie */<br />
}<br />
a, .btn-secondary {<br />
color: #17a2b8; /* Bleu clair pour les liens et les boutons secondaires */<br />
}<br />
a:hover {<br />
color: #138496; <br />
}<br />
#latest-message {<br />
background-color: #596069; <br />
border: 1px solid #6c757d; <br />
color: #E9ECEF; <br />
padding: 10px; <br />
border-radius: 5px; <br />
}<br />
</style><br />
</head><br />
<body><br />
<div class="container mt-5"><br />
<h1 class="text-center mb-4">SignSpeak - Traducteur de Langage des Signes</h1><br />
<br />
<div class="row"><br />
<!-- Encadré pour les Raspberry Pi Disponibles --><br />
<div class="col-md-12"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Raspberry Pi Disponibles</h2><br />
<ul id="raspberry-list" class="list-group list-group-flush"><br />
<br />
</ul><br />
</div><br />
</div><br />
</div><br />
</div><br />
<br />
<div class="row"><br />
<!-- Encadré pour la Collecte des données --><br />
<div class="col-lg-6"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Collecte de données</h2><br />
<form method="post" class="form-inline"><br />
<input type="text" class="form-control mb-2 mr-sm-2" name="pi_id" placeholder="Entrez l'ID de la Raspberry Pi" required><br />
<button type="submit" class="btn btn-primary mb-2 mr-sm-2" name="command" value="start">Démarrer la Collecte</button><br />
<button type="submit" class="btn btn-danger mb-2" name="command" value="stop">Arrêter la Collecte</button><br />
</form><br />
</div><br />
</div><br />
</div><br />
<br />
<!-- Encadré pour le Dernier Message Reçu --><br />
<div class="col-lg-6"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Dernier Message Reçu</h2><br />
<div id="latest-message" class="alert alert-dark"><br />
Aucun message reçu pour le moment. <br />
</div><br />
</div><br />
</div><br />
</div><br />
</div><br />
<br />
<div class="mb-3 text-center"><br />
<a href="/logs" class="btn btn-secondary">Voir les Logs</a><br />
</div><br />
</div><br />
<script><br />
function fetchRaspberryIds() {<br />
var xhr = new XMLHttpRequest();<br />
xhr.onreadystatechange = function() {<br />
if (xhr.readyState == XMLHttpRequest.DONE) {<br />
if (xhr.status == 200) {<br />
var ids = JSON.parse(xhr.responseText);<br />
var list = document.getElementById('raspberry-list');<br />
list.innerHTML = '';<br />
ids.forEach(function(id) {<br />
var li = document.createElement('li');<br />
li.textContent = id;<br />
list.appendChild(li);<br />
});<br />
}<br />
}<br />
}<br />
xhr.open('GET', '/get-raspberry-ids', true);<br />
xhr.send();<br />
}<br />
<br />
function fetchLatestMessage() {<br />
var xhr = new XMLHttpRequest();<br />
xhr.onreadystatechange = function() {<br />
if (xhr.readyState == XMLHttpRequest.DONE) {<br />
if (xhr.status == 200) {<br />
console.log(xhr.responseText)<br />
document.getElementById('latest-message').textContent = xhr.responseText;<br />
}<br />
}<br />
}<br />
xhr.open('GET', '/get-latest-message', true);<br />
xhr.send();<br />
}<br />
<br />
setInterval(fetchRaspberryIds, 5000); // Met à jour les IDs toutes les 5 secondes<br />
setInterval(fetchLatestMessage, 500); // Met à jour le dernier message toutes les secondes<br />
</script><br />
<br />
<br />
<br />
{% if error_message_rpi %}<br />
<script><br />
alert("{{ error_message_rpi }}");<br />
</script><br />
{% endif %}<br />
<br />
{% if success_message %}<br />
<script><br />
alert("{{ success_message }}");<br />
</script><br />
{% endif %}<br />
</body><br />
</html><br />
<br />
</syntaxhighlight>On a aussi ajouté une page de logs, qui permet de voir l'historique de tous les données traitées.<br />
<br />
=== 9. Conclusion et Perspectives ===<br />
----SignSpeak représente une avancée significative dans le domaine de la traduction du langage des signes. Ce projet non seulement démont<br />
<br />
== Vidéo ==<br />
Lorsque l'on clique sur "démarrer la collecte" en ayant spécifié un ID, on peut voir en temps réel le résultat dans le cadre Dernier Message Recu.<br />
<br />
[[Fichier:RPReplay_Final1706462779.mov|sans_cadre]]</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=Fichier:Capture_d%E2%80%99%C3%A9cran_2024-01-28_%C3%A0_19.07.42.png&diff=4900Fichier:Capture d’écran 2024-01-28 à 19.07.42.png2024-01-28T18:12:47Z<p>Bblack : </p>
<hr />
<div>Capture d’écran 2024-01-28 à 19.07.42</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_ECEAI/eceai_2023/2024/black-blgrim&diff=4897SE5 ECEAI/eceai 2023/2024/black-blgrim2024-01-28T17:57:36Z<p>Bblack : /* 7. Conception de l'Interface Utilisateur */</p>
<hr />
<div>=Compte rendu des séances=<br />
==Séance du 04/12/2023==<br />
===Création de la machine virtuelle===<br />
Création d'une machine virtuelle sur le serveur chassiron :<br />
<br />
<code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code><br />
<br />
[[Fichier:IfconfigVM.png|sans_cadre]]<br />
===Raspberry-Pi===<br />
mettre la config de la raspberry<br />
<br />
<br />
'''<big>Capteurs</big>'''<br />
<br />
pas de capteurs lors de la première séance<br />
<br />
== Séance du 18/12/2023 ==<br />
<br />
=== Sur la VM ===<br />
script serveur.py<br />
<br />
=== sur la raspberry ===<br />
script client.py<br />
<br />
lecture sur l'uart des données envoyés par le stm32<br />
<br />
envoie au serveur (tcp)<br />
<br />
<br />
=== sur le capteur ===<br />
pris ene main du capteur, mettre le code,<br />
<br />
== Séance du 19/12/2023 et du 20/12/2023 ==<br />
utilisation de la bibliothèque sciait-learn pour l'apprentissage automatique. Nous avons décidé que le but de notre application serait de traduire le langage des signes.<br />
<br />
Pour cela nous avons entrainé notre modèle avec quelques signes, comme la lettre A, B ou C et des chiffres 1, 2 et 3 pour commencer.<br />
<br />
//mettre screen des résultats entrainement.py et test.py<br />
<br />
Les résultats sont satisfaisants mais avec quelques erreurs, la prochaine étape est donc d'améliorer notre algorithme d'apprentissage (pour l'instant on utilise l'algorithme des k plus proches voisins), pour cela nous allons rajouter par exemple du filtrage et tester d'autres algo d'apprentissage automatique<br />
<br />
Coté serveur:<br />
<br />
Création d'un serveur web, afin de lire les données qui proviennet depuis la raspberrypi et les afficher.<br />
<br />
<br />
'''<big>Mise en Place de l'algorithme d'apprentissage</big>'''<br />
<br />
nous avons tester plusieurs méthode d'apprentissage comme la '''Méthode des k plus proches voisins''' (K-Neighbour) ou encore '''forêt aléatoire''' Random forest.<br />
<br />
'''Random Forest'''<br />
<br />
<br />
<br />
== '''Présentation du projet''' ==<br />
<br />
=== 1. Introduction ===<br />
----Le projet SignSpeak a pour ambition de créer une solution innovante pour la traduction du langage des signes en texte. L'objectif principal est de développer un système capable de capturer les mouvements des mains et de les interpréter en langage des signes, permettant une communication fluide entre les personnes sourdes ou malentendantes et celles qui ne connaissent pas le langage des signes. Ce projet intègre des technologies avancées telles que l'edge computing, l'intelligence artificielle embarquée, et les communications MQTT, offrant une approche novatrice dans le domaine de l'accessibilité et de la communication.<br />
<br />
=== 2. Architecture du Système ===<br />
----Notre solution repose sur une architecture intégrée impliquant plusieurs composants clés :<br />
<br />
* '''Capteurs et STM32''' : Des capteurs sont connectés à un microcontrôleur STM32, responsables de la capture des mouvements de main. Ces données sont ensuite transmises pour traitement.<br />
* '''Raspberry Pi''' : Agissant comme un intermédiaire, la Raspberry Pi reçoit les données des capteurs via UART, exécute un traitement préliminaire et communique avec le serveur.<br />
* '''Serveur et Machine Learning''' : Un serveur, hébergé sur une VM Xen, traite les données à l'aide d'un modèle SVM pour la traduction en langage des signes et fournit une interface web pour l'interaction utilisateur.<br />
*<br />
<br />
=== 3. Collecte et Préparation des Données ===<br />
----Le processus de collecte des données est géré par le script <code>enregistrementData.py</code>. Ce script lit les données transmises par le STM32 via UART et les enregistre dans un fichier CSV. Chaque entrée du fichier représente les valeurs de capteurs à un moment donné, accompagnées d'une étiquette correspondant au signe effectué. Cette approche assure une collecte de données structurée, essentielle pour l'entraînement précis du modèle d'apprentissage automatique.<syntaxhighlight lang="python"><br />
import serial<br />
import csv<br />
import sys<br />
import time<br />
<br />
# Vérification de l'argument d'entrée<br />
if len(sys.argv) < 2:<br />
print("Usage: python script.py <etiquette>")<br />
sys.exit(1)<br />
<br />
etiquette = sys.argv[1]<br />
<br />
# Paramètres de l'UART<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
<br />
# Créer une connexion UART<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
<br />
# Nom du fichier CSV<br />
filename = f"data_complete.csv"<br />
<br />
# Vérifier si le fichier existe déjà<br />
file_exists = False<br />
try:<br />
with open(filename, 'r') as f:<br />
file_exists = True<br />
except FileNotFoundError:<br />
file_exists = False<br />
<br />
# Ouvrir le fichier CSV en mode append<br />
with open(filename, 'a', newline='') as file:<br />
writer = csv.writer(file)<br />
<br />
# Écrire l'en-tête si le fichier n'existait pas<br />
if not file_exists:<br />
writer.writerow(["Capteur1", "Capteur2", "Capteur3", "Capteur4", "Capteur5", "Capteur6", "Capteur7", "Capteur8", "Capteur9", "Capteur10", "Capteur11", "Capteur12", "Capteur13", "Capteur14", <br />
"Capteur15", "Capteur16", "Etiquette"])<br />
elif file_exists:<br />
writer.writerow([])<br />
while True:<br />
# Lire une ligne de données depuis l'UART<br />
data = ser.readline().decode('utf-8').rstrip()<br />
print(f"Données reçues : '{data}'")<br />
<br />
# Vérifier si des données ont été reçues<br />
if data:<br />
# Diviser les données en valeurs individuelles<br />
sensor_values = data.split(',')<br />
<br />
# Filtrer les chaînes vides ou non numériques et convertir en flottants<br />
try:<br />
sensor_values = [float(value) for value in sensor_values if value.strip().isdigit()]<br />
<br />
# Vérifier qu'il y a 16 valeurs de capteur<br />
if len(sensor_values) == 16:<br />
sensor_values.append(etiquette)<br />
writer.writerow(sensor_values)<br />
else:<br />
print("Données incomplètes reçues")<br />
<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
print(f"Données problématiques : '{data}'")<br />
<br />
time.sleep(0.1)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
* Le script commence par établir une communication série avec le STM32.<br />
* Il lit ensuite les données en série, les décode et les stocke dans un fichier CSV pour une utilisation ultérieure.<br />
<br />
* Une fois les données collectées et stockées dans le fichier CSV, elles sont préparées pour l'entraînement du modèle.<br />
* Cette préparation implique la normalisation des données, la gestion des valeurs manquantes ou aberrantes, et leur formatage dans un bon format.[[Fichier:Rpi entrainement.png|vignette|1000x1000px|néant]]<br />
=== 4. Entraînement du Modèle d'Apprentissage Automatique ===<br />
----L'entraînement du modèle est réalisé par un script Python utilisant la bibliothèque scikit-learn. Le modèle SVM, choisi pour sa capacité à gérer des espaces de grande dimension, est entraîné sur l'ensemble des données collectées. Ce processus comprend la division des données en ensembles d'entraînement et de test, l'entraînement du modèle, et sa validation par le calcul de la précision. Nous avions testé plusieurs modèle, comme par exemple un modèle Knn ou randomForest, des 3 algorithmes, c'est celui qui nous à apporté les meilleurs résultats pour un meme nombre de data d'entrainement. (RandomForest en deuxième position)<syntaxhighlight lang="python"><br />
import pandas as pd<br />
from sklearn.model_selection import train_test_split<br />
from sklearn.svm import SVC<br />
from sklearn.metrics import accuracy_score<br />
import pickle<br />
<br />
# Charger vos données<br />
data = pd.read_csv('data_complete.csv')<br />
<br />
# Séparer les caractéristiques et les étiquettes<br />
X = data.drop('Etiquette', axis=1)<br />
y = data['Etiquette']<br />
<br />
# Diviser les données en ensembles d'entraînement et de test<br />
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)<br />
<br />
# Créer et entraîner le modèle SVM<br />
model = SVC(kernel='rbf')<br />
model.fit(X_train, y_train)<br />
<br />
# Sauvegarder le modèle entraîné<br />
with open('modele_svm.pkl', 'wb') as file:<br />
pickle.dump(model, file)<br />
<br />
# Charger le modèle et faire des prédictions<br />
with open('modele_svm.pkl', 'rb') as file:<br />
loaded_model = pickle.load(file)<br />
predictions = loaded_model.predict(X_test)<br />
print("Précision :", accuracy_score(y_test, predictions))<br />
<br />
</syntaxhighlight><br />
<br />
# '''Séparation des Données''':<br />
#* Les données sont divisées en deux ensembles : un ensemble d'entraînement et un ensemble de test. Cette séparation est cruciale pour évaluer objectivement la performance du modèle.<br />
#* Généralement, on adopte une répartition de 80% pour l'entraînement et 20% pour les tests.<br />
# '''Entraînement du Modèle SVM''':<br />
#* Le modèle SVM avec un noyau RBF (Radial Basis Function) est entraîné sur l'ensemble d'entraînement.<br />
#* L'entraînement implique l'ajustement du modèle aux données d'entraînement, en apprenant à distinguer les différents signes.<br />
# '''Sauvegarde et Réutilisation du Modèle'''<br />
#* Une fois entraîné et validé, le modèle est sauvegardé à l'aide de la bibliothèque <code>pickle</code><br />
# '''Validation et Évaluation du Modèle''':<br />
#* Après l'entraînement, le modèle est testé sur l'ensemble de test pour évaluer sa performance.<br />
#* La métrique principale utilisée est la précision, qui mesure la proportion de prédictions correctes par rapport au total des prédictions.<br />
<br />
Ensuite on peut générer le modèle comme ceci:<br />
[[Fichier:Generate model.png|vignette|399x399px|néant]]<br />
<br />
Avec cette prédiction lorsque notre modèle prédit le résultat, il est correct environ 71.81% du temps.<br />
<br />
=== 5. Intégration MQTT et Communication ===<br />
----Protocole de communication :<br />
<br />
Dans le cadre de notre projet, la communication entre les dispositifs Raspberry Pi et le serveur est établie via le protocole MQTT.<br />
<br />
Justification du Choix de MQTT :<br />
<br />
Au début du projet, une approche basée sur des sockets IPv6 avait été envisagée pour tirer parti de l'adressage direct et de la simplification de la configuration réseau qu'offre IPv6. Cependant, dans le but de respecter les impératifs de sobriété énergétique et d'assurer une scalabilité optimale du système, permettant ainsi de gérer aisément un nombre croissant de dispositifs Raspberry Pi, la décision a été prise d'adopter MQTT comme protocole de communication. Le protocole MQTT, reconnu pour sa légèreté et sa fiabilité, s'adapte parfaitement aux contraintes des applications IoT.<br />
<br />
<br />
'''Installation du broker mosquitto sur le serveur:'''<br />
<syntaxhighlight lang="shell"><br />
apt install -y mosquitto mosquitto-clients<br />
service mosquitto start<br />
</syntaxhighlight><br />
<br />
Activation de l'accès à distance au Broker Mosquitto:<br />
<br />
ajouter l'authentification par username et mot de passe<br />
<syntaxhighlight lang="shell"><br />
sudo mosquitto_passwd -c /etc/mosquitto/passwd username<br />
</syntaxhighlight><br />
après on nous demande d'entrer le mot de passe <br />
<br />
Modifier le fichier /etc/mosquitto/mosquitto.conf:<br />
<syntaxhighlight lang="shell"><br />
listener 1883 10.42.0.5<br />
allow_anonymous false<br />
password_file /etc/mosquitto/passwd<br />
</syntaxhighlight><br />
<br />
Restart Mosquitto:<br />
<syntaxhighlight lang="shell"><br />
service mosquitto restart<br />
</syntaxhighlight><br />
<br />
Vérification ds logs:<br />
<syntaxhighlight lang="shell"><br />
cat /var/log/mosquitto/mosquitto.log<br />
</syntaxhighlight><br />
<br />
'''Création d'un client MQTT sur la Raspberry Pi:'''<br />
<br />
Le script mqtt_client_rpi.py joue un rôle clé dans cette architecture en facilitant la communication bidirectionnelle : il permet non seulement l'envoi des prédictions réalisées par le modèle SVM depuis la Raspberry Pi vers le serveur, mais autorise également la réception des commandes de contrôle, telles que les instructions de démarrage ou d'arrêt de la collecte de données.<br />
<br />
<syntaxhighlight lang="python"><br />
import paho.mqtt.client as mqtt<br />
import serial<br />
import pandas as pd<br />
import pickle<br />
import time<br />
<br />
<br />
<br />
MQTT_BROKER_ADDRESS = "10.42.0.5"<br />
MQTT_USERNAME = "username"<br />
MQTT_PASSWORD = "confidentiel"<br />
pi_id = "rpi1234"<br />
<br />
collecting_data = False <br />
<br />
client = mqtt.Client()<br />
client.username_pw_set(MQTT_USERNAME, MQTT_PASSWORD)<br />
client.connect(MQTT_BROKER_ADDRESS, 1883, 60)<br />
client.loop_start()<br />
<br />
<br />
def on_connect(client, userdata, flags, rc):<br />
print("Connected with result code " + str(rc))<br />
client.subscribe(f"config/{pi_id}")<br />
client.publish("raspberry_available", pi_id)<br />
<br />
def on_message(client, userdata, msg):<br />
global collecting_data<br />
if msg.topic == f"config/{pi_id}":<br />
command = msg.payload.decode()<br />
if command == "start":<br />
collecting_data = True<br />
elif command == "stop":<br />
collecting_data = False<br />
<br />
<br />
<br />
client.on_connect = on_connect<br />
client.on_message = on_message<br />
<br />
<br />
# Configurez le port série et chargez le modèle ici<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
with open('modele_svm.pkl', 'rb') as file:<br />
rf = pickle.load(file)<br />
try:<br />
<br />
while True:<br />
if collecting_data:<br />
data = ser.readline().decode('utf-8').rstrip()<br />
if data:<br />
try:<br />
sensor_values = [value for value in data.split(',') if value.strip().replace('.', '', 1).isdigit()]<br />
if len(sensor_values) == 16:<br />
sensor_values = list(map(float, sensor_values))<br />
sensor_values_df = pd.DataFrame([sensor_values])<br />
prediction = rf.predict(sensor_values_df)<br />
client.publish(f"telemetry/{pi_id}", str(prediction[0]).encode())<br />
print("Prédiction :", prediction[0])<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
else:<br />
time.sleep(0.1)<br />
<br />
except KeyboardInterrupt:<br />
print("Script interrompu")<br />
<br />
<br />
client.loop_stop()<br />
client.disconnect()<br />
</syntaxhighlight>Ici il y a 3 topics différents. lorsqu'une raspberry se connecte au réseau elle publie son ID (qui est unique, on peut prendre par exemple l'adresse MAC) sur le topic raspberry_available. Cela nous servira a savoir quelle raspberry est connecté et de se fait pouvoir afficher celles-ci sur notre interface web.<br />
<br />
le deuxième topic et le topic config/ID (avec id l'identifiant unique de la raspberry), il nous sert a envoyer les commandes "start" et "stop" a la raspberry afin qu'elle démarre ou arrête la lecture des datas.<br />
<br />
Le troisième topic est le topic telemetry/ID, ou la raspberry vient publier ses données.<br />
<br />
Un quatrième topic pourrait être implémenter comme par exemple le topic common_config, toutes les raspberrys serait abonnées a ce topic. S'il est nécessaire, cela nous permettrais d'envoyer la même commande a toutes les raspberry plutôt que de faire une publication sur chaque config/ID <br />
<br />
=== 6. Interface Serveur et Gestion des Données ===<br />
----Le serveur central, au cœur de notre système, est orchestré par le script <code>app.py</code> qui exploite le framework Flask pour mettre en place une interface serveur. Cette interface est conçue pour traiter efficacement les requêtes HTTP et les messages MQTT, offrant ainsi une API réactive pour l'interface utilisateur web. Elle permet également de visualiser en temps réel l'état des dispositifs Raspberry Pi connectés et les dernières données traitées.<br />
[[Fichier:Signspeakweb.png|centré|vignette|1000x1000px]]<br />
<br />
<br />
<br />
<syntaxhighlight lang="python"><br />
from flask import Flask, render_template, request, jsonify<br />
import paho.mqtt.client as mqtt<br />
import queue<br />
<br />
app = Flask(__name__)<br />
messages = []<br />
received_messages = queue.Queue()<br />
latest_message = None<br />
subscribed_topics = set()<br />
raspberry_ids = set()<br />
MQTT_BROKER_ADDRESS = "10.42.0.5"<br />
MQTT_USERNAME = "username"<br />
MQTT_PASSWORD = "confidentiel"<br />
<br />
<br />
mqtt_client = mqtt.Client()<br />
mqtt_client.username_pw_set(MQTT_USERNAME, MQTT_PASSWORD) <br />
mqtt_client.connect(MQTT_BROKER_ADDRESS, 1883, 60)<br />
mqtt_client.loop_start()<br />
<br />
def send_command_to_pi(pi_id, command):<br />
try:<br />
topic = f"config/{pi_id}"<br />
mqtt_client.publish(topic, command)<br />
subscribe_to_pi_telemetry(pi_id)<br />
return True, "Commande envoyée avec succès"<br />
except Exception as e:<br />
return False, f"Commande pas envoyée: Erreur MQTT : {e}"<br />
<br />
def subscribe_to_pi_telemetry(pi_id):<br />
global subscribed_topics<br />
topic = f"telemetry/{pi_id}"<br />
if topic not in subscribed_topics:<br />
mqtt_client.subscribe(topic)<br />
subscribed_topics.add(topic)<br />
<br />
def on_connect(client, userdata, flags, rc):<br />
print("Connected with result code " + str(rc))<br />
client.subscribe("raspberry_available")<br />
def on_message(client, userdata, msg):<br />
global raspberry_ids<br />
print(f"Received message on topic {msg.topic}: {msg.payload.decode()}") # Ajouter pour le débogage<br />
if msg.topic == "raspberry_available":<br />
raspberry_ids.add(msg.payload.decode())<br />
else:<br />
received_messages.put(msg.payload.decode())<br />
<br />
<br />
mqtt_client.on_connect = on_connect<br />
mqtt_client.on_message = on_message<br />
@app.route('/get-raspberry-ids')<br />
def get_raspberry_ids():<br />
return jsonify(list(raspberry_ids))<br />
@app.route('/get-latest-message')<br />
def get_latest_message():<br />
global latest_message<br />
while not received_messages.empty():<br />
messages.append(received_messages.get())<br />
<br />
latest_message = messages[-1] if messages else None<br />
<br />
# Ajoutez cet enregistrement de débogage<br />
print(f"Contenu de la réponse pour /get-latest-message : {latest_message}")<br />
<br />
if latest_message is not None:<br />
response = jsonify({"message": latest_message})<br />
return response<br />
else:<br />
message = "Aucun signe a traduire pour le moment"<br />
return jsonify(message)<br />
<br />
<br />
@app.route('/', methods=['GET', 'POST'])<br />
<br />
def index():<br />
global raspberry_ids<br />
error_message_rpi = None<br />
success_message = None<br />
<br />
if request.method == 'POST':<br />
pi_id = request.form.get('pi_id')<br />
command = request.form.get('command')<br />
if pi_id and command in ["start", "stop"]:<br />
success, er_message = send_command_to_pi(pi_id, command)<br />
if success:<br />
success_message = "Commande envoyée avec succès"<br />
else:<br />
error_message_rpi = er_message<br />
<br />
<br />
return render_template('index.html', raspberry_ids=list(raspberry_ids), error_message_rpi=error_message_rpi, success_message=success_message, message=latest_message)<br />
<br />
if __name__ == '__main__':<br />
app.run(debug=False, port=8066)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
=== 7. Conception de l'Interface Utilisateur ===<br />
----L'interface utilisateur, développée à l'aide des technologies web standard HTML, CSS, et JavaScript, offre une expérience interactive. Le fichier index.html constitue le point d'entrée de cette interface, proposant des fonctionnalités telles que l'envoi de commandes aux dispositifs Raspberry Pi et la visualisation des données traitées. L'utilisation de JavaScript pour interroger dynamiquement le serveur Flask permet de rafraîchir les informations affichées en temps réel, garantissant ainsi une interface réactive et à jour.<br />
<br />
<br />
<br />
index.html:<br />
<syntaxhighlight lang="html"><br />
<!DOCTYPE html><br />
<html><br />
<head><br />
<title>SignSpeak - Traducteur de Langage des Signes</title><br />
<link rel="stylesheet" href="https://stackpath.bootstrapcdn.com/bootstrap/4.3.1/css/bootstrap.min.css"><br />
<style><br />
body {<br />
background-color: #343a40; /* Couleur d'arrière-plan foncé */<br />
color: #ced4da; /* Gris clair pour le texte pour un meilleur contraste */<br />
}<br />
.card {<br />
background-color: #495057; /* Fond des encadrés plus sombre */<br />
}<br />
.card-title, .card-text, .alert {<br />
color: #adb5bd; /* Gris plus doux pour les titres, le texte et les alertes */<br />
}<br />
.btn-primary {<br />
background-color: #007bff; /* Bleu Bootstrap par défaut pour les boutons */<br />
border-color: #007bff;<br />
}<br />
.btn-danger {<br />
background-color: #dc3545; /* Rouge Bootstrap par défaut pour les boutons d'arrêt */<br />
border-color: #dc3545;<br />
}<br />
.form-control {<br />
background-color: #495057; /* Fond des champs de saisie plus sombre */<br />
border: 1px solid #6c757d;<br />
color: #ced4da; /* Couleur du texte dans les champs de saisie */<br />
}<br />
a, .btn-secondary {<br />
color: #17a2b8; /* Bleu clair pour les liens et les boutons secondaires */<br />
}<br />
a:hover {<br />
color: #138496; <br />
}<br />
#latest-message {<br />
background-color: #596069; <br />
border: 1px solid #6c757d; <br />
color: #E9ECEF; <br />
padding: 10px; <br />
border-radius: 5px; <br />
}<br />
</style><br />
</head><br />
<body><br />
<div class="container mt-5"><br />
<h1 class="text-center mb-4">SignSpeak - Traducteur de Langage des Signes</h1><br />
<br />
<div class="row"><br />
<!-- Encadré pour les Raspberry Pi Disponibles --><br />
<div class="col-md-12"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Raspberry Pi Disponibles</h2><br />
<ul id="raspberry-list" class="list-group list-group-flush"><br />
<br />
</ul><br />
</div><br />
</div><br />
</div><br />
</div><br />
<br />
<div class="row"><br />
<!-- Encadré pour la Collecte des données --><br />
<div class="col-lg-6"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Collecte de données</h2><br />
<form method="post" class="form-inline"><br />
<input type="text" class="form-control mb-2 mr-sm-2" name="pi_id" placeholder="Entrez l'ID de la Raspberry Pi" required><br />
<button type="submit" class="btn btn-primary mb-2 mr-sm-2" name="command" value="start">Démarrer la Collecte</button><br />
<button type="submit" class="btn btn-danger mb-2" name="command" value="stop">Arrêter la Collecte</button><br />
</form><br />
</div><br />
</div><br />
</div><br />
<br />
<!-- Encadré pour le Dernier Message Reçu --><br />
<div class="col-lg-6"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Dernier Message Reçu</h2><br />
<div id="latest-message" class="alert alert-dark"><br />
Aucun message reçu pour le moment. <br />
</div><br />
</div><br />
</div><br />
</div><br />
</div><br />
<br />
<div class="mb-3 text-center"><br />
<a href="/logs" class="btn btn-secondary">Voir les Logs</a><br />
</div><br />
</div><br />
<script><br />
function fetchRaspberryIds() {<br />
var xhr = new XMLHttpRequest();<br />
xhr.onreadystatechange = function() {<br />
if (xhr.readyState == XMLHttpRequest.DONE) {<br />
if (xhr.status == 200) {<br />
var ids = JSON.parse(xhr.responseText);<br />
var list = document.getElementById('raspberry-list');<br />
list.innerHTML = '';<br />
ids.forEach(function(id) {<br />
var li = document.createElement('li');<br />
li.textContent = id;<br />
list.appendChild(li);<br />
});<br />
}<br />
}<br />
}<br />
xhr.open('GET', '/get-raspberry-ids', true);<br />
xhr.send();<br />
}<br />
<br />
function fetchLatestMessage() {<br />
var xhr = new XMLHttpRequest();<br />
xhr.onreadystatechange = function() {<br />
if (xhr.readyState == XMLHttpRequest.DONE) {<br />
if (xhr.status == 200) {<br />
console.log(xhr.responseText)<br />
document.getElementById('latest-message').textContent = xhr.responseText;<br />
}<br />
}<br />
}<br />
xhr.open('GET', '/get-latest-message', true);<br />
xhr.send();<br />
}<br />
<br />
setInterval(fetchRaspberryIds, 5000); // Met à jour les IDs toutes les 5 secondes<br />
setInterval(fetchLatestMessage, 500); // Met à jour le dernier message toutes les secondes<br />
</script><br />
<br />
<br />
<br />
{% if error_message_rpi %}<br />
<script><br />
alert("{{ error_message_rpi }}");<br />
</script><br />
{% endif %}<br />
<br />
{% if success_message %}<br />
<script><br />
alert("{{ success_message }}");<br />
</script><br />
{% endif %}<br />
</body><br />
</html><br />
<br />
</syntaxhighlight>On a aussi ajouté une page de logs, qui permet de voir l'historique de tous les données traitées.<br />
<br />
=== 9. Conclusion et Perspectives ===<br />
----SignSpeak représente une avancée significative dans le domaine de la traduction du langage des signes. Ce projet non seulement démont<br />
<br />
== Vidéo ==<br />
Lorsque l'on clique sur "démarrer la collecte" en ayant spécifié un ID, on peut voir en temps réel le résultat dans le cadre Dernier Message Recu.<br />
<br />
[[Fichier:RPReplay_Final1706462779.mov|sans_cadre]]</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_ECEAI/eceai_2023/2024/black-blgrim&diff=4890SE5 ECEAI/eceai 2023/2024/black-blgrim2024-01-28T17:42:56Z<p>Bblack : /* Vidéo */</p>
<hr />
<div>=Compte rendu des séances=<br />
==Séance du 04/12/2023==<br />
===Création de la machine virtuelle===<br />
Création d'une machine virtuelle sur le serveur chassiron :<br />
<br />
<code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code><br />
<br />
[[Fichier:IfconfigVM.png|sans_cadre]]<br />
===Raspberry-Pi===<br />
mettre la config de la raspberry<br />
<br />
<br />
'''<big>Capteurs</big>'''<br />
<br />
pas de capteurs lors de la première séance<br />
<br />
== Séance du 18/12/2023 ==<br />
<br />
=== Sur la VM ===<br />
script serveur.py<br />
<br />
=== sur la raspberry ===<br />
script client.py<br />
<br />
lecture sur l'uart des données envoyés par le stm32<br />
<br />
envoie au serveur (tcp)<br />
<br />
<br />
=== sur le capteur ===<br />
pris ene main du capteur, mettre le code,<br />
<br />
== Séance du 19/12/2023 et du 20/12/2023 ==<br />
utilisation de la bibliothèque sciait-learn pour l'apprentissage automatique. Nous avons décidé que le but de notre application serait de traduire le langage des signes.<br />
<br />
Pour cela nous avons entrainé notre modèle avec quelques signes, comme la lettre A, B ou C et des chiffres 1, 2 et 3 pour commencer.<br />
<br />
//mettre screen des résultats entrainement.py et test.py<br />
<br />
Les résultats sont satisfaisants mais avec quelques erreurs, la prochaine étape est donc d'améliorer notre algorithme d'apprentissage (pour l'instant on utilise l'algorithme des k plus proches voisins), pour cela nous allons rajouter par exemple du filtrage et tester d'autres algo d'apprentissage automatique<br />
<br />
Coté serveur:<br />
<br />
Création d'un serveur web, afin de lire les données qui proviennet depuis la raspberrypi et les afficher.<br />
<br />
<br />
'''<big>Mise en Place de l'algorithme d'apprentissage</big>'''<br />
<br />
nous avons tester plusieurs méthode d'apprentissage comme la '''Méthode des k plus proches voisins''' (K-Neighbour) ou encore '''forêt aléatoire''' Random forest.<br />
<br />
'''Random Forest'''<br />
<br />
<br />
<br />
== '''Présentation du projet''' ==<br />
<br />
=== 1. Introduction ===<br />
----Le projet SignSpeak a pour ambition de créer une solution innovante pour la traduction du langage des signes en texte. L'objectif principal est de développer un système capable de capturer les mouvements des mains et de les interpréter en langage des signes, permettant une communication fluide entre les personnes sourdes ou malentendantes et celles qui ne connaissent pas le langage des signes. Ce projet intègre des technologies avancées telles que l'edge computing, l'intelligence artificielle embarquée, et les communications MQTT, offrant une approche novatrice dans le domaine de l'accessibilité et de la communication.<br />
<br />
=== 2. Architecture du Système ===<br />
----Notre solution repose sur une architecture intégrée impliquant plusieurs composants clés :<br />
<br />
* '''Capteurs et STM32''' : Des capteurs sont connectés à un microcontrôleur STM32, responsables de la capture des mouvements de main. Ces données sont ensuite transmises pour traitement.<br />
* '''Raspberry Pi''' : Agissant comme un intermédiaire, la Raspberry Pi reçoit les données des capteurs via UART, exécute un traitement préliminaire et communique avec le serveur.<br />
* '''Serveur et Machine Learning''' : Un serveur, hébergé sur une VM Xen, traite les données à l'aide d'un modèle SVM pour la traduction en langage des signes et fournit une interface web pour l'interaction utilisateur.<br />
*<br />
<br />
=== 3. Collecte et Préparation des Données ===<br />
----Le processus de collecte des données est géré par le script <code>enregistrementData.py</code>. Ce script lit les données transmises par le STM32 via UART et les enregistre dans un fichier CSV. Chaque entrée du fichier représente les valeurs de capteurs à un moment donné, accompagnées d'une étiquette correspondant au signe effectué. Cette approche assure une collecte de données structurée, essentielle pour l'entraînement précis du modèle d'apprentissage automatique.<syntaxhighlight lang="python"><br />
import serial<br />
import csv<br />
import sys<br />
import time<br />
<br />
# Vérification de l'argument d'entrée<br />
if len(sys.argv) < 2:<br />
print("Usage: python script.py <etiquette>")<br />
sys.exit(1)<br />
<br />
etiquette = sys.argv[1]<br />
<br />
# Paramètres de l'UART<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
<br />
# Créer une connexion UART<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
<br />
# Nom du fichier CSV<br />
filename = f"data_complete.csv"<br />
<br />
# Vérifier si le fichier existe déjà<br />
file_exists = False<br />
try:<br />
with open(filename, 'r') as f:<br />
file_exists = True<br />
except FileNotFoundError:<br />
file_exists = False<br />
<br />
# Ouvrir le fichier CSV en mode append<br />
with open(filename, 'a', newline='') as file:<br />
writer = csv.writer(file)<br />
<br />
# Écrire l'en-tête si le fichier n'existait pas<br />
if not file_exists:<br />
writer.writerow(["Capteur1", "Capteur2", "Capteur3", "Capteur4", "Capteur5", "Capteur6", "Capteur7", "Capteur8", "Capteur9", "Capteur10", "Capteur11", "Capteur12", "Capteur13", "Capteur14", <br />
"Capteur15", "Capteur16", "Etiquette"])<br />
elif file_exists:<br />
writer.writerow([])<br />
while True:<br />
# Lire une ligne de données depuis l'UART<br />
data = ser.readline().decode('utf-8').rstrip()<br />
print(f"Données reçues : '{data}'")<br />
<br />
# Vérifier si des données ont été reçues<br />
if data:<br />
# Diviser les données en valeurs individuelles<br />
sensor_values = data.split(',')<br />
<br />
# Filtrer les chaînes vides ou non numériques et convertir en flottants<br />
try:<br />
sensor_values = [float(value) for value in sensor_values if value.strip().isdigit()]<br />
<br />
# Vérifier qu'il y a 16 valeurs de capteur<br />
if len(sensor_values) == 16:<br />
sensor_values.append(etiquette)<br />
writer.writerow(sensor_values)<br />
else:<br />
print("Données incomplètes reçues")<br />
<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
print(f"Données problématiques : '{data}'")<br />
<br />
time.sleep(0.1)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
* Le script commence par établir une communication série avec le STM32.<br />
* Il lit ensuite les données en série, les décode et les stocke dans un fichier CSV pour une utilisation ultérieure.<br />
<br />
* Une fois les données collectées et stockées dans le fichier CSV, elles sont préparées pour l'entraînement du modèle.<br />
* Cette préparation implique la normalisation des données, la gestion des valeurs manquantes ou aberrantes, et leur formatage dans un bon format.[[Fichier:Rpi entrainement.png|vignette|1000x1000px|néant]]<br />
=== 4. Entraînement du Modèle d'Apprentissage Automatique ===<br />
----L'entraînement du modèle est réalisé par un script Python utilisant la bibliothèque scikit-learn. Le modèle SVM, choisi pour sa capacité à gérer des espaces de grande dimension, est entraîné sur l'ensemble des données collectées. Ce processus comprend la division des données en ensembles d'entraînement et de test, l'entraînement du modèle, et sa validation par le calcul de la précision. Nous avions testé plusieurs modèle, comme par exemple un modèle Knn ou randomForest, des 3 algorithmes, c'est celui qui nous à apporté les meilleurs résultats pour un meme nombre de data d'entrainement. (RandomForest en deuxième position)<syntaxhighlight lang="python"><br />
import pandas as pd<br />
from sklearn.model_selection import train_test_split<br />
from sklearn.svm import SVC<br />
from sklearn.metrics import accuracy_score<br />
import pickle<br />
<br />
# Charger vos données<br />
data = pd.read_csv('data_complete.csv')<br />
<br />
# Séparer les caractéristiques et les étiquettes<br />
X = data.drop('Etiquette', axis=1)<br />
y = data['Etiquette']<br />
<br />
# Diviser les données en ensembles d'entraînement et de test<br />
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)<br />
<br />
# Créer et entraîner le modèle SVM<br />
model = SVC(kernel='rbf')<br />
model.fit(X_train, y_train)<br />
<br />
# Sauvegarder le modèle entraîné<br />
with open('modele_svm.pkl', 'wb') as file:<br />
pickle.dump(model, file)<br />
<br />
# Charger le modèle et faire des prédictions<br />
with open('modele_svm.pkl', 'rb') as file:<br />
loaded_model = pickle.load(file)<br />
predictions = loaded_model.predict(X_test)<br />
print("Précision :", accuracy_score(y_test, predictions))<br />
<br />
</syntaxhighlight><br />
<br />
# '''Séparation des Données''':<br />
#* Les données sont divisées en deux ensembles : un ensemble d'entraînement et un ensemble de test. Cette séparation est cruciale pour évaluer objectivement la performance du modèle.<br />
#* Généralement, on adopte une répartition de 80% pour l'entraînement et 20% pour les tests.<br />
# '''Entraînement du Modèle SVM''':<br />
#* Le modèle SVM avec un noyau RBF (Radial Basis Function) est entraîné sur l'ensemble d'entraînement.<br />
#* L'entraînement implique l'ajustement du modèle aux données d'entraînement, en apprenant à distinguer les différents signes.<br />
# '''Sauvegarde et Réutilisation du Modèle'''<br />
#* Une fois entraîné et validé, le modèle est sauvegardé à l'aide de la bibliothèque <code>pickle</code><br />
# '''Validation et Évaluation du Modèle''':<br />
#* Après l'entraînement, le modèle est testé sur l'ensemble de test pour évaluer sa performance.<br />
#* La métrique principale utilisée est la précision, qui mesure la proportion de prédictions correctes par rapport au total des prédictions.<br />
<br />
Ensuite on peut générer le modèle comme ceci:<br />
[[Fichier:Generate model.png|vignette|399x399px|néant]]<br />
<br />
Avec cette prédiction lorsque notre modèle prédit le résultat, il est correct environ 71.81% du temps.<br />
<br />
=== 5. Intégration MQTT et Communication ===<br />
----Protocole de communication :<br />
<br />
Dans le cadre de notre projet, la communication entre les dispositifs Raspberry Pi et le serveur est établie via le protocole MQTT.<br />
<br />
Justification du Choix de MQTT :<br />
<br />
Au début du projet, une approche basée sur des sockets IPv6 avait été envisagée pour tirer parti de l'adressage direct et de la simplification de la configuration réseau qu'offre IPv6. Cependant, dans le but de respecter les impératifs de sobriété énergétique et d'assurer une scalabilité optimale du système, permettant ainsi de gérer aisément un nombre croissant de dispositifs Raspberry Pi, la décision a été prise d'adopter MQTT comme protocole de communication. Le protocole MQTT, reconnu pour sa légèreté et sa fiabilité, s'adapte parfaitement aux contraintes des applications IoT.<br />
<br />
<br />
'''Installation du broker mosquitto sur le serveur:'''<br />
<syntaxhighlight lang="shell"><br />
apt install -y mosquitto mosquitto-clients<br />
service mosquitto start<br />
</syntaxhighlight><br />
<br />
Activation de l'accès à distance au Broker Mosquitto:<br />
<br />
ajouter l'authentification par username et mot de passe<br />
<syntaxhighlight lang="shell"><br />
sudo mosquitto_passwd -c /etc/mosquitto/passwd username<br />
</syntaxhighlight><br />
après on nous demande d'entrer le mot de passe <br />
<br />
Modifier le fichier /etc/mosquitto/mosquitto.conf:<br />
<syntaxhighlight lang="shell"><br />
listener 1883 10.42.0.5<br />
allow_anonymous false<br />
password_file /etc/mosquitto/passwd<br />
</syntaxhighlight><br />
<br />
Restart Mosquitto:<br />
<syntaxhighlight lang="shell"><br />
service mosquitto restart<br />
</syntaxhighlight><br />
<br />
Vérification ds logs:<br />
<syntaxhighlight lang="shell"><br />
cat /var/log/mosquitto/mosquitto.log<br />
</syntaxhighlight><br />
<br />
'''Création d'un client MQTT sur la Raspberry Pi:'''<br />
<br />
Le script mqtt_client_rpi.py joue un rôle clé dans cette architecture en facilitant la communication bidirectionnelle : il permet non seulement l'envoi des prédictions réalisées par le modèle SVM depuis la Raspberry Pi vers le serveur, mais autorise également la réception des commandes de contrôle, telles que les instructions de démarrage ou d'arrêt de la collecte de données.<br />
<br />
<syntaxhighlight lang="python"><br />
import paho.mqtt.client as mqtt<br />
import serial<br />
import pandas as pd<br />
import pickle<br />
import time<br />
<br />
<br />
<br />
MQTT_BROKER_ADDRESS = "10.42.0.5"<br />
MQTT_USERNAME = "username"<br />
MQTT_PASSWORD = "confidentiel"<br />
pi_id = "rpi1234"<br />
<br />
collecting_data = False <br />
<br />
client = mqtt.Client()<br />
client.username_pw_set(MQTT_USERNAME, MQTT_PASSWORD)<br />
client.connect(MQTT_BROKER_ADDRESS, 1883, 60)<br />
client.loop_start()<br />
<br />
<br />
def on_connect(client, userdata, flags, rc):<br />
print("Connected with result code " + str(rc))<br />
client.subscribe(f"config/{pi_id}")<br />
client.publish("raspberry_available", pi_id)<br />
<br />
def on_message(client, userdata, msg):<br />
global collecting_data<br />
if msg.topic == f"config/{pi_id}":<br />
command = msg.payload.decode()<br />
if command == "start":<br />
collecting_data = True<br />
elif command == "stop":<br />
collecting_data = False<br />
<br />
<br />
<br />
client.on_connect = on_connect<br />
client.on_message = on_message<br />
<br />
<br />
# Configurez le port série et chargez le modèle ici<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
with open('modele_svm.pkl', 'rb') as file:<br />
rf = pickle.load(file)<br />
try:<br />
<br />
while True:<br />
if collecting_data:<br />
data = ser.readline().decode('utf-8').rstrip()<br />
if data:<br />
try:<br />
sensor_values = [value for value in data.split(',') if value.strip().replace('.', '', 1).isdigit()]<br />
if len(sensor_values) == 16:<br />
sensor_values = list(map(float, sensor_values))<br />
sensor_values_df = pd.DataFrame([sensor_values])<br />
prediction = rf.predict(sensor_values_df)<br />
client.publish(f"telemetry/{pi_id}", str(prediction[0]).encode())<br />
print("Prédiction :", prediction[0])<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
else:<br />
time.sleep(0.1)<br />
<br />
except KeyboardInterrupt:<br />
print("Script interrompu")<br />
<br />
<br />
client.loop_stop()<br />
client.disconnect()<br />
</syntaxhighlight>Ici il y a 3 topics différents. lorsqu'une raspberry se connecte au réseau elle publie son ID (qui est unique, on peut prendre par exemple l'adresse MAC) sur le topic raspberry_available. Cela nous servira a savoir quelle raspberry est connecté et de se fait pouvoir afficher celles-ci sur notre interface web.<br />
<br />
le deuxième topic et le topic config/ID (avec id l'identifiant unique de la raspberry), il nous sert a envoyer les commandes "start" et "stop" a la raspberry afin qu'elle démarre ou arrête la lecture des datas.<br />
<br />
Le troisième topic est le topic telemetry/ID, ou la raspberry vient publier ses données.<br />
<br />
Un quatrième topic pourrait être implémenter comme par exemple le topic common_config, toutes les raspberrys serait abonnées a ce topic. S'il est nécessaire, cela nous permettrais d'envoyer la même commande a toutes les raspberry plutôt que de faire une publication sur chaque config/ID <br />
<br />
=== 6. Interface Serveur et Gestion des Données ===<br />
----Le serveur central, au cœur de notre système, est orchestré par le script <code>app.py</code> qui exploite le framework Flask pour mettre en place une interface serveur. Cette interface est conçue pour traiter efficacement les requêtes HTTP et les messages MQTT, offrant ainsi une API réactive pour l'interface utilisateur web. Elle permet également de visualiser en temps réel l'état des dispositifs Raspberry Pi connectés et les dernières données traitées.<br />
[[Fichier:Signspeakweb.png|centré|vignette|1000x1000px]]<br />
<br />
<br />
<br />
<syntaxhighlight lang="python"><br />
from flask import Flask, render_template, request, jsonify<br />
import paho.mqtt.client as mqtt<br />
import queue<br />
<br />
app = Flask(__name__)<br />
messages = []<br />
received_messages = queue.Queue()<br />
latest_message = None<br />
subscribed_topics = set()<br />
raspberry_ids = set()<br />
MQTT_BROKER_ADDRESS = "10.42.0.5"<br />
MQTT_USERNAME = "username"<br />
MQTT_PASSWORD = "confidentiel"<br />
<br />
<br />
mqtt_client = mqtt.Client()<br />
mqtt_client.username_pw_set(MQTT_USERNAME, MQTT_PASSWORD) <br />
mqtt_client.connect(MQTT_BROKER_ADDRESS, 1883, 60)<br />
mqtt_client.loop_start()<br />
<br />
def send_command_to_pi(pi_id, command):<br />
try:<br />
topic = f"config/{pi_id}"<br />
mqtt_client.publish(topic, command)<br />
subscribe_to_pi_telemetry(pi_id)<br />
return True, "Commande envoyée avec succès"<br />
except Exception as e:<br />
return False, f"Commande pas envoyée: Erreur MQTT : {e}"<br />
<br />
def subscribe_to_pi_telemetry(pi_id):<br />
global subscribed_topics<br />
topic = f"telemetry/{pi_id}"<br />
if topic not in subscribed_topics:<br />
mqtt_client.subscribe(topic)<br />
subscribed_topics.add(topic)<br />
<br />
def on_connect(client, userdata, flags, rc):<br />
print("Connected with result code " + str(rc))<br />
client.subscribe("raspberry_available")<br />
def on_message(client, userdata, msg):<br />
global raspberry_ids<br />
print(f"Received message on topic {msg.topic}: {msg.payload.decode()}") # Ajouter pour le débogage<br />
if msg.topic == "raspberry_available":<br />
raspberry_ids.add(msg.payload.decode())<br />
else:<br />
received_messages.put(msg.payload.decode())<br />
<br />
<br />
mqtt_client.on_connect = on_connect<br />
mqtt_client.on_message = on_message<br />
@app.route('/get-raspberry-ids')<br />
def get_raspberry_ids():<br />
return jsonify(list(raspberry_ids))<br />
@app.route('/get-latest-message')<br />
def get_latest_message():<br />
global latest_message<br />
while not received_messages.empty():<br />
messages.append(received_messages.get())<br />
<br />
latest_message = messages[-1] if messages else None<br />
<br />
# Ajoutez cet enregistrement de débogage<br />
print(f"Contenu de la réponse pour /get-latest-message : {latest_message}")<br />
<br />
if latest_message is not None:<br />
response = jsonify({"message": latest_message})<br />
return response<br />
else:<br />
message = "Aucun signe a traduire pour le moment"<br />
return jsonify(message)<br />
<br />
<br />
@app.route('/', methods=['GET', 'POST'])<br />
<br />
def index():<br />
global raspberry_ids<br />
error_message_rpi = None<br />
success_message = None<br />
<br />
if request.method == 'POST':<br />
pi_id = request.form.get('pi_id')<br />
command = request.form.get('command')<br />
if pi_id and command in ["start", "stop"]:<br />
success, er_message = send_command_to_pi(pi_id, command)<br />
if success:<br />
success_message = "Commande envoyée avec succès"<br />
else:<br />
error_message_rpi = er_message<br />
<br />
<br />
return render_template('index.html', raspberry_ids=list(raspberry_ids), error_message_rpi=error_message_rpi, success_message=success_message, message=latest_message)<br />
<br />
if __name__ == '__main__':<br />
app.run(debug=False, port=8066)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
=== 7. Conception de l'Interface Utilisateur ===<br />
----L'interface utilisateur, développée à l'aide des technologies web standard HTML, CSS, et JavaScript, offre une expérience interactive. Le fichier index.html constitue le point d'entrée de cette interface, proposant des fonctionnalités telles que l'envoi de commandes aux dispositifs Raspberry Pi et la visualisation des données traitées. L'utilisation de JavaScript pour interroger dynamiquement le serveur Flask permet de rafraîchir les informations affichées en temps réel, garantissant ainsi une interface réactive et à jour.<br />
<br />
<br />
<br />
index.html:<br />
<syntaxhighlight lang="html"><br />
<!DOCTYPE html><br />
<html><br />
<head><br />
<title>SignSpeak - Traducteur de Langage des Signes</title><br />
<link rel="stylesheet" href="https://stackpath.bootstrapcdn.com/bootstrap/4.3.1/css/bootstrap.min.css"><br />
<style><br />
body {<br />
background-color: #343a40; /* Couleur d'arrière-plan foncé */<br />
color: #ced4da; /* Gris clair pour le texte pour un meilleur contraste */<br />
}<br />
.card {<br />
background-color: #495057; /* Fond des encadrés plus sombre */<br />
}<br />
.card-title, .card-text, .alert {<br />
color: #adb5bd; /* Gris plus doux pour les titres, le texte et les alertes */<br />
}<br />
.btn-primary {<br />
background-color: #007bff; /* Bleu Bootstrap par défaut pour les boutons */<br />
border-color: #007bff;<br />
}<br />
.btn-danger {<br />
background-color: #dc3545; /* Rouge Bootstrap par défaut pour les boutons d'arrêt */<br />
border-color: #dc3545;<br />
}<br />
.form-control {<br />
background-color: #495057; /* Fond des champs de saisie plus sombre */<br />
border: 1px solid #6c757d;<br />
color: #ced4da; /* Couleur du texte dans les champs de saisie */<br />
}<br />
a, .btn-secondary {<br />
color: #17a2b8; /* Bleu clair pour les liens et les boutons secondaires */<br />
}<br />
a:hover {<br />
color: #138496; /* Bleu plus foncé au survol des liens */<br />
}<br />
/* Autres styles personnalisés ici */<br />
#latest-message {<br />
background-color: #596069; /* Couleur de fond plus claire pour l'encadré */<br />
border: 1px solid #6c757d; /* Bordure pour distinguer l'encadré */<br />
color: #E9ECEF; /* Couleur du texte plus claire pour un meilleur contraste */<br />
padding: 10px; /* Espace intérieur pour que le texte ne touche pas les bords */<br />
border-radius: 5px; /* Bords arrondis pour l'encadré */<br />
}<br />
</style><br />
</head><br />
<body><br />
<div class="container mt-5"><br />
<h1 class="text-center mb-4">SignSpeak - Traducteur de Langage des Signes</h1><br />
<br />
<div class="row"><br />
<!-- Encadré pour les Raspberry Pi Disponibles --><br />
<div class="col-md-12"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Raspberry Pi Disponibles</h2><br />
<ul id="raspberry-list" class="list-group list-group-flush"><br />
<!-- Les IDs seront ajoutés ici par JavaScript --><br />
</ul><br />
</div><br />
</div><br />
</div><br />
</div><br />
<br />
<div class="row"><br />
<!-- Encadré pour la Collecte des données --><br />
<div class="col-lg-6"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Collecte de données</h2><br />
<form method="post" class="form-inline"><br />
<input type="text" class="form-control mb-2 mr-sm-2" name="pi_id" placeholder="Entrez l'ID de la Raspberry Pi" required><br />
<button type="submit" class="btn btn-primary mb-2 mr-sm-2" name="command" value="start">Démarrer la Collecte</button><br />
<button type="submit" class="btn btn-danger mb-2" name="command" value="stop">Arrêter la Collecte</button><br />
</form><br />
</div><br />
</div><br />
</div><br />
<br />
<!-- Encadré pour le Dernier Message Reçu --><br />
<div class="col-lg-6"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Dernier Message Reçu</h2><br />
<div id="latest-message" class="alert alert-dark"><br />
Aucun message reçu pour le moment. <br />
</div><br />
</div><br />
</div><br />
</div><br />
</div><br />
<br />
<div class="mb-3 text-center"><br />
<a href="/logs" class="btn btn-secondary">Voir les Logs</a><br />
</div><br />
</div><br />
<script><br />
function fetchRaspberryIds() {<br />
var xhr = new XMLHttpRequest();<br />
xhr.onreadystatechange = function() {<br />
if (xhr.readyState == XMLHttpRequest.DONE) {<br />
if (xhr.status == 200) {<br />
var ids = JSON.parse(xhr.responseText);<br />
var list = document.getElementById('raspberry-list');<br />
list.innerHTML = '';<br />
ids.forEach(function(id) {<br />
var li = document.createElement('li');<br />
li.textContent = id;<br />
list.appendChild(li);<br />
});<br />
}<br />
}<br />
}<br />
xhr.open('GET', '/get-raspberry-ids', true);<br />
xhr.send();<br />
}<br />
<br />
function fetchLatestMessage() {<br />
var xhr = new XMLHttpRequest();<br />
xhr.onreadystatechange = function() {<br />
if (xhr.readyState == XMLHttpRequest.DONE) {<br />
if (xhr.status == 200) {<br />
console.log(xhr.responseText)<br />
document.getElementById('latest-message').textContent = xhr.responseText;<br />
}<br />
}<br />
}<br />
xhr.open('GET', '/get-latest-message', true);<br />
xhr.send();<br />
}<br />
<br />
setInterval(fetchRaspberryIds, 5000); // Met à jour les IDs toutes les 5 secondes<br />
setInterval(fetchLatestMessage, 500); // Met à jour le dernier message toutes les secondes<br />
</script><br />
<br />
<br />
<!-- Les messages d'alerte dynamiques ici --><br />
{% if error_message_rpi %}<br />
<script><br />
alert("{{ error_message_rpi }}");<br />
</script><br />
{% endif %}<br />
<br />
{% if success_message %}<br />
<script><br />
alert("{{ success_message }}");<br />
</script><br />
{% endif %}<br />
</body><br />
</html><br />
<br />
</syntaxhighlight>On a aussi ajouté une page de logs, qui permet de voir l'historique de tous les données traitées.<br />
<br />
=== 9. Conclusion et Perspectives ===<br />
----SignSpeak représente une avancée significative dans le domaine de la traduction du langage des signes. Ce projet non seulement démont<br />
<br />
== Vidéo ==<br />
Lorsque l'on clique sur "démarrer la collecte" en ayant spécifié un ID, on peut voir en temps réel le résultat dans le cadre Dernier Message Recu.<br />
<br />
[[Fichier:RPReplay_Final1706462779.mov|sans_cadre]]</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_ECEAI/eceai_2023/2024/black-blgrim&diff=4888SE5 ECEAI/eceai 2023/2024/black-blgrim2024-01-28T17:39:21Z<p>Bblack : /* Vidéo */</p>
<hr />
<div>=Compte rendu des séances=<br />
==Séance du 04/12/2023==<br />
===Création de la machine virtuelle===<br />
Création d'une machine virtuelle sur le serveur chassiron :<br />
<br />
<code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code><br />
<br />
[[Fichier:IfconfigVM.png|sans_cadre]]<br />
===Raspberry-Pi===<br />
mettre la config de la raspberry<br />
<br />
<br />
'''<big>Capteurs</big>'''<br />
<br />
pas de capteurs lors de la première séance<br />
<br />
== Séance du 18/12/2023 ==<br />
<br />
=== Sur la VM ===<br />
script serveur.py<br />
<br />
=== sur la raspberry ===<br />
script client.py<br />
<br />
lecture sur l'uart des données envoyés par le stm32<br />
<br />
envoie au serveur (tcp)<br />
<br />
<br />
=== sur le capteur ===<br />
pris ene main du capteur, mettre le code,<br />
<br />
== Séance du 19/12/2023 et du 20/12/2023 ==<br />
utilisation de la bibliothèque sciait-learn pour l'apprentissage automatique. Nous avons décidé que le but de notre application serait de traduire le langage des signes.<br />
<br />
Pour cela nous avons entrainé notre modèle avec quelques signes, comme la lettre A, B ou C et des chiffres 1, 2 et 3 pour commencer.<br />
<br />
//mettre screen des résultats entrainement.py et test.py<br />
<br />
Les résultats sont satisfaisants mais avec quelques erreurs, la prochaine étape est donc d'améliorer notre algorithme d'apprentissage (pour l'instant on utilise l'algorithme des k plus proches voisins), pour cela nous allons rajouter par exemple du filtrage et tester d'autres algo d'apprentissage automatique<br />
<br />
Coté serveur:<br />
<br />
Création d'un serveur web, afin de lire les données qui proviennet depuis la raspberrypi et les afficher.<br />
<br />
<br />
'''<big>Mise en Place de l'algorithme d'apprentissage</big>'''<br />
<br />
nous avons tester plusieurs méthode d'apprentissage comme la '''Méthode des k plus proches voisins''' (K-Neighbour) ou encore '''forêt aléatoire''' Random forest.<br />
<br />
'''Random Forest'''<br />
<br />
<br />
<br />
== '''Présentation du projet''' ==<br />
<br />
=== 1. Introduction ===<br />
----Le projet SignSpeak a pour ambition de créer une solution innovante pour la traduction du langage des signes en texte. L'objectif principal est de développer un système capable de capturer les mouvements des mains et de les interpréter en langage des signes, permettant une communication fluide entre les personnes sourdes ou malentendantes et celles qui ne connaissent pas le langage des signes. Ce projet intègre des technologies avancées telles que l'edge computing, l'intelligence artificielle embarquée, et les communications MQTT, offrant une approche novatrice dans le domaine de l'accessibilité et de la communication.<br />
<br />
=== 2. Architecture du Système ===<br />
----Notre solution repose sur une architecture intégrée impliquant plusieurs composants clés :<br />
<br />
* '''Capteurs et STM32''' : Des capteurs sont connectés à un microcontrôleur STM32, responsables de la capture des mouvements de main. Ces données sont ensuite transmises pour traitement.<br />
* '''Raspberry Pi''' : Agissant comme un intermédiaire, la Raspberry Pi reçoit les données des capteurs via UART, exécute un traitement préliminaire et communique avec le serveur.<br />
* '''Serveur et Machine Learning''' : Un serveur, hébergé sur une VM Xen, traite les données à l'aide d'un modèle SVM pour la traduction en langage des signes et fournit une interface web pour l'interaction utilisateur.<br />
*<br />
<br />
=== 3. Collecte et Préparation des Données ===<br />
----Le processus de collecte des données est géré par le script <code>enregistrementData.py</code>. Ce script lit les données transmises par le STM32 via UART et les enregistre dans un fichier CSV. Chaque entrée du fichier représente les valeurs de capteurs à un moment donné, accompagnées d'une étiquette correspondant au signe effectué. Cette approche assure une collecte de données structurée, essentielle pour l'entraînement précis du modèle d'apprentissage automatique.<syntaxhighlight lang="python"><br />
import serial<br />
import csv<br />
import sys<br />
import time<br />
<br />
# Vérification de l'argument d'entrée<br />
if len(sys.argv) < 2:<br />
print("Usage: python script.py <etiquette>")<br />
sys.exit(1)<br />
<br />
etiquette = sys.argv[1]<br />
<br />
# Paramètres de l'UART<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
<br />
# Créer une connexion UART<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
<br />
# Nom du fichier CSV<br />
filename = f"data_complete.csv"<br />
<br />
# Vérifier si le fichier existe déjà<br />
file_exists = False<br />
try:<br />
with open(filename, 'r') as f:<br />
file_exists = True<br />
except FileNotFoundError:<br />
file_exists = False<br />
<br />
# Ouvrir le fichier CSV en mode append<br />
with open(filename, 'a', newline='') as file:<br />
writer = csv.writer(file)<br />
<br />
# Écrire l'en-tête si le fichier n'existait pas<br />
if not file_exists:<br />
writer.writerow(["Capteur1", "Capteur2", "Capteur3", "Capteur4", "Capteur5", "Capteur6", "Capteur7", "Capteur8", "Capteur9", "Capteur10", "Capteur11", "Capteur12", "Capteur13", "Capteur14", <br />
"Capteur15", "Capteur16", "Etiquette"])<br />
elif file_exists:<br />
writer.writerow([])<br />
while True:<br />
# Lire une ligne de données depuis l'UART<br />
data = ser.readline().decode('utf-8').rstrip()<br />
print(f"Données reçues : '{data}'")<br />
<br />
# Vérifier si des données ont été reçues<br />
if data:<br />
# Diviser les données en valeurs individuelles<br />
sensor_values = data.split(',')<br />
<br />
# Filtrer les chaînes vides ou non numériques et convertir en flottants<br />
try:<br />
sensor_values = [float(value) for value in sensor_values if value.strip().isdigit()]<br />
<br />
# Vérifier qu'il y a 16 valeurs de capteur<br />
if len(sensor_values) == 16:<br />
sensor_values.append(etiquette)<br />
writer.writerow(sensor_values)<br />
else:<br />
print("Données incomplètes reçues")<br />
<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
print(f"Données problématiques : '{data}'")<br />
<br />
time.sleep(0.1)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
* Le script commence par établir une communication série avec le STM32.<br />
* Il lit ensuite les données en série, les décode et les stocke dans un fichier CSV pour une utilisation ultérieure.<br />
<br />
* Une fois les données collectées et stockées dans le fichier CSV, elles sont préparées pour l'entraînement du modèle.<br />
* Cette préparation implique la normalisation des données, la gestion des valeurs manquantes ou aberrantes, et leur formatage dans un bon format.[[Fichier:Rpi entrainement.png|vignette|1000x1000px|néant]]<br />
=== 4. Entraînement du Modèle d'Apprentissage Automatique ===<br />
----L'entraînement du modèle est réalisé par un script Python utilisant la bibliothèque scikit-learn. Le modèle SVM, choisi pour sa capacité à gérer des espaces de grande dimension, est entraîné sur l'ensemble des données collectées. Ce processus comprend la division des données en ensembles d'entraînement et de test, l'entraînement du modèle, et sa validation par le calcul de la précision. Nous avions testé plusieurs modèle, comme par exemple un modèle Knn ou randomForest, des 3 algorithmes, c'est celui qui nous à apporté les meilleurs résultats pour un meme nombre de data d'entrainement. (RandomForest en deuxième position)<syntaxhighlight lang="python"><br />
import pandas as pd<br />
from sklearn.model_selection import train_test_split<br />
from sklearn.svm import SVC<br />
from sklearn.metrics import accuracy_score<br />
import pickle<br />
<br />
# Charger vos données<br />
data = pd.read_csv('data_complete.csv')<br />
<br />
# Séparer les caractéristiques et les étiquettes<br />
X = data.drop('Etiquette', axis=1)<br />
y = data['Etiquette']<br />
<br />
# Diviser les données en ensembles d'entraînement et de test<br />
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)<br />
<br />
# Créer et entraîner le modèle SVM<br />
model = SVC(kernel='rbf')<br />
model.fit(X_train, y_train)<br />
<br />
# Sauvegarder le modèle entraîné<br />
with open('modele_svm.pkl', 'wb') as file:<br />
pickle.dump(model, file)<br />
<br />
# Charger le modèle et faire des prédictions<br />
with open('modele_svm.pkl', 'rb') as file:<br />
loaded_model = pickle.load(file)<br />
predictions = loaded_model.predict(X_test)<br />
print("Précision :", accuracy_score(y_test, predictions))<br />
<br />
</syntaxhighlight><br />
<br />
# '''Séparation des Données''':<br />
#* Les données sont divisées en deux ensembles : un ensemble d'entraînement et un ensemble de test. Cette séparation est cruciale pour évaluer objectivement la performance du modèle.<br />
#* Généralement, on adopte une répartition de 80% pour l'entraînement et 20% pour les tests.<br />
# '''Entraînement du Modèle SVM''':<br />
#* Le modèle SVM avec un noyau RBF (Radial Basis Function) est entraîné sur l'ensemble d'entraînement.<br />
#* L'entraînement implique l'ajustement du modèle aux données d'entraînement, en apprenant à distinguer les différents signes.<br />
# '''Sauvegarde et Réutilisation du Modèle'''<br />
#* Une fois entraîné et validé, le modèle est sauvegardé à l'aide de la bibliothèque <code>pickle</code><br />
# '''Validation et Évaluation du Modèle''':<br />
#* Après l'entraînement, le modèle est testé sur l'ensemble de test pour évaluer sa performance.<br />
#* La métrique principale utilisée est la précision, qui mesure la proportion de prédictions correctes par rapport au total des prédictions.<br />
<br />
Ensuite on peut générer le modèle comme ceci:<br />
[[Fichier:Generate model.png|vignette|399x399px|néant]]<br />
<br />
Avec cette prédiction lorsque notre modèle prédit le résultat, il est correct environ 71.81% du temps.<br />
<br />
=== 5. Intégration MQTT et Communication ===<br />
----Protocole de communication :<br />
<br />
Dans le cadre de notre projet, la communication entre les dispositifs Raspberry Pi et le serveur est établie via le protocole MQTT.<br />
<br />
Justification du Choix de MQTT :<br />
<br />
Au début du projet, une approche basée sur des sockets IPv6 avait été envisagée pour tirer parti de l'adressage direct et de la simplification de la configuration réseau qu'offre IPv6. Cependant, dans le but de respecter les impératifs de sobriété énergétique et d'assurer une scalabilité optimale du système, permettant ainsi de gérer aisément un nombre croissant de dispositifs Raspberry Pi, la décision a été prise d'adopter MQTT comme protocole de communication. Le protocole MQTT, reconnu pour sa légèreté et sa fiabilité, s'adapte parfaitement aux contraintes des applications IoT.<br />
<br />
<br />
'''Installation du broker mosquitto sur le serveur:'''<br />
<syntaxhighlight lang="shell"><br />
apt install -y mosquitto mosquitto-clients<br />
service mosquitto start<br />
</syntaxhighlight><br />
<br />
Activation de l'accès à distance au Broker Mosquitto:<br />
<br />
ajouter l'authentification par username et mot de passe<br />
<syntaxhighlight lang="shell"><br />
sudo mosquitto_passwd -c /etc/mosquitto/passwd username<br />
</syntaxhighlight><br />
après on nous demande d'entrer le mot de passe <br />
<br />
Modifier le fichier /etc/mosquitto/mosquitto.conf:<br />
<syntaxhighlight lang="shell"><br />
listener 1883 10.42.0.5<br />
allow_anonymous false<br />
password_file /etc/mosquitto/passwd<br />
</syntaxhighlight><br />
<br />
Restart Mosquitto:<br />
<syntaxhighlight lang="shell"><br />
service mosquitto restart<br />
</syntaxhighlight><br />
<br />
Vérification ds logs:<br />
<syntaxhighlight lang="shell"><br />
cat /var/log/mosquitto/mosquitto.log<br />
</syntaxhighlight><br />
<br />
'''Création d'un client MQTT sur la Raspberry Pi:'''<br />
<br />
Le script mqtt_client_rpi.py joue un rôle clé dans cette architecture en facilitant la communication bidirectionnelle : il permet non seulement l'envoi des prédictions réalisées par le modèle SVM depuis la Raspberry Pi vers le serveur, mais autorise également la réception des commandes de contrôle, telles que les instructions de démarrage ou d'arrêt de la collecte de données.<br />
<br />
<syntaxhighlight lang="python"><br />
import paho.mqtt.client as mqtt<br />
import serial<br />
import pandas as pd<br />
import pickle<br />
import time<br />
<br />
<br />
<br />
MQTT_BROKER_ADDRESS = "10.42.0.5"<br />
MQTT_USERNAME = "username"<br />
MQTT_PASSWORD = "confidentiel"<br />
pi_id = "rpi1234"<br />
<br />
collecting_data = False <br />
<br />
client = mqtt.Client()<br />
client.username_pw_set(MQTT_USERNAME, MQTT_PASSWORD)<br />
client.connect(MQTT_BROKER_ADDRESS, 1883, 60)<br />
client.loop_start()<br />
<br />
<br />
def on_connect(client, userdata, flags, rc):<br />
print("Connected with result code " + str(rc))<br />
client.subscribe(f"config/{pi_id}")<br />
client.publish("raspberry_available", pi_id)<br />
<br />
def on_message(client, userdata, msg):<br />
global collecting_data<br />
if msg.topic == f"config/{pi_id}":<br />
command = msg.payload.decode()<br />
if command == "start":<br />
collecting_data = True<br />
elif command == "stop":<br />
collecting_data = False<br />
<br />
<br />
<br />
client.on_connect = on_connect<br />
client.on_message = on_message<br />
<br />
<br />
# Configurez le port série et chargez le modèle ici<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
with open('modele_svm.pkl', 'rb') as file:<br />
rf = pickle.load(file)<br />
try:<br />
<br />
while True:<br />
if collecting_data:<br />
data = ser.readline().decode('utf-8').rstrip()<br />
if data:<br />
try:<br />
sensor_values = [value for value in data.split(',') if value.strip().replace('.', '', 1).isdigit()]<br />
if len(sensor_values) == 16:<br />
sensor_values = list(map(float, sensor_values))<br />
sensor_values_df = pd.DataFrame([sensor_values])<br />
prediction = rf.predict(sensor_values_df)<br />
client.publish(f"telemetry/{pi_id}", str(prediction[0]).encode())<br />
print("Prédiction :", prediction[0])<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
else:<br />
time.sleep(0.1)<br />
<br />
except KeyboardInterrupt:<br />
print("Script interrompu")<br />
<br />
<br />
client.loop_stop()<br />
client.disconnect()<br />
</syntaxhighlight>Ici il y a 3 topics différents. lorsqu'une raspberry se connecte au réseau elle publie son ID (qui est unique, on peut prendre par exemple l'adresse MAC) sur le topic raspberry_available. Cela nous servira a savoir quelle raspberry est connecté et de se fait pouvoir afficher celles-ci sur notre interface web.<br />
<br />
le deuxième topic et le topic config/ID (avec id l'identifiant unique de la raspberry), il nous sert a envoyer les commandes "start" et "stop" a la raspberry afin qu'elle démarre ou arrête la lecture des datas.<br />
<br />
Le troisième topic est le topic telemetry/ID, ou la raspberry vient publier ses données.<br />
<br />
Un quatrième topic pourrait être implémenter comme par exemple le topic common_config, toutes les raspberrys serait abonnées a ce topic. S'il est nécessaire, cela nous permettrais d'envoyer la même commande a toutes les raspberry plutôt que de faire une publication sur chaque config/ID <br />
<br />
=== 6. Interface Serveur et Gestion des Données ===<br />
----Le serveur central, au cœur de notre système, est orchestré par le script <code>app.py</code> qui exploite le framework Flask pour mettre en place une interface serveur. Cette interface est conçue pour traiter efficacement les requêtes HTTP et les messages MQTT, offrant ainsi une API réactive pour l'interface utilisateur web. Elle permet également de visualiser en temps réel l'état des dispositifs Raspberry Pi connectés et les dernières données traitées.<br />
[[Fichier:Signspeakweb.png|centré|vignette|1000x1000px]]<br />
<br />
<br />
<br />
<syntaxhighlight lang="python"><br />
from flask import Flask, render_template, request, jsonify<br />
import paho.mqtt.client as mqtt<br />
import queue<br />
<br />
app = Flask(__name__)<br />
messages = []<br />
received_messages = queue.Queue()<br />
latest_message = None<br />
subscribed_topics = set()<br />
raspberry_ids = set()<br />
MQTT_BROKER_ADDRESS = "10.42.0.5"<br />
MQTT_USERNAME = "username"<br />
MQTT_PASSWORD = "confidentiel"<br />
<br />
<br />
mqtt_client = mqtt.Client()<br />
mqtt_client.username_pw_set(MQTT_USERNAME, MQTT_PASSWORD) <br />
mqtt_client.connect(MQTT_BROKER_ADDRESS, 1883, 60)<br />
mqtt_client.loop_start()<br />
<br />
def send_command_to_pi(pi_id, command):<br />
try:<br />
topic = f"config/{pi_id}"<br />
mqtt_client.publish(topic, command)<br />
subscribe_to_pi_telemetry(pi_id)<br />
return True, "Commande envoyée avec succès"<br />
except Exception as e:<br />
return False, f"Commande pas envoyée: Erreur MQTT : {e}"<br />
<br />
def subscribe_to_pi_telemetry(pi_id):<br />
global subscribed_topics<br />
topic = f"telemetry/{pi_id}"<br />
if topic not in subscribed_topics:<br />
mqtt_client.subscribe(topic)<br />
subscribed_topics.add(topic)<br />
<br />
def on_connect(client, userdata, flags, rc):<br />
print("Connected with result code " + str(rc))<br />
client.subscribe("raspberry_available")<br />
def on_message(client, userdata, msg):<br />
global raspberry_ids<br />
print(f"Received message on topic {msg.topic}: {msg.payload.decode()}") # Ajouter pour le débogage<br />
if msg.topic == "raspberry_available":<br />
raspberry_ids.add(msg.payload.decode())<br />
else:<br />
received_messages.put(msg.payload.decode())<br />
<br />
<br />
mqtt_client.on_connect = on_connect<br />
mqtt_client.on_message = on_message<br />
@app.route('/get-raspberry-ids')<br />
def get_raspberry_ids():<br />
return jsonify(list(raspberry_ids))<br />
@app.route('/get-latest-message')<br />
def get_latest_message():<br />
global latest_message<br />
while not received_messages.empty():<br />
messages.append(received_messages.get())<br />
<br />
latest_message = messages[-1] if messages else None<br />
<br />
# Ajoutez cet enregistrement de débogage<br />
print(f"Contenu de la réponse pour /get-latest-message : {latest_message}")<br />
<br />
if latest_message is not None:<br />
response = jsonify({"message": latest_message})<br />
return response<br />
else:<br />
message = "Aucun signe a traduire pour le moment"<br />
return jsonify(message)<br />
<br />
<br />
@app.route('/', methods=['GET', 'POST'])<br />
<br />
def index():<br />
global raspberry_ids<br />
error_message_rpi = None<br />
success_message = None<br />
<br />
if request.method == 'POST':<br />
pi_id = request.form.get('pi_id')<br />
command = request.form.get('command')<br />
if pi_id and command in ["start", "stop"]:<br />
success, er_message = send_command_to_pi(pi_id, command)<br />
if success:<br />
success_message = "Commande envoyée avec succès"<br />
else:<br />
error_message_rpi = er_message<br />
<br />
<br />
return render_template('index.html', raspberry_ids=list(raspberry_ids), error_message_rpi=error_message_rpi, success_message=success_message, message=latest_message)<br />
<br />
if __name__ == '__main__':<br />
app.run(debug=False, port=8066)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
=== 7. Conception de l'Interface Utilisateur ===<br />
----L'interface utilisateur, développée à l'aide des technologies web standard HTML, CSS, et JavaScript, offre une expérience interactive. Le fichier index.html constitue le point d'entrée de cette interface, proposant des fonctionnalités telles que l'envoi de commandes aux dispositifs Raspberry Pi et la visualisation des données traitées. L'utilisation de JavaScript pour interroger dynamiquement le serveur Flask permet de rafraîchir les informations affichées en temps réel, garantissant ainsi une interface réactive et à jour.<br />
<br />
<br />
<br />
index.html:<br />
<syntaxhighlight lang="html"><br />
<!DOCTYPE html><br />
<html><br />
<head><br />
<title>SignSpeak - Traducteur de Langage des Signes</title><br />
<link rel="stylesheet" href="https://stackpath.bootstrapcdn.com/bootstrap/4.3.1/css/bootstrap.min.css"><br />
<style><br />
body {<br />
background-color: #343a40; /* Couleur d'arrière-plan foncé */<br />
color: #ced4da; /* Gris clair pour le texte pour un meilleur contraste */<br />
}<br />
.card {<br />
background-color: #495057; /* Fond des encadrés plus sombre */<br />
}<br />
.card-title, .card-text, .alert {<br />
color: #adb5bd; /* Gris plus doux pour les titres, le texte et les alertes */<br />
}<br />
.btn-primary {<br />
background-color: #007bff; /* Bleu Bootstrap par défaut pour les boutons */<br />
border-color: #007bff;<br />
}<br />
.btn-danger {<br />
background-color: #dc3545; /* Rouge Bootstrap par défaut pour les boutons d'arrêt */<br />
border-color: #dc3545;<br />
}<br />
.form-control {<br />
background-color: #495057; /* Fond des champs de saisie plus sombre */<br />
border: 1px solid #6c757d;<br />
color: #ced4da; /* Couleur du texte dans les champs de saisie */<br />
}<br />
a, .btn-secondary {<br />
color: #17a2b8; /* Bleu clair pour les liens et les boutons secondaires */<br />
}<br />
a:hover {<br />
color: #138496; /* Bleu plus foncé au survol des liens */<br />
}<br />
/* Autres styles personnalisés ici */<br />
#latest-message {<br />
background-color: #596069; /* Couleur de fond plus claire pour l'encadré */<br />
border: 1px solid #6c757d; /* Bordure pour distinguer l'encadré */<br />
color: #E9ECEF; /* Couleur du texte plus claire pour un meilleur contraste */<br />
padding: 10px; /* Espace intérieur pour que le texte ne touche pas les bords */<br />
border-radius: 5px; /* Bords arrondis pour l'encadré */<br />
}<br />
</style><br />
</head><br />
<body><br />
<div class="container mt-5"><br />
<h1 class="text-center mb-4">SignSpeak - Traducteur de Langage des Signes</h1><br />
<br />
<div class="row"><br />
<!-- Encadré pour les Raspberry Pi Disponibles --><br />
<div class="col-md-12"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Raspberry Pi Disponibles</h2><br />
<ul id="raspberry-list" class="list-group list-group-flush"><br />
<!-- Les IDs seront ajoutés ici par JavaScript --><br />
</ul><br />
</div><br />
</div><br />
</div><br />
</div><br />
<br />
<div class="row"><br />
<!-- Encadré pour la Collecte des données --><br />
<div class="col-lg-6"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Collecte de données</h2><br />
<form method="post" class="form-inline"><br />
<input type="text" class="form-control mb-2 mr-sm-2" name="pi_id" placeholder="Entrez l'ID de la Raspberry Pi" required><br />
<button type="submit" class="btn btn-primary mb-2 mr-sm-2" name="command" value="start">Démarrer la Collecte</button><br />
<button type="submit" class="btn btn-danger mb-2" name="command" value="stop">Arrêter la Collecte</button><br />
</form><br />
</div><br />
</div><br />
</div><br />
<br />
<!-- Encadré pour le Dernier Message Reçu --><br />
<div class="col-lg-6"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Dernier Message Reçu</h2><br />
<div id="latest-message" class="alert alert-dark"><br />
Aucun message reçu pour le moment. <br />
</div><br />
</div><br />
</div><br />
</div><br />
</div><br />
<br />
<div class="mb-3 text-center"><br />
<a href="/logs" class="btn btn-secondary">Voir les Logs</a><br />
</div><br />
</div><br />
<script><br />
function fetchRaspberryIds() {<br />
var xhr = new XMLHttpRequest();<br />
xhr.onreadystatechange = function() {<br />
if (xhr.readyState == XMLHttpRequest.DONE) {<br />
if (xhr.status == 200) {<br />
var ids = JSON.parse(xhr.responseText);<br />
var list = document.getElementById('raspberry-list');<br />
list.innerHTML = '';<br />
ids.forEach(function(id) {<br />
var li = document.createElement('li');<br />
li.textContent = id;<br />
list.appendChild(li);<br />
});<br />
}<br />
}<br />
}<br />
xhr.open('GET', '/get-raspberry-ids', true);<br />
xhr.send();<br />
}<br />
<br />
function fetchLatestMessage() {<br />
var xhr = new XMLHttpRequest();<br />
xhr.onreadystatechange = function() {<br />
if (xhr.readyState == XMLHttpRequest.DONE) {<br />
if (xhr.status == 200) {<br />
console.log(xhr.responseText)<br />
document.getElementById('latest-message').textContent = xhr.responseText;<br />
}<br />
}<br />
}<br />
xhr.open('GET', '/get-latest-message', true);<br />
xhr.send();<br />
}<br />
<br />
setInterval(fetchRaspberryIds, 5000); // Met à jour les IDs toutes les 5 secondes<br />
setInterval(fetchLatestMessage, 500); // Met à jour le dernier message toutes les secondes<br />
</script><br />
<br />
<br />
<!-- Les messages d'alerte dynamiques ici --><br />
{% if error_message_rpi %}<br />
<script><br />
alert("{{ error_message_rpi }}");<br />
</script><br />
{% endif %}<br />
<br />
{% if success_message %}<br />
<script><br />
alert("{{ success_message }}");<br />
</script><br />
{% endif %}<br />
</body><br />
</html><br />
<br />
</syntaxhighlight>On a aussi ajouté une page de logs, qui permet de voir l'historique de tous les données traitées.<br />
<br />
=== 9. Conclusion et Perspectives ===<br />
----SignSpeak représente une avancée significative dans le domaine de la traduction du langage des signes. Ce projet non seulement démont<br />
<br />
== Vidéo ==<br />
[[Fichier:RPReplay_Final1706462779.mov|sans_cadre]]</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_ECEAI/eceai_2023/2024/black-blgrim&diff=4886SE5 ECEAI/eceai 2023/2024/black-blgrim2024-01-28T17:38:27Z<p>Bblack : /* Vidéo */</p>
<hr />
<div>=Compte rendu des séances=<br />
==Séance du 04/12/2023==<br />
===Création de la machine virtuelle===<br />
Création d'une machine virtuelle sur le serveur chassiron :<br />
<br />
<code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code><br />
<br />
[[Fichier:IfconfigVM.png|sans_cadre]]<br />
===Raspberry-Pi===<br />
mettre la config de la raspberry<br />
<br />
<br />
'''<big>Capteurs</big>'''<br />
<br />
pas de capteurs lors de la première séance<br />
<br />
== Séance du 18/12/2023 ==<br />
<br />
=== Sur la VM ===<br />
script serveur.py<br />
<br />
=== sur la raspberry ===<br />
script client.py<br />
<br />
lecture sur l'uart des données envoyés par le stm32<br />
<br />
envoie au serveur (tcp)<br />
<br />
<br />
=== sur le capteur ===<br />
pris ene main du capteur, mettre le code,<br />
<br />
== Séance du 19/12/2023 et du 20/12/2023 ==<br />
utilisation de la bibliothèque sciait-learn pour l'apprentissage automatique. Nous avons décidé que le but de notre application serait de traduire le langage des signes.<br />
<br />
Pour cela nous avons entrainé notre modèle avec quelques signes, comme la lettre A, B ou C et des chiffres 1, 2 et 3 pour commencer.<br />
<br />
//mettre screen des résultats entrainement.py et test.py<br />
<br />
Les résultats sont satisfaisants mais avec quelques erreurs, la prochaine étape est donc d'améliorer notre algorithme d'apprentissage (pour l'instant on utilise l'algorithme des k plus proches voisins), pour cela nous allons rajouter par exemple du filtrage et tester d'autres algo d'apprentissage automatique<br />
<br />
Coté serveur:<br />
<br />
Création d'un serveur web, afin de lire les données qui proviennet depuis la raspberrypi et les afficher.<br />
<br />
<br />
'''<big>Mise en Place de l'algorithme d'apprentissage</big>'''<br />
<br />
nous avons tester plusieurs méthode d'apprentissage comme la '''Méthode des k plus proches voisins''' (K-Neighbour) ou encore '''forêt aléatoire''' Random forest.<br />
<br />
'''Random Forest'''<br />
<br />
<br />
<br />
== '''Présentation du projet''' ==<br />
<br />
=== 1. Introduction ===<br />
----Le projet SignSpeak a pour ambition de créer une solution innovante pour la traduction du langage des signes en texte. L'objectif principal est de développer un système capable de capturer les mouvements des mains et de les interpréter en langage des signes, permettant une communication fluide entre les personnes sourdes ou malentendantes et celles qui ne connaissent pas le langage des signes. Ce projet intègre des technologies avancées telles que l'edge computing, l'intelligence artificielle embarquée, et les communications MQTT, offrant une approche novatrice dans le domaine de l'accessibilité et de la communication.<br />
<br />
=== 2. Architecture du Système ===<br />
----Notre solution repose sur une architecture intégrée impliquant plusieurs composants clés :<br />
<br />
* '''Capteurs et STM32''' : Des capteurs sont connectés à un microcontrôleur STM32, responsables de la capture des mouvements de main. Ces données sont ensuite transmises pour traitement.<br />
* '''Raspberry Pi''' : Agissant comme un intermédiaire, la Raspberry Pi reçoit les données des capteurs via UART, exécute un traitement préliminaire et communique avec le serveur.<br />
* '''Serveur et Machine Learning''' : Un serveur, hébergé sur une VM Xen, traite les données à l'aide d'un modèle SVM pour la traduction en langage des signes et fournit une interface web pour l'interaction utilisateur.<br />
*<br />
<br />
=== 3. Collecte et Préparation des Données ===<br />
----Le processus de collecte des données est géré par le script <code>enregistrementData.py</code>. Ce script lit les données transmises par le STM32 via UART et les enregistre dans un fichier CSV. Chaque entrée du fichier représente les valeurs de capteurs à un moment donné, accompagnées d'une étiquette correspondant au signe effectué. Cette approche assure une collecte de données structurée, essentielle pour l'entraînement précis du modèle d'apprentissage automatique.<syntaxhighlight lang="python"><br />
import serial<br />
import csv<br />
import sys<br />
import time<br />
<br />
# Vérification de l'argument d'entrée<br />
if len(sys.argv) < 2:<br />
print("Usage: python script.py <etiquette>")<br />
sys.exit(1)<br />
<br />
etiquette = sys.argv[1]<br />
<br />
# Paramètres de l'UART<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
<br />
# Créer une connexion UART<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
<br />
# Nom du fichier CSV<br />
filename = f"data_complete.csv"<br />
<br />
# Vérifier si le fichier existe déjà<br />
file_exists = False<br />
try:<br />
with open(filename, 'r') as f:<br />
file_exists = True<br />
except FileNotFoundError:<br />
file_exists = False<br />
<br />
# Ouvrir le fichier CSV en mode append<br />
with open(filename, 'a', newline='') as file:<br />
writer = csv.writer(file)<br />
<br />
# Écrire l'en-tête si le fichier n'existait pas<br />
if not file_exists:<br />
writer.writerow(["Capteur1", "Capteur2", "Capteur3", "Capteur4", "Capteur5", "Capteur6", "Capteur7", "Capteur8", "Capteur9", "Capteur10", "Capteur11", "Capteur12", "Capteur13", "Capteur14", <br />
"Capteur15", "Capteur16", "Etiquette"])<br />
elif file_exists:<br />
writer.writerow([])<br />
while True:<br />
# Lire une ligne de données depuis l'UART<br />
data = ser.readline().decode('utf-8').rstrip()<br />
print(f"Données reçues : '{data}'")<br />
<br />
# Vérifier si des données ont été reçues<br />
if data:<br />
# Diviser les données en valeurs individuelles<br />
sensor_values = data.split(',')<br />
<br />
# Filtrer les chaînes vides ou non numériques et convertir en flottants<br />
try:<br />
sensor_values = [float(value) for value in sensor_values if value.strip().isdigit()]<br />
<br />
# Vérifier qu'il y a 16 valeurs de capteur<br />
if len(sensor_values) == 16:<br />
sensor_values.append(etiquette)<br />
writer.writerow(sensor_values)<br />
else:<br />
print("Données incomplètes reçues")<br />
<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
print(f"Données problématiques : '{data}'")<br />
<br />
time.sleep(0.1)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
* Le script commence par établir une communication série avec le STM32.<br />
* Il lit ensuite les données en série, les décode et les stocke dans un fichier CSV pour une utilisation ultérieure.<br />
<br />
* Une fois les données collectées et stockées dans le fichier CSV, elles sont préparées pour l'entraînement du modèle.<br />
* Cette préparation implique la normalisation des données, la gestion des valeurs manquantes ou aberrantes, et leur formatage dans un bon format.[[Fichier:Rpi entrainement.png|vignette|1000x1000px|néant]]<br />
=== 4. Entraînement du Modèle d'Apprentissage Automatique ===<br />
----L'entraînement du modèle est réalisé par un script Python utilisant la bibliothèque scikit-learn. Le modèle SVM, choisi pour sa capacité à gérer des espaces de grande dimension, est entraîné sur l'ensemble des données collectées. Ce processus comprend la division des données en ensembles d'entraînement et de test, l'entraînement du modèle, et sa validation par le calcul de la précision. Nous avions testé plusieurs modèle, comme par exemple un modèle Knn ou randomForest, des 3 algorithmes, c'est celui qui nous à apporté les meilleurs résultats pour un meme nombre de data d'entrainement. (RandomForest en deuxième position)<syntaxhighlight lang="python"><br />
import pandas as pd<br />
from sklearn.model_selection import train_test_split<br />
from sklearn.svm import SVC<br />
from sklearn.metrics import accuracy_score<br />
import pickle<br />
<br />
# Charger vos données<br />
data = pd.read_csv('data_complete.csv')<br />
<br />
# Séparer les caractéristiques et les étiquettes<br />
X = data.drop('Etiquette', axis=1)<br />
y = data['Etiquette']<br />
<br />
# Diviser les données en ensembles d'entraînement et de test<br />
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)<br />
<br />
# Créer et entraîner le modèle SVM<br />
model = SVC(kernel='rbf')<br />
model.fit(X_train, y_train)<br />
<br />
# Sauvegarder le modèle entraîné<br />
with open('modele_svm.pkl', 'wb') as file:<br />
pickle.dump(model, file)<br />
<br />
# Charger le modèle et faire des prédictions<br />
with open('modele_svm.pkl', 'rb') as file:<br />
loaded_model = pickle.load(file)<br />
predictions = loaded_model.predict(X_test)<br />
print("Précision :", accuracy_score(y_test, predictions))<br />
<br />
</syntaxhighlight><br />
<br />
# '''Séparation des Données''':<br />
#* Les données sont divisées en deux ensembles : un ensemble d'entraînement et un ensemble de test. Cette séparation est cruciale pour évaluer objectivement la performance du modèle.<br />
#* Généralement, on adopte une répartition de 80% pour l'entraînement et 20% pour les tests.<br />
# '''Entraînement du Modèle SVM''':<br />
#* Le modèle SVM avec un noyau RBF (Radial Basis Function) est entraîné sur l'ensemble d'entraînement.<br />
#* L'entraînement implique l'ajustement du modèle aux données d'entraînement, en apprenant à distinguer les différents signes.<br />
# '''Sauvegarde et Réutilisation du Modèle'''<br />
#* Une fois entraîné et validé, le modèle est sauvegardé à l'aide de la bibliothèque <code>pickle</code><br />
# '''Validation et Évaluation du Modèle''':<br />
#* Après l'entraînement, le modèle est testé sur l'ensemble de test pour évaluer sa performance.<br />
#* La métrique principale utilisée est la précision, qui mesure la proportion de prédictions correctes par rapport au total des prédictions.<br />
<br />
Ensuite on peut générer le modèle comme ceci:<br />
[[Fichier:Generate model.png|vignette|399x399px|néant]]<br />
<br />
Avec cette prédiction lorsque notre modèle prédit le résultat, il est correct environ 71.81% du temps.<br />
<br />
=== 5. Intégration MQTT et Communication ===<br />
----Protocole de communication :<br />
<br />
Dans le cadre de notre projet, la communication entre les dispositifs Raspberry Pi et le serveur est établie via le protocole MQTT.<br />
<br />
Justification du Choix de MQTT :<br />
<br />
Au début du projet, une approche basée sur des sockets IPv6 avait été envisagée pour tirer parti de l'adressage direct et de la simplification de la configuration réseau qu'offre IPv6. Cependant, dans le but de respecter les impératifs de sobriété énergétique et d'assurer une scalabilité optimale du système, permettant ainsi de gérer aisément un nombre croissant de dispositifs Raspberry Pi, la décision a été prise d'adopter MQTT comme protocole de communication. Le protocole MQTT, reconnu pour sa légèreté et sa fiabilité, s'adapte parfaitement aux contraintes des applications IoT.<br />
<br />
<br />
'''Installation du broker mosquitto sur le serveur:'''<br />
<syntaxhighlight lang="shell"><br />
apt install -y mosquitto mosquitto-clients<br />
service mosquitto start<br />
</syntaxhighlight><br />
<br />
Activation de l'accès à distance au Broker Mosquitto:<br />
<br />
ajouter l'authentification par username et mot de passe<br />
<syntaxhighlight lang="shell"><br />
sudo mosquitto_passwd -c /etc/mosquitto/passwd username<br />
</syntaxhighlight><br />
après on nous demande d'entrer le mot de passe <br />
<br />
Modifier le fichier /etc/mosquitto/mosquitto.conf:<br />
<syntaxhighlight lang="shell"><br />
listener 1883 10.42.0.5<br />
allow_anonymous false<br />
password_file /etc/mosquitto/passwd<br />
</syntaxhighlight><br />
<br />
Restart Mosquitto:<br />
<syntaxhighlight lang="shell"><br />
service mosquitto restart<br />
</syntaxhighlight><br />
<br />
Vérification ds logs:<br />
<syntaxhighlight lang="shell"><br />
cat /var/log/mosquitto/mosquitto.log<br />
</syntaxhighlight><br />
<br />
'''Création d'un client MQTT sur la Raspberry Pi:'''<br />
<br />
Le script mqtt_client_rpi.py joue un rôle clé dans cette architecture en facilitant la communication bidirectionnelle : il permet non seulement l'envoi des prédictions réalisées par le modèle SVM depuis la Raspberry Pi vers le serveur, mais autorise également la réception des commandes de contrôle, telles que les instructions de démarrage ou d'arrêt de la collecte de données.<br />
<br />
<syntaxhighlight lang="python"><br />
import paho.mqtt.client as mqtt<br />
import serial<br />
import pandas as pd<br />
import pickle<br />
import time<br />
<br />
<br />
<br />
MQTT_BROKER_ADDRESS = "10.42.0.5"<br />
MQTT_USERNAME = "username"<br />
MQTT_PASSWORD = "confidentiel"<br />
pi_id = "rpi1234"<br />
<br />
collecting_data = False <br />
<br />
client = mqtt.Client()<br />
client.username_pw_set(MQTT_USERNAME, MQTT_PASSWORD)<br />
client.connect(MQTT_BROKER_ADDRESS, 1883, 60)<br />
client.loop_start()<br />
<br />
<br />
def on_connect(client, userdata, flags, rc):<br />
print("Connected with result code " + str(rc))<br />
client.subscribe(f"config/{pi_id}")<br />
client.publish("raspberry_available", pi_id)<br />
<br />
def on_message(client, userdata, msg):<br />
global collecting_data<br />
if msg.topic == f"config/{pi_id}":<br />
command = msg.payload.decode()<br />
if command == "start":<br />
collecting_data = True<br />
elif command == "stop":<br />
collecting_data = False<br />
<br />
<br />
<br />
client.on_connect = on_connect<br />
client.on_message = on_message<br />
<br />
<br />
# Configurez le port série et chargez le modèle ici<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
with open('modele_svm.pkl', 'rb') as file:<br />
rf = pickle.load(file)<br />
try:<br />
<br />
while True:<br />
if collecting_data:<br />
data = ser.readline().decode('utf-8').rstrip()<br />
if data:<br />
try:<br />
sensor_values = [value for value in data.split(',') if value.strip().replace('.', '', 1).isdigit()]<br />
if len(sensor_values) == 16:<br />
sensor_values = list(map(float, sensor_values))<br />
sensor_values_df = pd.DataFrame([sensor_values])<br />
prediction = rf.predict(sensor_values_df)<br />
client.publish(f"telemetry/{pi_id}", str(prediction[0]).encode())<br />
print("Prédiction :", prediction[0])<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
else:<br />
time.sleep(0.1)<br />
<br />
except KeyboardInterrupt:<br />
print("Script interrompu")<br />
<br />
<br />
client.loop_stop()<br />
client.disconnect()<br />
</syntaxhighlight>Ici il y a 3 topics différents. lorsqu'une raspberry se connecte au réseau elle publie son ID (qui est unique, on peut prendre par exemple l'adresse MAC) sur le topic raspberry_available. Cela nous servira a savoir quelle raspberry est connecté et de se fait pouvoir afficher celles-ci sur notre interface web.<br />
<br />
le deuxième topic et le topic config/ID (avec id l'identifiant unique de la raspberry), il nous sert a envoyer les commandes "start" et "stop" a la raspberry afin qu'elle démarre ou arrête la lecture des datas.<br />
<br />
Le troisième topic est le topic telemetry/ID, ou la raspberry vient publier ses données.<br />
<br />
Un quatrième topic pourrait être implémenter comme par exemple le topic common_config, toutes les raspberrys serait abonnées a ce topic. S'il est nécessaire, cela nous permettrais d'envoyer la même commande a toutes les raspberry plutôt que de faire une publication sur chaque config/ID <br />
<br />
=== 6. Interface Serveur et Gestion des Données ===<br />
----Le serveur central, au cœur de notre système, est orchestré par le script <code>app.py</code> qui exploite le framework Flask pour mettre en place une interface serveur. Cette interface est conçue pour traiter efficacement les requêtes HTTP et les messages MQTT, offrant ainsi une API réactive pour l'interface utilisateur web. Elle permet également de visualiser en temps réel l'état des dispositifs Raspberry Pi connectés et les dernières données traitées.<br />
[[Fichier:Signspeakweb.png|centré|vignette|1000x1000px]]<br />
<br />
<br />
<br />
<syntaxhighlight lang="python"><br />
from flask import Flask, render_template, request, jsonify<br />
import paho.mqtt.client as mqtt<br />
import queue<br />
<br />
app = Flask(__name__)<br />
messages = []<br />
received_messages = queue.Queue()<br />
latest_message = None<br />
subscribed_topics = set()<br />
raspberry_ids = set()<br />
MQTT_BROKER_ADDRESS = "10.42.0.5"<br />
MQTT_USERNAME = "username"<br />
MQTT_PASSWORD = "confidentiel"<br />
<br />
<br />
mqtt_client = mqtt.Client()<br />
mqtt_client.username_pw_set(MQTT_USERNAME, MQTT_PASSWORD) <br />
mqtt_client.connect(MQTT_BROKER_ADDRESS, 1883, 60)<br />
mqtt_client.loop_start()<br />
<br />
def send_command_to_pi(pi_id, command):<br />
try:<br />
topic = f"config/{pi_id}"<br />
mqtt_client.publish(topic, command)<br />
subscribe_to_pi_telemetry(pi_id)<br />
return True, "Commande envoyée avec succès"<br />
except Exception as e:<br />
return False, f"Commande pas envoyée: Erreur MQTT : {e}"<br />
<br />
def subscribe_to_pi_telemetry(pi_id):<br />
global subscribed_topics<br />
topic = f"telemetry/{pi_id}"<br />
if topic not in subscribed_topics:<br />
mqtt_client.subscribe(topic)<br />
subscribed_topics.add(topic)<br />
<br />
def on_connect(client, userdata, flags, rc):<br />
print("Connected with result code " + str(rc))<br />
client.subscribe("raspberry_available")<br />
def on_message(client, userdata, msg):<br />
global raspberry_ids<br />
print(f"Received message on topic {msg.topic}: {msg.payload.decode()}") # Ajouter pour le débogage<br />
if msg.topic == "raspberry_available":<br />
raspberry_ids.add(msg.payload.decode())<br />
else:<br />
received_messages.put(msg.payload.decode())<br />
<br />
<br />
mqtt_client.on_connect = on_connect<br />
mqtt_client.on_message = on_message<br />
@app.route('/get-raspberry-ids')<br />
def get_raspberry_ids():<br />
return jsonify(list(raspberry_ids))<br />
@app.route('/get-latest-message')<br />
def get_latest_message():<br />
global latest_message<br />
while not received_messages.empty():<br />
messages.append(received_messages.get())<br />
<br />
latest_message = messages[-1] if messages else None<br />
<br />
# Ajoutez cet enregistrement de débogage<br />
print(f"Contenu de la réponse pour /get-latest-message : {latest_message}")<br />
<br />
if latest_message is not None:<br />
response = jsonify({"message": latest_message})<br />
return response<br />
else:<br />
message = "Aucun signe a traduire pour le moment"<br />
return jsonify(message)<br />
<br />
<br />
@app.route('/', methods=['GET', 'POST'])<br />
<br />
def index():<br />
global raspberry_ids<br />
error_message_rpi = None<br />
success_message = None<br />
<br />
if request.method == 'POST':<br />
pi_id = request.form.get('pi_id')<br />
command = request.form.get('command')<br />
if pi_id and command in ["start", "stop"]:<br />
success, er_message = send_command_to_pi(pi_id, command)<br />
if success:<br />
success_message = "Commande envoyée avec succès"<br />
else:<br />
error_message_rpi = er_message<br />
<br />
<br />
return render_template('index.html', raspberry_ids=list(raspberry_ids), error_message_rpi=error_message_rpi, success_message=success_message, message=latest_message)<br />
<br />
if __name__ == '__main__':<br />
app.run(debug=False, port=8066)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
=== 7. Conception de l'Interface Utilisateur ===<br />
----L'interface utilisateur, développée à l'aide des technologies web standard HTML, CSS, et JavaScript, offre une expérience interactive. Le fichier index.html constitue le point d'entrée de cette interface, proposant des fonctionnalités telles que l'envoi de commandes aux dispositifs Raspberry Pi et la visualisation des données traitées. L'utilisation de JavaScript pour interroger dynamiquement le serveur Flask permet de rafraîchir les informations affichées en temps réel, garantissant ainsi une interface réactive et à jour.<br />
<br />
<br />
<br />
index.html:<br />
<syntaxhighlight lang="html"><br />
<!DOCTYPE html><br />
<html><br />
<head><br />
<title>SignSpeak - Traducteur de Langage des Signes</title><br />
<link rel="stylesheet" href="https://stackpath.bootstrapcdn.com/bootstrap/4.3.1/css/bootstrap.min.css"><br />
<style><br />
body {<br />
background-color: #343a40; /* Couleur d'arrière-plan foncé */<br />
color: #ced4da; /* Gris clair pour le texte pour un meilleur contraste */<br />
}<br />
.card {<br />
background-color: #495057; /* Fond des encadrés plus sombre */<br />
}<br />
.card-title, .card-text, .alert {<br />
color: #adb5bd; /* Gris plus doux pour les titres, le texte et les alertes */<br />
}<br />
.btn-primary {<br />
background-color: #007bff; /* Bleu Bootstrap par défaut pour les boutons */<br />
border-color: #007bff;<br />
}<br />
.btn-danger {<br />
background-color: #dc3545; /* Rouge Bootstrap par défaut pour les boutons d'arrêt */<br />
border-color: #dc3545;<br />
}<br />
.form-control {<br />
background-color: #495057; /* Fond des champs de saisie plus sombre */<br />
border: 1px solid #6c757d;<br />
color: #ced4da; /* Couleur du texte dans les champs de saisie */<br />
}<br />
a, .btn-secondary {<br />
color: #17a2b8; /* Bleu clair pour les liens et les boutons secondaires */<br />
}<br />
a:hover {<br />
color: #138496; /* Bleu plus foncé au survol des liens */<br />
}<br />
/* Autres styles personnalisés ici */<br />
#latest-message {<br />
background-color: #596069; /* Couleur de fond plus claire pour l'encadré */<br />
border: 1px solid #6c757d; /* Bordure pour distinguer l'encadré */<br />
color: #E9ECEF; /* Couleur du texte plus claire pour un meilleur contraste */<br />
padding: 10px; /* Espace intérieur pour que le texte ne touche pas les bords */<br />
border-radius: 5px; /* Bords arrondis pour l'encadré */<br />
}<br />
</style><br />
</head><br />
<body><br />
<div class="container mt-5"><br />
<h1 class="text-center mb-4">SignSpeak - Traducteur de Langage des Signes</h1><br />
<br />
<div class="row"><br />
<!-- Encadré pour les Raspberry Pi Disponibles --><br />
<div class="col-md-12"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Raspberry Pi Disponibles</h2><br />
<ul id="raspberry-list" class="list-group list-group-flush"><br />
<!-- Les IDs seront ajoutés ici par JavaScript --><br />
</ul><br />
</div><br />
</div><br />
</div><br />
</div><br />
<br />
<div class="row"><br />
<!-- Encadré pour la Collecte des données --><br />
<div class="col-lg-6"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Collecte de données</h2><br />
<form method="post" class="form-inline"><br />
<input type="text" class="form-control mb-2 mr-sm-2" name="pi_id" placeholder="Entrez l'ID de la Raspberry Pi" required><br />
<button type="submit" class="btn btn-primary mb-2 mr-sm-2" name="command" value="start">Démarrer la Collecte</button><br />
<button type="submit" class="btn btn-danger mb-2" name="command" value="stop">Arrêter la Collecte</button><br />
</form><br />
</div><br />
</div><br />
</div><br />
<br />
<!-- Encadré pour le Dernier Message Reçu --><br />
<div class="col-lg-6"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Dernier Message Reçu</h2><br />
<div id="latest-message" class="alert alert-dark"><br />
Aucun message reçu pour le moment. <br />
</div><br />
</div><br />
</div><br />
</div><br />
</div><br />
<br />
<div class="mb-3 text-center"><br />
<a href="/logs" class="btn btn-secondary">Voir les Logs</a><br />
</div><br />
</div><br />
<script><br />
function fetchRaspberryIds() {<br />
var xhr = new XMLHttpRequest();<br />
xhr.onreadystatechange = function() {<br />
if (xhr.readyState == XMLHttpRequest.DONE) {<br />
if (xhr.status == 200) {<br />
var ids = JSON.parse(xhr.responseText);<br />
var list = document.getElementById('raspberry-list');<br />
list.innerHTML = '';<br />
ids.forEach(function(id) {<br />
var li = document.createElement('li');<br />
li.textContent = id;<br />
list.appendChild(li);<br />
});<br />
}<br />
}<br />
}<br />
xhr.open('GET', '/get-raspberry-ids', true);<br />
xhr.send();<br />
}<br />
<br />
function fetchLatestMessage() {<br />
var xhr = new XMLHttpRequest();<br />
xhr.onreadystatechange = function() {<br />
if (xhr.readyState == XMLHttpRequest.DONE) {<br />
if (xhr.status == 200) {<br />
console.log(xhr.responseText)<br />
document.getElementById('latest-message').textContent = xhr.responseText;<br />
}<br />
}<br />
}<br />
xhr.open('GET', '/get-latest-message', true);<br />
xhr.send();<br />
}<br />
<br />
setInterval(fetchRaspberryIds, 5000); // Met à jour les IDs toutes les 5 secondes<br />
setInterval(fetchLatestMessage, 500); // Met à jour le dernier message toutes les secondes<br />
</script><br />
<br />
<br />
<!-- Les messages d'alerte dynamiques ici --><br />
{% if error_message_rpi %}<br />
<script><br />
alert("{{ error_message_rpi }}");<br />
</script><br />
{% endif %}<br />
<br />
{% if success_message %}<br />
<script><br />
alert("{{ success_message }}");<br />
</script><br />
{% endif %}<br />
</body><br />
</html><br />
<br />
</syntaxhighlight>On a aussi ajouté une page de logs, qui permet de voir l'historique de tous les données traitées.<br />
<br />
=== 9. Conclusion et Perspectives ===<br />
----SignSpeak représente une avancée significative dans le domaine de la traduction du langage des signes. Ce projet non seulement démont<br />
<br />
== Vidéo ==<br />
[[Fichier:RPReplay Final1706462779.mov|centré|vignette]]</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=Fichier:RPReplay_Final1706462779.mov&diff=4885Fichier:RPReplay Final1706462779.mov2024-01-28T17:37:05Z<p>Bblack : </p>
<hr />
<div>RPReplay Final1706462779</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_ECEAI/eceai_2023/2024/black-blgrim&diff=4877SE5 ECEAI/eceai 2023/2024/black-blgrim2024-01-28T17:10:12Z<p>Bblack : /* 9. Conclusion et Perspectives */</p>
<hr />
<div>=Compte rendu des séances=<br />
==Séance du 04/12/2023==<br />
===Création de la machine virtuelle===<br />
Création d'une machine virtuelle sur le serveur chassiron :<br />
<br />
<code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code><br />
<br />
[[Fichier:IfconfigVM.png|sans_cadre]]<br />
===Raspberry-Pi===<br />
mettre la config de la raspberry<br />
<br />
<br />
'''<big>Capteurs</big>'''<br />
<br />
pas de capteurs lors de la première séance<br />
<br />
== Séance du 18/12/2023 ==<br />
<br />
=== Sur la VM ===<br />
script serveur.py<br />
<br />
=== sur la raspberry ===<br />
script client.py<br />
<br />
lecture sur l'uart des données envoyés par le stm32<br />
<br />
envoie au serveur (tcp)<br />
<br />
<br />
=== sur le capteur ===<br />
pris ene main du capteur, mettre le code,<br />
<br />
== Séance du 19/12/2023 et du 20/12/2023 ==<br />
utilisation de la bibliothèque sciait-learn pour l'apprentissage automatique. Nous avons décidé que le but de notre application serait de traduire le langage des signes.<br />
<br />
Pour cela nous avons entrainé notre modèle avec quelques signes, comme la lettre A, B ou C et des chiffres 1, 2 et 3 pour commencer.<br />
<br />
//mettre screen des résultats entrainement.py et test.py<br />
<br />
Les résultats sont satisfaisants mais avec quelques erreurs, la prochaine étape est donc d'améliorer notre algorithme d'apprentissage (pour l'instant on utilise l'algorithme des k plus proches voisins), pour cela nous allons rajouter par exemple du filtrage et tester d'autres algo d'apprentissage automatique<br />
<br />
Coté serveur:<br />
<br />
Création d'un serveur web, afin de lire les données qui proviennet depuis la raspberrypi et les afficher.<br />
<br />
<br />
'''<big>Mise en Place de l'algorithme d'apprentissage</big>'''<br />
<br />
nous avons tester plusieurs méthode d'apprentissage comme la '''Méthode des k plus proches voisins''' (K-Neighbour) ou encore '''forêt aléatoire''' Random forest.<br />
<br />
'''Random Forest'''<br />
<br />
<br />
<br />
== '''Présentation du projet''' ==<br />
<br />
=== 1. Introduction ===<br />
----Le projet SignSpeak a pour ambition de créer une solution innovante pour la traduction du langage des signes en texte. L'objectif principal est de développer un système capable de capturer les mouvements des mains et de les interpréter en langage des signes, permettant une communication fluide entre les personnes sourdes ou malentendantes et celles qui ne connaissent pas le langage des signes. Ce projet intègre des technologies avancées telles que l'edge computing, l'intelligence artificielle embarquée, et les communications MQTT, offrant une approche novatrice dans le domaine de l'accessibilité et de la communication.<br />
<br />
=== 2. Architecture du Système ===<br />
----Notre solution repose sur une architecture intégrée impliquant plusieurs composants clés :<br />
<br />
* '''Capteurs et STM32''' : Des capteurs sont connectés à un microcontrôleur STM32, responsables de la capture des mouvements de main. Ces données sont ensuite transmises pour traitement.<br />
* '''Raspberry Pi''' : Agissant comme un intermédiaire, la Raspberry Pi reçoit les données des capteurs via UART, exécute un traitement préliminaire et communique avec le serveur.<br />
* '''Serveur et Machine Learning''' : Un serveur, hébergé sur une VM Xen, traite les données à l'aide d'un modèle SVM pour la traduction en langage des signes et fournit une interface web pour l'interaction utilisateur.<br />
*<br />
<br />
=== 3. Collecte et Préparation des Données ===<br />
----Le processus de collecte des données est géré par le script <code>enregistrementData.py</code>. Ce script lit les données transmises par le STM32 via UART et les enregistre dans un fichier CSV. Chaque entrée du fichier représente les valeurs de capteurs à un moment donné, accompagnées d'une étiquette correspondant au signe effectué. Cette approche assure une collecte de données structurée, essentielle pour l'entraînement précis du modèle d'apprentissage automatique.<syntaxhighlight lang="python"><br />
import serial<br />
import csv<br />
import sys<br />
import time<br />
<br />
# Vérification de l'argument d'entrée<br />
if len(sys.argv) < 2:<br />
print("Usage: python script.py <etiquette>")<br />
sys.exit(1)<br />
<br />
etiquette = sys.argv[1]<br />
<br />
# Paramètres de l'UART<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
<br />
# Créer une connexion UART<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
<br />
# Nom du fichier CSV<br />
filename = f"data_complete.csv"<br />
<br />
# Vérifier si le fichier existe déjà<br />
file_exists = False<br />
try:<br />
with open(filename, 'r') as f:<br />
file_exists = True<br />
except FileNotFoundError:<br />
file_exists = False<br />
<br />
# Ouvrir le fichier CSV en mode append<br />
with open(filename, 'a', newline='') as file:<br />
writer = csv.writer(file)<br />
<br />
# Écrire l'en-tête si le fichier n'existait pas<br />
if not file_exists:<br />
writer.writerow(["Capteur1", "Capteur2", "Capteur3", "Capteur4", "Capteur5", "Capteur6", "Capteur7", "Capteur8", "Capteur9", "Capteur10", "Capteur11", "Capteur12", "Capteur13", "Capteur14", <br />
"Capteur15", "Capteur16", "Etiquette"])<br />
elif file_exists:<br />
writer.writerow([])<br />
while True:<br />
# Lire une ligne de données depuis l'UART<br />
data = ser.readline().decode('utf-8').rstrip()<br />
print(f"Données reçues : '{data}'")<br />
<br />
# Vérifier si des données ont été reçues<br />
if data:<br />
# Diviser les données en valeurs individuelles<br />
sensor_values = data.split(',')<br />
<br />
# Filtrer les chaînes vides ou non numériques et convertir en flottants<br />
try:<br />
sensor_values = [float(value) for value in sensor_values if value.strip().isdigit()]<br />
<br />
# Vérifier qu'il y a 16 valeurs de capteur<br />
if len(sensor_values) == 16:<br />
sensor_values.append(etiquette)<br />
writer.writerow(sensor_values)<br />
else:<br />
print("Données incomplètes reçues")<br />
<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
print(f"Données problématiques : '{data}'")<br />
<br />
time.sleep(0.1)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
* Le script commence par établir une communication série avec le STM32.<br />
* Il lit ensuite les données en série, les décode et les stocke dans un fichier CSV pour une utilisation ultérieure.<br />
<br />
* Une fois les données collectées et stockées dans le fichier CSV, elles sont préparées pour l'entraînement du modèle.<br />
* Cette préparation implique la normalisation des données, la gestion des valeurs manquantes ou aberrantes, et leur formatage dans un bon format.[[Fichier:Rpi entrainement.png|vignette|1000x1000px|néant]]<br />
=== 4. Entraînement du Modèle d'Apprentissage Automatique ===<br />
----L'entraînement du modèle est réalisé par un script Python utilisant la bibliothèque scikit-learn. Le modèle SVM, choisi pour sa capacité à gérer des espaces de grande dimension, est entraîné sur l'ensemble des données collectées. Ce processus comprend la division des données en ensembles d'entraînement et de test, l'entraînement du modèle, et sa validation par le calcul de la précision. Nous avions testé plusieurs modèle, comme par exemple un modèle Knn ou randomForest, des 3 algorithmes, c'est celui qui nous à apporté les meilleurs résultats pour un meme nombre de data d'entrainement. (RandomForest en deuxième position)<syntaxhighlight lang="python"><br />
import pandas as pd<br />
from sklearn.model_selection import train_test_split<br />
from sklearn.svm import SVC<br />
from sklearn.metrics import accuracy_score<br />
import pickle<br />
<br />
# Charger vos données<br />
data = pd.read_csv('data_complete.csv')<br />
<br />
# Séparer les caractéristiques et les étiquettes<br />
X = data.drop('Etiquette', axis=1)<br />
y = data['Etiquette']<br />
<br />
# Diviser les données en ensembles d'entraînement et de test<br />
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)<br />
<br />
# Créer et entraîner le modèle SVM<br />
model = SVC(kernel='rbf')<br />
model.fit(X_train, y_train)<br />
<br />
# Sauvegarder le modèle entraîné<br />
with open('modele_svm.pkl', 'wb') as file:<br />
pickle.dump(model, file)<br />
<br />
# Charger le modèle et faire des prédictions<br />
with open('modele_svm.pkl', 'rb') as file:<br />
loaded_model = pickle.load(file)<br />
predictions = loaded_model.predict(X_test)<br />
print("Précision :", accuracy_score(y_test, predictions))<br />
<br />
</syntaxhighlight><br />
<br />
# '''Séparation des Données''':<br />
#* Les données sont divisées en deux ensembles : un ensemble d'entraînement et un ensemble de test. Cette séparation est cruciale pour évaluer objectivement la performance du modèle.<br />
#* Généralement, on adopte une répartition de 80% pour l'entraînement et 20% pour les tests.<br />
# '''Entraînement du Modèle SVM''':<br />
#* Le modèle SVM avec un noyau RBF (Radial Basis Function) est entraîné sur l'ensemble d'entraînement.<br />
#* L'entraînement implique l'ajustement du modèle aux données d'entraînement, en apprenant à distinguer les différents signes.<br />
# '''Sauvegarde et Réutilisation du Modèle'''<br />
#* Une fois entraîné et validé, le modèle est sauvegardé à l'aide de la bibliothèque <code>pickle</code><br />
# '''Validation et Évaluation du Modèle''':<br />
#* Après l'entraînement, le modèle est testé sur l'ensemble de test pour évaluer sa performance.<br />
#* La métrique principale utilisée est la précision, qui mesure la proportion de prédictions correctes par rapport au total des prédictions.<br />
<br />
Ensuite on peut générer le modèle comme ceci:<br />
[[Fichier:Generate model.png|vignette|399x399px|néant]]<br />
<br />
Avec cette prédiction lorsque notre modèle prédit le résultat, il est correct environ 71.81% du temps.<br />
<br />
=== 5. Intégration MQTT et Communication ===<br />
----Protocole de communication :<br />
<br />
Dans le cadre de notre projet, la communication entre les dispositifs Raspberry Pi et le serveur est établie via le protocole MQTT.<br />
<br />
Justification du Choix de MQTT :<br />
<br />
Au début du projet, une approche basée sur des sockets IPv6 avait été envisagée pour tirer parti de l'adressage direct et de la simplification de la configuration réseau qu'offre IPv6. Cependant, dans le but de respecter les impératifs de sobriété énergétique et d'assurer une scalabilité optimale du système, permettant ainsi de gérer aisément un nombre croissant de dispositifs Raspberry Pi, la décision a été prise d'adopter MQTT comme protocole de communication. Le protocole MQTT, reconnu pour sa légèreté et sa fiabilité, s'adapte parfaitement aux contraintes des applications IoT.<br />
<br />
<br />
'''Installation du broker mosquitto sur le serveur:'''<br />
<syntaxhighlight lang="shell"><br />
apt install -y mosquitto mosquitto-clients<br />
service mosquitto start<br />
</syntaxhighlight><br />
<br />
Activation de l'accès à distance au Broker Mosquitto:<br />
<br />
ajouter l'authentification par username et mot de passe<br />
<syntaxhighlight lang="shell"><br />
sudo mosquitto_passwd -c /etc/mosquitto/passwd username<br />
</syntaxhighlight><br />
après on nous demande d'entrer le mot de passe <br />
<br />
Modifier le fichier /etc/mosquitto/mosquitto.conf:<br />
<syntaxhighlight lang="shell"><br />
listener 1883 10.42.0.5<br />
allow_anonymous false<br />
password_file /etc/mosquitto/passwd<br />
</syntaxhighlight><br />
<br />
Restart Mosquitto:<br />
<syntaxhighlight lang="shell"><br />
service mosquitto restart<br />
</syntaxhighlight><br />
<br />
Vérification ds logs:<br />
<syntaxhighlight lang="shell"><br />
cat /var/log/mosquitto/mosquitto.log<br />
</syntaxhighlight><br />
<br />
'''Création d'un client MQTT sur la Raspberry Pi:'''<br />
<br />
Le script mqtt_client_rpi.py joue un rôle clé dans cette architecture en facilitant la communication bidirectionnelle : il permet non seulement l'envoi des prédictions réalisées par le modèle SVM depuis la Raspberry Pi vers le serveur, mais autorise également la réception des commandes de contrôle, telles que les instructions de démarrage ou d'arrêt de la collecte de données.<br />
<br />
<syntaxhighlight lang="python"><br />
import paho.mqtt.client as mqtt<br />
import serial<br />
import pandas as pd<br />
import pickle<br />
import time<br />
<br />
<br />
<br />
MQTT_BROKER_ADDRESS = "10.42.0.5"<br />
MQTT_USERNAME = "username"<br />
MQTT_PASSWORD = "confidentiel"<br />
pi_id = "rpi1234"<br />
<br />
collecting_data = False <br />
<br />
client = mqtt.Client()<br />
client.username_pw_set(MQTT_USERNAME, MQTT_PASSWORD)<br />
client.connect(MQTT_BROKER_ADDRESS, 1883, 60)<br />
client.loop_start()<br />
<br />
<br />
def on_connect(client, userdata, flags, rc):<br />
print("Connected with result code " + str(rc))<br />
client.subscribe(f"config/{pi_id}")<br />
client.publish("raspberry_available", pi_id)<br />
<br />
def on_message(client, userdata, msg):<br />
global collecting_data<br />
if msg.topic == f"config/{pi_id}":<br />
command = msg.payload.decode()<br />
if command == "start":<br />
collecting_data = True<br />
elif command == "stop":<br />
collecting_data = False<br />
<br />
<br />
<br />
client.on_connect = on_connect<br />
client.on_message = on_message<br />
<br />
<br />
# Configurez le port série et chargez le modèle ici<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
with open('modele_svm.pkl', 'rb') as file:<br />
rf = pickle.load(file)<br />
try:<br />
<br />
while True:<br />
if collecting_data:<br />
data = ser.readline().decode('utf-8').rstrip()<br />
if data:<br />
try:<br />
sensor_values = [value for value in data.split(',') if value.strip().replace('.', '', 1).isdigit()]<br />
if len(sensor_values) == 16:<br />
sensor_values = list(map(float, sensor_values))<br />
sensor_values_df = pd.DataFrame([sensor_values])<br />
prediction = rf.predict(sensor_values_df)<br />
client.publish(f"telemetry/{pi_id}", str(prediction[0]).encode())<br />
print("Prédiction :", prediction[0])<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
else:<br />
time.sleep(0.1)<br />
<br />
except KeyboardInterrupt:<br />
print("Script interrompu")<br />
<br />
<br />
client.loop_stop()<br />
client.disconnect()<br />
</syntaxhighlight>Ici il y a 3 topics différents. lorsqu'une raspberry se connecte au réseau elle publie son ID (qui est unique, on peut prendre par exemple l'adresse MAC) sur le topic raspberry_available. Cela nous servira a savoir quelle raspberry est connecté et de se fait pouvoir afficher celles-ci sur notre interface web.<br />
<br />
le deuxième topic et le topic config/ID (avec id l'identifiant unique de la raspberry), il nous sert a envoyer les commandes "start" et "stop" a la raspberry afin qu'elle démarre ou arrête la lecture des datas.<br />
<br />
Le troisième topic est le topic telemetry/ID, ou la raspberry vient publier ses données.<br />
<br />
Un quatrième topic pourrait être implémenter comme par exemple le topic common_config, toutes les raspberrys serait abonnées a ce topic. S'il est nécessaire, cela nous permettrais d'envoyer la même commande a toutes les raspberry plutôt que de faire une publication sur chaque config/ID <br />
<br />
=== 6. Interface Serveur et Gestion des Données ===<br />
----Le serveur central, au cœur de notre système, est orchestré par le script <code>app.py</code> qui exploite le framework Flask pour mettre en place une interface serveur. Cette interface est conçue pour traiter efficacement les requêtes HTTP et les messages MQTT, offrant ainsi une API réactive pour l'interface utilisateur web. Elle permet également de visualiser en temps réel l'état des dispositifs Raspberry Pi connectés et les dernières données traitées.<br />
[[Fichier:Signspeakweb.png|centré|vignette|1000x1000px]]<br />
<br />
<br />
<br />
<syntaxhighlight lang="python"><br />
from flask import Flask, render_template, request, jsonify<br />
import paho.mqtt.client as mqtt<br />
import queue<br />
<br />
app = Flask(__name__)<br />
messages = []<br />
received_messages = queue.Queue()<br />
latest_message = None<br />
subscribed_topics = set()<br />
raspberry_ids = set()<br />
MQTT_BROKER_ADDRESS = "10.42.0.5"<br />
MQTT_USERNAME = "username"<br />
MQTT_PASSWORD = "confidentiel"<br />
<br />
<br />
mqtt_client = mqtt.Client()<br />
mqtt_client.username_pw_set(MQTT_USERNAME, MQTT_PASSWORD) <br />
mqtt_client.connect(MQTT_BROKER_ADDRESS, 1883, 60)<br />
mqtt_client.loop_start()<br />
<br />
def send_command_to_pi(pi_id, command):<br />
try:<br />
topic = f"config/{pi_id}"<br />
mqtt_client.publish(topic, command)<br />
subscribe_to_pi_telemetry(pi_id)<br />
return True, "Commande envoyée avec succès"<br />
except Exception as e:<br />
return False, f"Commande pas envoyée: Erreur MQTT : {e}"<br />
<br />
def subscribe_to_pi_telemetry(pi_id):<br />
global subscribed_topics<br />
topic = f"telemetry/{pi_id}"<br />
if topic not in subscribed_topics:<br />
mqtt_client.subscribe(topic)<br />
subscribed_topics.add(topic)<br />
<br />
def on_connect(client, userdata, flags, rc):<br />
print("Connected with result code " + str(rc))<br />
client.subscribe("raspberry_available")<br />
def on_message(client, userdata, msg):<br />
global raspberry_ids<br />
print(f"Received message on topic {msg.topic}: {msg.payload.decode()}") # Ajouter pour le débogage<br />
if msg.topic == "raspberry_available":<br />
raspberry_ids.add(msg.payload.decode())<br />
else:<br />
received_messages.put(msg.payload.decode())<br />
<br />
<br />
mqtt_client.on_connect = on_connect<br />
mqtt_client.on_message = on_message<br />
@app.route('/get-raspberry-ids')<br />
def get_raspberry_ids():<br />
return jsonify(list(raspberry_ids))<br />
@app.route('/get-latest-message')<br />
def get_latest_message():<br />
global latest_message<br />
while not received_messages.empty():<br />
messages.append(received_messages.get())<br />
<br />
latest_message = messages[-1] if messages else None<br />
<br />
# Ajoutez cet enregistrement de débogage<br />
print(f"Contenu de la réponse pour /get-latest-message : {latest_message}")<br />
<br />
if latest_message is not None:<br />
response = jsonify({"message": latest_message})<br />
return response<br />
else:<br />
message = "Aucun signe a traduire pour le moment"<br />
return jsonify(message)<br />
<br />
<br />
@app.route('/', methods=['GET', 'POST'])<br />
<br />
def index():<br />
global raspberry_ids<br />
error_message_rpi = None<br />
success_message = None<br />
<br />
if request.method == 'POST':<br />
pi_id = request.form.get('pi_id')<br />
command = request.form.get('command')<br />
if pi_id and command in ["start", "stop"]:<br />
success, er_message = send_command_to_pi(pi_id, command)<br />
if success:<br />
success_message = "Commande envoyée avec succès"<br />
else:<br />
error_message_rpi = er_message<br />
<br />
<br />
return render_template('index.html', raspberry_ids=list(raspberry_ids), error_message_rpi=error_message_rpi, success_message=success_message, message=latest_message)<br />
<br />
if __name__ == '__main__':<br />
app.run(debug=False, port=8066)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
=== 7. Conception de l'Interface Utilisateur ===<br />
----L'interface utilisateur, développée à l'aide des technologies web standard HTML, CSS, et JavaScript, offre une expérience interactive. Le fichier index.html constitue le point d'entrée de cette interface, proposant des fonctionnalités telles que l'envoi de commandes aux dispositifs Raspberry Pi et la visualisation des données traitées. L'utilisation de JavaScript pour interroger dynamiquement le serveur Flask permet de rafraîchir les informations affichées en temps réel, garantissant ainsi une interface réactive et à jour.<br />
<br />
<br />
<br />
index.html:<br />
<syntaxhighlight lang="html"><br />
<!DOCTYPE html><br />
<html><br />
<head><br />
<title>SignSpeak - Traducteur de Langage des Signes</title><br />
<link rel="stylesheet" href="https://stackpath.bootstrapcdn.com/bootstrap/4.3.1/css/bootstrap.min.css"><br />
<style><br />
body {<br />
background-color: #343a40; /* Couleur d'arrière-plan foncé */<br />
color: #ced4da; /* Gris clair pour le texte pour un meilleur contraste */<br />
}<br />
.card {<br />
background-color: #495057; /* Fond des encadrés plus sombre */<br />
}<br />
.card-title, .card-text, .alert {<br />
color: #adb5bd; /* Gris plus doux pour les titres, le texte et les alertes */<br />
}<br />
.btn-primary {<br />
background-color: #007bff; /* Bleu Bootstrap par défaut pour les boutons */<br />
border-color: #007bff;<br />
}<br />
.btn-danger {<br />
background-color: #dc3545; /* Rouge Bootstrap par défaut pour les boutons d'arrêt */<br />
border-color: #dc3545;<br />
}<br />
.form-control {<br />
background-color: #495057; /* Fond des champs de saisie plus sombre */<br />
border: 1px solid #6c757d;<br />
color: #ced4da; /* Couleur du texte dans les champs de saisie */<br />
}<br />
a, .btn-secondary {<br />
color: #17a2b8; /* Bleu clair pour les liens et les boutons secondaires */<br />
}<br />
a:hover {<br />
color: #138496; /* Bleu plus foncé au survol des liens */<br />
}<br />
/* Autres styles personnalisés ici */<br />
#latest-message {<br />
background-color: #596069; /* Couleur de fond plus claire pour l'encadré */<br />
border: 1px solid #6c757d; /* Bordure pour distinguer l'encadré */<br />
color: #E9ECEF; /* Couleur du texte plus claire pour un meilleur contraste */<br />
padding: 10px; /* Espace intérieur pour que le texte ne touche pas les bords */<br />
border-radius: 5px; /* Bords arrondis pour l'encadré */<br />
}<br />
</style><br />
</head><br />
<body><br />
<div class="container mt-5"><br />
<h1 class="text-center mb-4">SignSpeak - Traducteur de Langage des Signes</h1><br />
<br />
<div class="row"><br />
<!-- Encadré pour les Raspberry Pi Disponibles --><br />
<div class="col-md-12"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Raspberry Pi Disponibles</h2><br />
<ul id="raspberry-list" class="list-group list-group-flush"><br />
<!-- Les IDs seront ajoutés ici par JavaScript --><br />
</ul><br />
</div><br />
</div><br />
</div><br />
</div><br />
<br />
<div class="row"><br />
<!-- Encadré pour la Collecte des données --><br />
<div class="col-lg-6"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Collecte de données</h2><br />
<form method="post" class="form-inline"><br />
<input type="text" class="form-control mb-2 mr-sm-2" name="pi_id" placeholder="Entrez l'ID de la Raspberry Pi" required><br />
<button type="submit" class="btn btn-primary mb-2 mr-sm-2" name="command" value="start">Démarrer la Collecte</button><br />
<button type="submit" class="btn btn-danger mb-2" name="command" value="stop">Arrêter la Collecte</button><br />
</form><br />
</div><br />
</div><br />
</div><br />
<br />
<!-- Encadré pour le Dernier Message Reçu --><br />
<div class="col-lg-6"><br />
<div class="card"><br />
<div class="card-body"><br />
<h2 class="card-title">Dernier Message Reçu</h2><br />
<div id="latest-message" class="alert alert-dark"><br />
Aucun message reçu pour le moment. <br />
</div><br />
</div><br />
</div><br />
</div><br />
</div><br />
<br />
<div class="mb-3 text-center"><br />
<a href="/logs" class="btn btn-secondary">Voir les Logs</a><br />
</div><br />
</div><br />
<script><br />
function fetchRaspberryIds() {<br />
var xhr = new XMLHttpRequest();<br />
xhr.onreadystatechange = function() {<br />
if (xhr.readyState == XMLHttpRequest.DONE) {<br />
if (xhr.status == 200) {<br />
var ids = JSON.parse(xhr.responseText);<br />
var list = document.getElementById('raspberry-list');<br />
list.innerHTML = '';<br />
ids.forEach(function(id) {<br />
var li = document.createElement('li');<br />
li.textContent = id;<br />
list.appendChild(li);<br />
});<br />
}<br />
}<br />
}<br />
xhr.open('GET', '/get-raspberry-ids', true);<br />
xhr.send();<br />
}<br />
<br />
function fetchLatestMessage() {<br />
var xhr = new XMLHttpRequest();<br />
xhr.onreadystatechange = function() {<br />
if (xhr.readyState == XMLHttpRequest.DONE) {<br />
if (xhr.status == 200) {<br />
console.log(xhr.responseText)<br />
document.getElementById('latest-message').textContent = xhr.responseText;<br />
}<br />
}<br />
}<br />
xhr.open('GET', '/get-latest-message', true);<br />
xhr.send();<br />
}<br />
<br />
setInterval(fetchRaspberryIds, 5000); // Met à jour les IDs toutes les 5 secondes<br />
setInterval(fetchLatestMessage, 500); // Met à jour le dernier message toutes les secondes<br />
</script><br />
<br />
<br />
<!-- Les messages d'alerte dynamiques ici --><br />
{% if error_message_rpi %}<br />
<script><br />
alert("{{ error_message_rpi }}");<br />
</script><br />
{% endif %}<br />
<br />
{% if success_message %}<br />
<script><br />
alert("{{ success_message }}");<br />
</script><br />
{% endif %}<br />
</body><br />
</html><br />
<br />
</syntaxhighlight><br />
<br />
=== 9. Conclusion et Perspectives ===<br />
----SignSpeak représente une avancée significative dans le domaine de la traduction du langage des signes. Ce projet non seulement démont<br />
<br />
== Vidéo ==</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=Fichier:Interfaces_sign.png&diff=4876Fichier:Interfaces sign.png2024-01-28T17:08:23Z<p>Bblack : </p>
<hr />
<div>interfaces sign</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_ECEAI/eceai_2023/2024/black-blgrim&diff=4853SE5 ECEAI/eceai 2023/2024/black-blgrim2024-01-28T16:47:24Z<p>Bblack : /* 6. Interface Serveur et Gestion des Données */</p>
<hr />
<div>=Compte rendu des séances=<br />
==Séance du 04/12/2023==<br />
===Création de la machine virtuelle===<br />
Création d'une machine virtuelle sur le serveur chassiron :<br />
<br />
<code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code><br />
<br />
[[Fichier:IfconfigVM.png|sans_cadre]]<br />
===Raspberry-Pi===<br />
mettre la config de la raspberry<br />
<br />
<br />
'''<big>Capteurs</big>'''<br />
<br />
pas de capteurs lors de la première séance<br />
<br />
== Séance du 18/12/2023 ==<br />
<br />
=== Sur la VM ===<br />
script serveur.py<br />
<br />
=== sur la raspberry ===<br />
script client.py<br />
<br />
lecture sur l'uart des données envoyés par le stm32<br />
<br />
envoie au serveur (tcp)<br />
<br />
<br />
=== sur le capteur ===<br />
pris ene main du capteur, mettre le code,<br />
<br />
== Séance du 19/12/2023 et du 20/12/2023 ==<br />
utilisation de la bibliothèque sciait-learn pour l'apprentissage automatique. Nous avons décidé que le but de notre application serait de traduire le langage des signes.<br />
<br />
Pour cela nous avons entrainé notre modèle avec quelques signes, comme la lettre A, B ou C et des chiffres 1, 2 et 3 pour commencer.<br />
<br />
//mettre screen des résultats entrainement.py et test.py<br />
<br />
Les résultats sont satisfaisants mais avec quelques erreurs, la prochaine étape est donc d'améliorer notre algorithme d'apprentissage (pour l'instant on utilise l'algorithme des k plus proches voisins), pour cela nous allons rajouter par exemple du filtrage et tester d'autres algo d'apprentissage automatique<br />
<br />
Coté serveur:<br />
<br />
Création d'un serveur web, afin de lire les données qui proviennet depuis la raspberrypi et les afficher.<br />
<br />
<br />
'''<big>Mise en Place de l'algorithme d'apprentissage</big>'''<br />
<br />
nous avons tester plusieurs méthode d'apprentissage comme la '''Méthode des k plus proches voisins''' (K-Neighbour) ou encore '''forêt aléatoire''' Random forest.<br />
<br />
'''Random Forest'''<br />
<br />
<br />
<br />
== '''Présentation du projet''' ==<br />
<br />
=== 1. Introduction ===<br />
----Le projet SignSpeak a pour ambition de créer une solution innovante pour la traduction du langage des signes en texte. L'objectif principal est de développer un système capable de capturer les mouvements des mains et de les interpréter en langage des signes, permettant une communication fluide entre les personnes sourdes ou malentendantes et celles qui ne connaissent pas le langage des signes. Ce projet intègre des technologies avancées telles que l'edge computing, l'intelligence artificielle embarquée, et les communications MQTT, offrant une approche novatrice dans le domaine de l'accessibilité et de la communication.<br />
<br />
=== 2. Architecture du Système ===<br />
----Notre solution repose sur une architecture intégrée impliquant plusieurs composants clés :<br />
<br />
* '''Capteurs et STM32''' : Des capteurs sont connectés à un microcontrôleur STM32, responsables de la capture des mouvements de main. Ces données sont ensuite transmises pour traitement.<br />
* '''Raspberry Pi''' : Agissant comme un intermédiaire, la Raspberry Pi reçoit les données des capteurs via UART, exécute un traitement préliminaire et communique avec le serveur.<br />
* '''Serveur et Machine Learning''' : Un serveur, hébergé sur une VM Xen, traite les données à l'aide d'un modèle SVM pour la traduction en langage des signes et fournit une interface web pour l'interaction utilisateur.<br />
*<br />
<br />
=== 3. Collecte et Préparation des Données ===<br />
----Le processus de collecte des données est géré par le script <code>enregistrementData.py</code>. Ce script lit les données transmises par le STM32 via UART et les enregistre dans un fichier CSV. Chaque entrée du fichier représente les valeurs de capteurs à un moment donné, accompagnées d'une étiquette correspondant au signe effectué. Cette approche assure une collecte de données structurée, essentielle pour l'entraînement précis du modèle d'apprentissage automatique.<syntaxhighlight lang="python"><br />
import serial<br />
import csv<br />
import sys<br />
import time<br />
<br />
# Vérification de l'argument d'entrée<br />
if len(sys.argv) < 2:<br />
print("Usage: python script.py <etiquette>")<br />
sys.exit(1)<br />
<br />
etiquette = sys.argv[1]<br />
<br />
# Paramètres de l'UART<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
<br />
# Créer une connexion UART<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
<br />
# Nom du fichier CSV<br />
filename = f"data_complete.csv"<br />
<br />
# Vérifier si le fichier existe déjà<br />
file_exists = False<br />
try:<br />
with open(filename, 'r') as f:<br />
file_exists = True<br />
except FileNotFoundError:<br />
file_exists = False<br />
<br />
# Ouvrir le fichier CSV en mode append<br />
with open(filename, 'a', newline='') as file:<br />
writer = csv.writer(file)<br />
<br />
# Écrire l'en-tête si le fichier n'existait pas<br />
if not file_exists:<br />
writer.writerow(["Capteur1", "Capteur2", "Capteur3", "Capteur4", "Capteur5", "Capteur6", "Capteur7", "Capteur8", "Capteur9", "Capteur10", "Capteur11", "Capteur12", "Capteur13", "Capteur14", <br />
"Capteur15", "Capteur16", "Etiquette"])<br />
elif file_exists:<br />
writer.writerow([])<br />
while True:<br />
# Lire une ligne de données depuis l'UART<br />
data = ser.readline().decode('utf-8').rstrip()<br />
print(f"Données reçues : '{data}'")<br />
<br />
# Vérifier si des données ont été reçues<br />
if data:<br />
# Diviser les données en valeurs individuelles<br />
sensor_values = data.split(',')<br />
<br />
# Filtrer les chaînes vides ou non numériques et convertir en flottants<br />
try:<br />
sensor_values = [float(value) for value in sensor_values if value.strip().isdigit()]<br />
<br />
# Vérifier qu'il y a 16 valeurs de capteur<br />
if len(sensor_values) == 16:<br />
sensor_values.append(etiquette)<br />
writer.writerow(sensor_values)<br />
else:<br />
print("Données incomplètes reçues")<br />
<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
print(f"Données problématiques : '{data}'")<br />
<br />
time.sleep(0.1)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
* Le script commence par établir une communication série avec le STM32.<br />
* Il lit ensuite les données en série, les décode et les stocke dans un fichier CSV pour une utilisation ultérieure.<br />
<br />
* Une fois les données collectées et stockées dans le fichier CSV, elles sont préparées pour l'entraînement du modèle.<br />
* Cette préparation implique la normalisation des données, la gestion des valeurs manquantes ou aberrantes, et leur formatage dans un bon format.[[Fichier:Rpi entrainement.png|vignette|1000x1000px|néant]]<br />
=== 4. Entraînement du Modèle d'Apprentissage Automatique ===<br />
----L'entraînement du modèle est réalisé par un script Python utilisant la bibliothèque scikit-learn. Le modèle SVM, choisi pour sa capacité à gérer des espaces de grande dimension, est entraîné sur l'ensemble des données collectées. Ce processus comprend la division des données en ensembles d'entraînement et de test, l'entraînement du modèle, et sa validation par le calcul de la précision. Nous avions testé plusieurs modèle, comme par exemple un modèle Knn ou randomForest, des 3 algorithmes, c'est celui qui nous à apporté les meilleurs résultats pour un meme nombre de data d'entrainement. (RandomForest en deuxième position)<syntaxhighlight lang="python"><br />
import pandas as pd<br />
from sklearn.model_selection import train_test_split<br />
from sklearn.svm import SVC<br />
from sklearn.metrics import accuracy_score<br />
import pickle<br />
<br />
# Charger vos données<br />
data = pd.read_csv('data_complete.csv')<br />
<br />
# Séparer les caractéristiques et les étiquettes<br />
X = data.drop('Etiquette', axis=1)<br />
y = data['Etiquette']<br />
<br />
# Diviser les données en ensembles d'entraînement et de test<br />
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)<br />
<br />
# Créer et entraîner le modèle SVM<br />
model = SVC(kernel='rbf')<br />
model.fit(X_train, y_train)<br />
<br />
# Sauvegarder le modèle entraîné<br />
with open('modele_svm.pkl', 'wb') as file:<br />
pickle.dump(model, file)<br />
<br />
# Charger le modèle et faire des prédictions<br />
with open('modele_svm.pkl', 'rb') as file:<br />
loaded_model = pickle.load(file)<br />
predictions = loaded_model.predict(X_test)<br />
print("Précision :", accuracy_score(y_test, predictions))<br />
<br />
</syntaxhighlight><br />
<br />
# '''Séparation des Données''':<br />
#* Les données sont divisées en deux ensembles : un ensemble d'entraînement et un ensemble de test. Cette séparation est cruciale pour évaluer objectivement la performance du modèle.<br />
#* Généralement, on adopte une répartition de 80% pour l'entraînement et 20% pour les tests.<br />
# '''Entraînement du Modèle SVM''':<br />
#* Le modèle SVM avec un noyau RBF (Radial Basis Function) est entraîné sur l'ensemble d'entraînement.<br />
#* L'entraînement implique l'ajustement du modèle aux données d'entraînement, en apprenant à distinguer les différents signes.<br />
# '''Sauvegarde et Réutilisation du Modèle'''<br />
#* Une fois entraîné et validé, le modèle est sauvegardé à l'aide de la bibliothèque <code>pickle</code><br />
# '''Validation et Évaluation du Modèle''':<br />
#* Après l'entraînement, le modèle est testé sur l'ensemble de test pour évaluer sa performance.<br />
#* La métrique principale utilisée est la précision, qui mesure la proportion de prédictions correctes par rapport au total des prédictions.<br />
<br />
Ensuite on peut générer le modèle comme ceci:<br />
[[Fichier:Generate model.png|vignette|399x399px|néant]]<br />
<br />
Avec cette prédiction lorsque notre modèle prédit le résultat, il est correct environ 71.81% du temps.<br />
<br />
=== 5. Intégration MQTT et Communication ===<br />
----Protocole de communication :<br />
<br />
Dans le cadre de notre projet, la communication entre les dispositifs Raspberry Pi et le serveur est établie via le protocole MQTT.<br />
<br />
Justification du Choix de MQTT :<br />
<br />
Au début du projet, une approche basée sur des sockets IPv6 avait été envisagée pour tirer parti de l'adressage direct et de la simplification de la configuration réseau qu'offre IPv6. Cependant, dans le but de respecter les impératifs de sobriété énergétique et d'assurer une scalabilité optimale du système, permettant ainsi de gérer aisément un nombre croissant de dispositifs Raspberry Pi, la décision a été prise d'adopter MQTT comme protocole de communication. Le protocole MQTT, reconnu pour sa légèreté et sa fiabilité, s'adapte parfaitement aux contraintes des applications IoT.<br />
<br />
<br />
'''Installation du broker mosquitto sur le serveur:'''<br />
<syntaxhighlight lang="shell"><br />
apt install -y mosquitto mosquitto-clients<br />
service mosquitto start<br />
</syntaxhighlight><br />
<br />
Activation de l'accès à distance au Broker Mosquitto:<br />
<br />
ajouter l'authentification par username et mot de passe<br />
<syntaxhighlight lang="shell"><br />
sudo mosquitto_passwd -c /etc/mosquitto/passwd username<br />
</syntaxhighlight><br />
après on nous demande d'entrer le mot de passe <br />
<br />
Modifier le fichier /etc/mosquitto/mosquitto.conf:<br />
<syntaxhighlight lang="shell"><br />
listener 1883 10.42.0.5<br />
allow_anonymous false<br />
password_file /etc/mosquitto/passwd<br />
</syntaxhighlight><br />
<br />
Restart Mosquitto:<br />
<syntaxhighlight lang="shell"><br />
service mosquitto restart<br />
</syntaxhighlight><br />
<br />
Vérification ds logs:<br />
<syntaxhighlight lang="shell"><br />
cat /var/log/mosquitto/mosquitto.log<br />
</syntaxhighlight><br />
<br />
'''Création d'un client MQTT sur la Raspberry Pi:'''<br />
<br />
Le script mqtt_client_rpi.py joue un rôle clé dans cette architecture en facilitant la communication bidirectionnelle : il permet non seulement l'envoi des prédictions réalisées par le modèle SVM depuis la Raspberry Pi vers le serveur, mais autorise également la réception des commandes de contrôle, telles que les instructions de démarrage ou d'arrêt de la collecte de données.<br />
<br />
<syntaxhighlight lang="python"><br />
import paho.mqtt.client as mqtt<br />
import serial<br />
import pandas as pd<br />
import pickle<br />
import time<br />
<br />
<br />
<br />
MQTT_BROKER_ADDRESS = "10.42.0.5"<br />
MQTT_USERNAME = "username"<br />
MQTT_PASSWORD = "confidentiel"<br />
pi_id = "rpi1234"<br />
<br />
collecting_data = False <br />
<br />
client = mqtt.Client()<br />
client.username_pw_set(MQTT_USERNAME, MQTT_PASSWORD)<br />
client.connect(MQTT_BROKER_ADDRESS, 1883, 60)<br />
client.loop_start()<br />
<br />
<br />
def on_connect(client, userdata, flags, rc):<br />
print("Connected with result code " + str(rc))<br />
client.subscribe(f"config/{pi_id}")<br />
client.publish("raspberry_available", pi_id)<br />
<br />
def on_message(client, userdata, msg):<br />
global collecting_data<br />
if msg.topic == f"config/{pi_id}":<br />
command = msg.payload.decode()<br />
if command == "start":<br />
collecting_data = True<br />
elif command == "stop":<br />
collecting_data = False<br />
<br />
<br />
<br />
client.on_connect = on_connect<br />
client.on_message = on_message<br />
<br />
<br />
# Configurez le port série et chargez le modèle ici<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
with open('modele_svm.pkl', 'rb') as file:<br />
rf = pickle.load(file)<br />
try:<br />
<br />
while True:<br />
if collecting_data:<br />
data = ser.readline().decode('utf-8').rstrip()<br />
if data:<br />
try:<br />
sensor_values = [value for value in data.split(',') if value.strip().replace('.', '', 1).isdigit()]<br />
if len(sensor_values) == 16:<br />
sensor_values = list(map(float, sensor_values))<br />
sensor_values_df = pd.DataFrame([sensor_values])<br />
prediction = rf.predict(sensor_values_df)<br />
client.publish(f"telemetry/{pi_id}", str(prediction[0]).encode())<br />
print("Prédiction :", prediction[0])<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
else:<br />
time.sleep(0.1)<br />
<br />
except KeyboardInterrupt:<br />
print("Script interrompu")<br />
<br />
<br />
client.loop_stop()<br />
client.disconnect()<br />
</syntaxhighlight>Ici il y a 3 topics différents. lorsqu'une raspberry se connecte au réseau elle publie son ID (qui est unique, on peut prendre par exemple l'adresse MAC) sur le topic raspberry_available. Cela nous servira a savoir quelle raspberry est connecté et de se fait pouvoir afficher celles-ci sur notre interface web.<br />
<br />
le deuxième topic et le topic config/ID (avec id l'identifiant unique de la raspberry), il nous sert a envoyer les commandes "start" et "stop" a la raspberry afin qu'elle démarre ou arrête la lecture des datas.<br />
<br />
Le troisième topic est le topic telemetry/ID, ou la raspberry vient publier ses données.<br />
<br />
Un quatrième topic pourrait être implémenter comme par exemple le topic common_config, toutes les raspberrys serait abonnées a ce topic. S'il est nécessaire, cela nous permettrais d'envoyer la même commande a toutes les raspberry plutôt que de faire une publication sur chaque config/ID <br />
<br />
=== 6. Interface Serveur et Gestion des Données ===<br />
----Le script <code>app.py</code> crée une interface serveur utilisant Flask. Cette interface gère les requêtes entrantes, les messages MQTT, et fournit une API pour l'interface utilisateur web. Elle permet également de visualiser les Raspberry Pi disponibles et les derniers messages traduits.<br />
<br />
=== 7. Conception de l'Interface Utilisateur ===<br />
----L'interface utilisateur est développée en HTML, CSS et JavaScript. Le fichier <code>index.html</code> fournit une interface claire et intuitive pour l'envoi de commandes et la visualisation des traductions. L'utilisation de JavaScript pour interroger dynamiquement le serveur Flask permet une mise à jour en temps réel des informations affichées.<br />
<br />
=== 9. Conclusion et Perspectives ===<br />
----SignSpeak représente une avancée significative dans le domaine de la traduction du langage des signes. Ce projet non seulement démont</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_ECEAI/eceai_2023/2024/black-blgrim&diff=4840SE5 ECEAI/eceai 2023/2024/black-blgrim2024-01-28T16:34:19Z<p>Bblack : /* Raspberry-Pi */</p>
<hr />
<div>=Compte rendu des séances=<br />
==Séance du 04/12/2023==<br />
===Création de la machine virtuelle===<br />
Création d'une machine virtuelle sur le serveur chassiron :<br />
<br />
<code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code><br />
<br />
[[Fichier:IfconfigVM.png|sans_cadre]]<br />
===Raspberry-Pi===<br />
mettre la config de la raspberry<br />
<br />
<br />
'''<big>Capteurs</big>'''<br />
<br />
pas de capteurs lors de la première séance<br />
<br />
== Séance du 18/12/2023 ==<br />
<br />
=== Sur la VM ===<br />
script serveur.py<br />
<br />
=== sur la raspberry ===<br />
script client.py<br />
<br />
lecture sur l'uart des données envoyés par le stm32<br />
<br />
envoie au serveur (tcp)<br />
<br />
<br />
=== sur le capteur ===<br />
pris ene main du capteur, mettre le code,<br />
<br />
== Séance du 19/12/2023 et du 20/12/2023 ==<br />
utilisation de la bibliothèque sciait-learn pour l'apprentissage automatique. Nous avons décidé que le but de notre application serait de traduire le langage des signes.<br />
<br />
Pour cela nous avons entrainé notre modèle avec quelques signes, comme la lettre A, B ou C et des chiffres 1, 2 et 3 pour commencer.<br />
<br />
//mettre screen des résultats entrainement.py et test.py<br />
<br />
Les résultats sont satisfaisants mais avec quelques erreurs, la prochaine étape est donc d'améliorer notre algorithme d'apprentissage (pour l'instant on utilise l'algorithme des k plus proches voisins), pour cela nous allons rajouter par exemple du filtrage et tester d'autres algo d'apprentissage automatique<br />
<br />
Coté serveur:<br />
<br />
Création d'un serveur web, afin de lire les données qui proviennet depuis la raspberrypi et les afficher.<br />
<br />
<br />
'''<big>Mise en Place de l'algorithme d'apprentissage</big>'''<br />
<br />
nous avons tester plusieurs méthode d'apprentissage comme la '''Méthode des k plus proches voisins''' (K-Neighbour) ou encore '''forêt aléatoire''' Random forest.<br />
<br />
'''Random Forest'''<br />
<br />
<br />
<br />
== '''Présentation du projet''' ==<br />
<br />
=== 1. Introduction ===<br />
----Le projet SignSpeak a pour ambition de créer une solution innovante pour la traduction du langage des signes en texte. L'objectif principal est de développer un système capable de capturer les mouvements des mains et de les interpréter en langage des signes, permettant une communication fluide entre les personnes sourdes ou malentendantes et celles qui ne connaissent pas le langage des signes. Ce projet intègre des technologies avancées telles que l'edge computing, l'intelligence artificielle embarquée, et les communications MQTT, offrant une approche novatrice dans le domaine de l'accessibilité et de la communication.<br />
<br />
=== 2. Architecture du Système ===<br />
----Notre solution repose sur une architecture intégrée impliquant plusieurs composants clés :<br />
<br />
* '''Capteurs et STM32''' : Des capteurs sont connectés à un microcontrôleur STM32, responsables de la capture des mouvements de main. Ces données sont ensuite transmises pour traitement.<br />
* '''Raspberry Pi''' : Agissant comme un intermédiaire, la Raspberry Pi reçoit les données des capteurs via UART, exécute un traitement préliminaire et communique avec le serveur.<br />
* '''Serveur et Machine Learning''' : Un serveur, hébergé sur une VM Xen, traite les données à l'aide d'un modèle SVM pour la traduction en langage des signes et fournit une interface web pour l'interaction utilisateur.<br />
*<br />
<br />
=== 3. Collecte et Préparation des Données ===<br />
----Le processus de collecte des données est géré par le script <code>enregistrementData.py</code>. Ce script lit les données transmises par le STM32 via UART et les enregistre dans un fichier CSV. Chaque entrée du fichier représente les valeurs de capteurs à un moment donné, accompagnées d'une étiquette correspondant au signe effectué. Cette approche assure une collecte de données structurée, essentielle pour l'entraînement précis du modèle d'apprentissage automatique.<syntaxhighlight lang="python"><br />
import serial<br />
import csv<br />
import sys<br />
import time<br />
<br />
# Vérification de l'argument d'entrée<br />
if len(sys.argv) < 2:<br />
print("Usage: python script.py <etiquette>")<br />
sys.exit(1)<br />
<br />
etiquette = sys.argv[1]<br />
<br />
# Paramètres de l'UART<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
<br />
# Créer une connexion UART<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
<br />
# Nom du fichier CSV<br />
filename = f"data_complete.csv"<br />
<br />
# Vérifier si le fichier existe déjà<br />
file_exists = False<br />
try:<br />
with open(filename, 'r') as f:<br />
file_exists = True<br />
except FileNotFoundError:<br />
file_exists = False<br />
<br />
# Ouvrir le fichier CSV en mode append<br />
with open(filename, 'a', newline='') as file:<br />
writer = csv.writer(file)<br />
<br />
# Écrire l'en-tête si le fichier n'existait pas<br />
if not file_exists:<br />
writer.writerow(["Capteur1", "Capteur2", "Capteur3", "Capteur4", "Capteur5", "Capteur6", "Capteur7", "Capteur8", "Capteur9", "Capteur10", "Capteur11", "Capteur12", "Capteur13", "Capteur14", <br />
"Capteur15", "Capteur16", "Etiquette"])<br />
elif file_exists:<br />
writer.writerow([])<br />
while True:<br />
# Lire une ligne de données depuis l'UART<br />
data = ser.readline().decode('utf-8').rstrip()<br />
print(f"Données reçues : '{data}'")<br />
<br />
# Vérifier si des données ont été reçues<br />
if data:<br />
# Diviser les données en valeurs individuelles<br />
sensor_values = data.split(',')<br />
<br />
# Filtrer les chaînes vides ou non numériques et convertir en flottants<br />
try:<br />
sensor_values = [float(value) for value in sensor_values if value.strip().isdigit()]<br />
<br />
# Vérifier qu'il y a 16 valeurs de capteur<br />
if len(sensor_values) == 16:<br />
sensor_values.append(etiquette)<br />
writer.writerow(sensor_values)<br />
else:<br />
print("Données incomplètes reçues")<br />
<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
print(f"Données problématiques : '{data}'")<br />
<br />
time.sleep(0.1)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
* Le script commence par établir une communication série avec le STM32.<br />
* Il lit ensuite les données en série, les décode et les stocke dans un fichier CSV pour une utilisation ultérieure.<br />
<br />
* Une fois les données collectées et stockées dans le fichier CSV, elles sont préparées pour l'entraînement du modèle.<br />
* Cette préparation implique la normalisation des données, la gestion des valeurs manquantes ou aberrantes, et leur formatage dans un bon format.[[Fichier:Rpi entrainement.png|vignette|1000x1000px|néant]]<br />
=== 4. Entraînement du Modèle d'Apprentissage Automatique ===<br />
----L'entraînement du modèle est réalisé par un script Python utilisant la bibliothèque scikit-learn. Le modèle SVM, choisi pour sa capacité à gérer des espaces de grande dimension, est entraîné sur l'ensemble des données collectées. Ce processus comprend la division des données en ensembles d'entraînement et de test, l'entraînement du modèle, et sa validation par le calcul de la précision. Nous avions testé plusieurs modèle, comme par exemple un modèle Knn ou randomForest, des 3 algorithmes, c'est celui qui nous à apporté les meilleurs résultats pour un meme nombre de data d'entrainement. (RandomForest en deuxième position)<syntaxhighlight lang="python"><br />
import pandas as pd<br />
from sklearn.model_selection import train_test_split<br />
from sklearn.svm import SVC<br />
from sklearn.metrics import accuracy_score<br />
import pickle<br />
<br />
# Charger vos données<br />
data = pd.read_csv('data_complete.csv')<br />
<br />
# Séparer les caractéristiques et les étiquettes<br />
X = data.drop('Etiquette', axis=1)<br />
y = data['Etiquette']<br />
<br />
# Diviser les données en ensembles d'entraînement et de test<br />
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)<br />
<br />
# Créer et entraîner le modèle SVM<br />
model = SVC(kernel='rbf')<br />
model.fit(X_train, y_train)<br />
<br />
# Sauvegarder le modèle entraîné<br />
with open('modele_svm.pkl', 'wb') as file:<br />
pickle.dump(model, file)<br />
<br />
# Charger le modèle et faire des prédictions<br />
with open('modele_svm.pkl', 'rb') as file:<br />
loaded_model = pickle.load(file)<br />
predictions = loaded_model.predict(X_test)<br />
print("Précision :", accuracy_score(y_test, predictions))<br />
<br />
</syntaxhighlight><br />
<br />
# '''Séparation des Données''':<br />
#* Les données sont divisées en deux ensembles : un ensemble d'entraînement et un ensemble de test. Cette séparation est cruciale pour évaluer objectivement la performance du modèle.<br />
#* Généralement, on adopte une répartition de 80% pour l'entraînement et 20% pour les tests.<br />
# '''Entraînement du Modèle SVM''':<br />
#* Le modèle SVM avec un noyau RBF (Radial Basis Function) est entraîné sur l'ensemble d'entraînement.<br />
#* L'entraînement implique l'ajustement du modèle aux données d'entraînement, en apprenant à distinguer les différents signes.<br />
# '''Sauvegarde et Réutilisation du Modèle'''<br />
#* Une fois entraîné et validé, le modèle est sauvegardé à l'aide de la bibliothèque <code>pickle</code><br />
# '''Validation et Évaluation du Modèle''':<br />
#* Après l'entraînement, le modèle est testé sur l'ensemble de test pour évaluer sa performance.<br />
#* La métrique principale utilisée est la précision, qui mesure la proportion de prédictions correctes par rapport au total des prédictions.<br />
<br />
Ensuite on peut générer le modèle comme ceci:<br />
[[Fichier:Generate model.png|vignette|399x399px|néant]]<br />
<br />
Avec cette prédiction lorsque notre modèle prédit le résultat, il est correct environ 71.81% du temps.<br />
<br />
=== 5. Intégration MQTT et Communication ===<br />
----Protocole de communication :<br />
<br />
Dans le cadre de notre projet, la communication entre les dispositifs Raspberry Pi et le serveur est établie via le protocole MQTT.<br />
<br />
Justification du Choix de MQTT :<br />
<br />
Au début du projet, une approche basée sur des sockets IPv6 avait été envisagée pour tirer parti de l'adressage direct et de la simplification de la configuration réseau qu'offre IPv6. Cependant, dans le but de respecter les impératifs de sobriété énergétique et d'assurer une scalabilité optimale du système, permettant ainsi de gérer aisément un nombre croissant de dispositifs Raspberry Pi, la décision a été prise d'adopter MQTT comme protocole de communication. Le protocole MQTT, reconnu pour sa légèreté et sa fiabilité, s'adapte parfaitement aux contraintes des applications IoT.<br />
<br />
<br />
Installation du broker mosquitto sur le serveur:<br />
<syntaxhighlight lang="shell"><br />
apt install -y mosquitto mosquitto-clients<br />
service mosquitto start<br />
</syntaxhighlight><br />
<br />
Activation de l'accès à distance au Broker Mosquitto:<br />
<br />
ajouter l'authentification par username et mot de passe<br />
<syntaxhighlight lang="shell"><br />
sudo mosquitto_passwd -c /etc/mosquitto/passwd username<br />
</syntaxhighlight><br />
après on nous demande d'entrer le mot de passe <br />
<br />
Modifier le fichier /etc/mosquitto/mosquitto.conf:<br />
<syntaxhighlight lang="shell"><br />
listener 1883 10.42.0.5<br />
allow_anonymous false<br />
password_file /etc/mosquitto/passwd<br />
</syntaxhighlight><br />
<br />
Restart Mosquitto:<br />
<syntaxhighlight lang="shell"><br />
service mosquitto restart<br />
</syntaxhighlight><br />
<br />
Vérification ds logs:<br />
<syntaxhighlight lang="shell"><br />
cat /var/log/mosquitto/mosquitto.log<br />
</syntaxhighlight><br />
<br />
<syntaxhighlight lang="python"><br />
import paho.mqtt.client as mqtt<br />
import serial<br />
import pandas as pd<br />
import pickle<br />
import time<br />
<br />
<br />
<br />
MQTT_BROKER_ADDRESS = "10.42.0.5"<br />
MQTT_USERNAME = "username"<br />
MQTT_PASSWORD = "confidentiel"<br />
pi_id = "rpi1234"<br />
<br />
collecting_data = False <br />
<br />
client = mqtt.Client()<br />
client.username_pw_set(MQTT_USERNAME, MQTT_PASSWORD)<br />
client.connect(MQTT_BROKER_ADDRESS, 1883, 60)<br />
client.loop_start()<br />
<br />
<br />
def on_connect(client, userdata, flags, rc):<br />
print("Connected with result code " + str(rc))<br />
client.subscribe(f"config/{pi_id}")<br />
client.publish("raspberry_available", pi_id)<br />
<br />
def on_message(client, userdata, msg):<br />
global collecting_data<br />
if msg.topic == f"config/{pi_id}":<br />
command = msg.payload.decode()<br />
if command == "start":<br />
collecting_data = True<br />
elif command == "stop":<br />
collecting_data = False<br />
<br />
<br />
<br />
client.on_connect = on_connect<br />
client.on_message = on_message<br />
<br />
<br />
# Configurez le port série et chargez le modèle ici<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
with open('modele_svm.pkl', 'rb') as file:<br />
rf = pickle.load(file)<br />
try:<br />
<br />
while True:<br />
if collecting_data:<br />
data = ser.readline().decode('utf-8').rstrip()<br />
if data:<br />
try:<br />
sensor_values = [value for value in data.split(',') if value.strip().replace('.', '', 1).isdigit()]<br />
if len(sensor_values) == 16:<br />
sensor_values = list(map(float, sensor_values))<br />
sensor_values_df = pd.DataFrame([sensor_values])<br />
prediction = rf.predict(sensor_values_df)<br />
client.publish(f"telemetry/{pi_id}", str(prediction[0]).encode())<br />
print("Prédiction :", prediction[0])<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
else:<br />
time.sleep(0.1)<br />
<br />
except KeyboardInterrupt:<br />
print("Script interrompu")<br />
<br />
<br />
client.loop_stop()<br />
client.disconnect()<br />
</syntaxhighlight><br />
<br />
=== 6. Interface Serveur et Gestion des Données ===<br />
----Le script <code>app.py</code> crée une interface serveur utilisant Flask. Cette interface gère les requêtes entrantes, les messages MQTT, et fournit une API pour l'interface utilisateur web. Elle permet également de visualiser les Raspberry Pi disponibles et les derniers messages traduits.<br />
<br />
=== 7. Conception de l'Interface Utilisateur ===<br />
----L'interface utilisateur est développée en HTML, CSS et JavaScript. Le fichier <code>index.html</code> fournit une interface claire et intuitive pour l'envoi de commandes et la visualisation des traductions. L'utilisation de JavaScript pour interroger dynamiquement le serveur Flask permet une mise à jour en temps réel des informations affichées.<br />
<br />
=== 9. Conclusion et Perspectives ===<br />
----SignSpeak représente une avancée significative dans le domaine de la traduction du langage des signes. Ce projet non seulement démont</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_ECEAI/eceai_2023/2024/black-blgrim&diff=4837SE5 ECEAI/eceai 2023/2024/black-blgrim2024-01-28T16:30:19Z<p>Bblack : /* Raspberry-Pi */</p>
<hr />
<div>=Compte rendu des séances=<br />
==Séance du 04/12/2023==<br />
===Création de la machine virtuelle===<br />
Création d'une machine virtuelle sur le serveur chassiron :<br />
<br />
<code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code><br />
<br />
[[Fichier:IfconfigVM.png|sans_cadre]]<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
===Raspberry-Pi===<br />
mettre la config de la raspberry<br />
<br />
<br />
'''<big>Capteurs</big>'''<br />
<br />
pas de capteurs lors de la première séance<br />
<br />
== Séance du 18/12/2023 ==<br />
<br />
=== Sur la VM ===<br />
script serveur.py<br />
<br />
=== sur la raspberry ===<br />
script client.py<br />
<br />
lecture sur l'uart des données envoyés par le stm32<br />
<br />
envoie au serveur (tcp)<br />
<br />
<br />
=== sur le capteur ===<br />
pris ene main du capteur, mettre le code,<br />
<br />
== Séance du 19/12/2023 et du 20/12/2023 ==<br />
utilisation de la bibliothèque sciait-learn pour l'apprentissage automatique. Nous avons décidé que le but de notre application serait de traduire le langage des signes.<br />
<br />
Pour cela nous avons entrainé notre modèle avec quelques signes, comme la lettre A, B ou C et des chiffres 1, 2 et 3 pour commencer.<br />
<br />
//mettre screen des résultats entrainement.py et test.py<br />
<br />
Les résultats sont satisfaisants mais avec quelques erreurs, la prochaine étape est donc d'améliorer notre algorithme d'apprentissage (pour l'instant on utilise l'algorithme des k plus proches voisins), pour cela nous allons rajouter par exemple du filtrage et tester d'autres algo d'apprentissage automatique<br />
<br />
Coté serveur:<br />
<br />
Création d'un serveur web, afin de lire les données qui proviennet depuis la raspberrypi et les afficher.<br />
<br />
<br />
'''<big>Mise en Place de l'algorithme d'apprentissage</big>'''<br />
<br />
nous avons tester plusieurs méthode d'apprentissage comme la '''Méthode des k plus proches voisins''' (K-Neighbour) ou encore '''forêt aléatoire''' Random forest.<br />
<br />
'''Random Forest'''<br />
<br />
<br />
<br />
=== 1. Introduction ===<br />
----Le projet SignSpeak a pour ambition de créer une solution innovante pour la traduction du langage des signes en texte. L'objectif principal est de développer un système capable de capturer les mouvements des mains et de les interpréter en langage des signes, permettant une communication fluide entre les personnes sourdes ou malentendantes et celles qui ne connaissent pas le langage des signes. Ce projet intègre des technologies avancées telles que l'edge computing, l'intelligence artificielle embarquée, et les communications MQTT, offrant une approche novatrice dans le domaine de l'accessibilité et de la communication.<br />
<br />
=== 2. Architecture du Système ===<br />
----Notre solution repose sur une architecture intégrée impliquant plusieurs composants clés :<br />
<br />
* '''Capteurs et STM32''' : Des capteurs sont connectés à un microcontrôleur STM32, responsables de la capture des mouvements de main. Ces données sont ensuite transmises pour traitement.<br />
* '''Raspberry Pi''' : Agissant comme un intermédiaire, la Raspberry Pi reçoit les données des capteurs via UART, exécute un traitement préliminaire et communique avec le serveur.<br />
* '''Serveur et Machine Learning''' : Un serveur, hébergé sur une VM Xen, traite les données à l'aide d'un modèle SVM pour la traduction en langage des signes et fournit une interface web pour l'interaction utilisateur.<br />
*<br />
<br />
=== 3. Collecte et Préparation des Données ===<br />
----Le processus de collecte des données est géré par le script <code>enregistrementData.py</code>. Ce script lit les données transmises par le STM32 via UART et les enregistre dans un fichier CSV. Chaque entrée du fichier représente les valeurs de capteurs à un moment donné, accompagnées d'une étiquette correspondant au signe effectué. Cette approche assure une collecte de données structurée, essentielle pour l'entraînement précis du modèle d'apprentissage automatique.<syntaxhighlight lang="python"><br />
import serial<br />
import csv<br />
import sys<br />
import time<br />
<br />
# Vérification de l'argument d'entrée<br />
if len(sys.argv) < 2:<br />
print("Usage: python script.py <etiquette>")<br />
sys.exit(1)<br />
<br />
etiquette = sys.argv[1]<br />
<br />
# Paramètres de l'UART<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
<br />
# Créer une connexion UART<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
<br />
# Nom du fichier CSV<br />
filename = f"data_complete.csv"<br />
<br />
# Vérifier si le fichier existe déjà<br />
file_exists = False<br />
try:<br />
with open(filename, 'r') as f:<br />
file_exists = True<br />
except FileNotFoundError:<br />
file_exists = False<br />
<br />
# Ouvrir le fichier CSV en mode append<br />
with open(filename, 'a', newline='') as file:<br />
writer = csv.writer(file)<br />
<br />
# Écrire l'en-tête si le fichier n'existait pas<br />
if not file_exists:<br />
writer.writerow(["Capteur1", "Capteur2", "Capteur3", "Capteur4", "Capteur5", "Capteur6", "Capteur7", "Capteur8", "Capteur9", "Capteur10", "Capteur11", "Capteur12", "Capteur13", "Capteur14", <br />
"Capteur15", "Capteur16", "Etiquette"])<br />
elif file_exists:<br />
writer.writerow([])<br />
while True:<br />
# Lire une ligne de données depuis l'UART<br />
data = ser.readline().decode('utf-8').rstrip()<br />
print(f"Données reçues : '{data}'")<br />
<br />
# Vérifier si des données ont été reçues<br />
if data:<br />
# Diviser les données en valeurs individuelles<br />
sensor_values = data.split(',')<br />
<br />
# Filtrer les chaînes vides ou non numériques et convertir en flottants<br />
try:<br />
sensor_values = [float(value) for value in sensor_values if value.strip().isdigit()]<br />
<br />
# Vérifier qu'il y a 16 valeurs de capteur<br />
if len(sensor_values) == 16:<br />
sensor_values.append(etiquette)<br />
writer.writerow(sensor_values)<br />
else:<br />
print("Données incomplètes reçues")<br />
<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
print(f"Données problématiques : '{data}'")<br />
<br />
time.sleep(0.1)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
* Le script commence par établir une communication série avec le STM32.<br />
* Il lit ensuite les données en série, les décode et les stocke dans un fichier CSV pour une utilisation ultérieure.<br />
<br />
* Une fois les données collectées et stockées dans le fichier CSV, elles sont préparées pour l'entraînement du modèle.<br />
* Cette préparation implique la normalisation des données, la gestion des valeurs manquantes ou aberrantes, et leur formatage dans un bon format.[[Fichier:Rpi entrainement.png|vignette|1000x1000px|néant]]<br />
=== 4. Entraînement du Modèle d'Apprentissage Automatique ===<br />
----L'entraînement du modèle est réalisé par un script Python utilisant la bibliothèque scikit-learn. Le modèle SVM, choisi pour sa capacité à gérer des espaces de grande dimension, est entraîné sur l'ensemble des données collectées. Ce processus comprend la division des données en ensembles d'entraînement et de test, l'entraînement du modèle, et sa validation par le calcul de la précision.<syntaxhighlight lang="python"><br />
import pandas as pd<br />
from sklearn.model_selection import train_test_split<br />
from sklearn.svm import SVC<br />
from sklearn.metrics import accuracy_score<br />
import pickle<br />
<br />
# Charger vos données<br />
data = pd.read_csv('data_complete.csv')<br />
<br />
# Séparer les caractéristiques et les étiquettes<br />
X = data.drop('Etiquette', axis=1)<br />
y = data['Etiquette']<br />
<br />
# Diviser les données en ensembles d'entraînement et de test<br />
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)<br />
<br />
# Créer et entraîner le modèle SVM<br />
model = SVC(kernel='rbf')<br />
model.fit(X_train, y_train)<br />
<br />
# Sauvegarder le modèle entraîné<br />
with open('modele_svm.pkl', 'wb') as file:<br />
pickle.dump(model, file)<br />
<br />
# Charger le modèle et faire des prédictions<br />
with open('modele_svm.pkl', 'rb') as file:<br />
loaded_model = pickle.load(file)<br />
predictions = loaded_model.predict(X_test)<br />
print("Précision :", accuracy_score(y_test, predictions))<br />
<br />
</syntaxhighlight><br />
<br />
# '''Séparation des Données''':<br />
#* Les données sont divisées en deux ensembles : un ensemble d'entraînement et un ensemble de test. Cette séparation est cruciale pour évaluer objectivement la performance du modèle.<br />
#* Généralement, on adopte une répartition de 80% pour l'entraînement et 20% pour les tests.<br />
# '''Entraînement du Modèle SVM''':<br />
#* Le modèle SVM avec un noyau RBF (Radial Basis Function) est entraîné sur l'ensemble d'entraînement.<br />
#* L'entraînement implique l'ajustement du modèle aux données d'entraînement, en apprenant à distinguer les différents signes.<br />
# '''Sauvegarde et Réutilisation du Modèle'''<br />
#* Une fois entraîné et validé, le modèle est sauvegardé à l'aide de la bibliothèque <code>pickle</code><br />
# '''Validation et Évaluation du Modèle''':<br />
#* Après l'entraînement, le modèle est testé sur l'ensemble de test pour évaluer sa performance.<br />
#* La métrique principale utilisée est la précision, qui mesure la proportion de prédictions correctes par rapport au total des prédictions.<br />
<br />
Ensuite on peut générer le modèle comme ceci:<br />
[[Fichier:Generate model.png|vignette|399x399px|néant]]<br />
<br />
Avec cette prédiction lorsque notre modèle prédit le résultat, il est correct environ 71.81% du temps.<br />
<br />
=== 5. Intégration MQTT et Communication ===<br />
----Protocole de communication :<br />
<br />
Dans le cadre de notre projet, la communication entre les dispositifs Raspberry Pi et le serveur est établie via le protocole MQTT.<br />
<br />
Justification du Choix de MQTT :<br />
<br />
Au début du projet, une approche basée sur des sockets IPv6 avait été envisagée pour tirer parti de l'adressage direct et de la simplification de la configuration réseau qu'offre IPv6. Cependant, dans le but de respecter les impératifs de sobriété énergétique et d'assurer une scalabilité optimale du système, permettant ainsi de gérer aisément un nombre croissant de dispositifs Raspberry Pi, la décision a été prise d'adopter MQTT comme protocole de communication. Le protocole MQTT, reconnu pour sa légèreté et sa fiabilité, s'adapte parfaitement aux contraintes des applications IoT.<br />
<br />
<br />
Installation du broker mosquitto sur le serveur:<br />
<syntaxhighlight lang="shell"><br />
apt install -y mosquitto mosquitto-clients<br />
service mosquitto start<br />
</syntaxhighlight><br />
<br />
Activation de l'accès à distance au Broker Mosquitto:<br />
<br />
ajouter l'authentification par username et mot de passe<br />
<syntaxhighlight lang="shell"><br />
sudo mosquitto_passwd -c /etc/mosquitto/passwd username<br />
</syntaxhighlight><br />
après on nous demande d'entrer le mot de passe <br />
<br />
Modifier le fichier /etc/mosquitto/mosquitto.conf:<br />
<syntaxhighlight lang="shell"><br />
listener 1883 10.42.0.5<br />
allow_anonymous false<br />
password_file /etc/mosquitto/passwd<br />
</syntaxhighlight><br />
<br />
Restart Mosquitto:<br />
<syntaxhighlight lang="shell"><br />
service mosquitto restart<br />
</syntaxhighlight><br />
<br />
Vérification ds logs:<br />
<syntaxhighlight lang="shell"><br />
cat /var/log/mosquitto/mosquitto.log<br />
</syntaxhighlight><br />
<br />
<syntaxhighlight lang="python"><br />
</syntaxhighlight><br />
<br />
=== 6. Interface Serveur et Gestion des Données ===<br />
----Le script <code>app.py</code> crée une interface serveur utilisant Flask. Cette interface gère les requêtes entrantes, les messages MQTT, et fournit une API pour l'interface utilisateur web. Elle permet également de visualiser les Raspberry Pi disponibles et les derniers messages traduits.<br />
<br />
=== 7. Conception de l'Interface Utilisateur ===<br />
----L'interface utilisateur est développée en HTML, CSS et JavaScript. Le fichier <code>index.html</code> fournit une interface claire et intuitive pour l'envoi de commandes et la visualisation des traductions. L'utilisation de JavaScript pour interroger dynamiquement le serveur Flask permet une mise à jour en temps réel des informations affichées.<br />
<br />
=== 9. Conclusion et Perspectives ===<br />
----SignSpeak représente une avancée significative dans le domaine de la traduction du langage des signes. Ce projet non seulement démont</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_ECEAI/eceai_2023/2024/black-blgrim&diff=4835SE5 ECEAI/eceai 2023/2024/black-blgrim2024-01-28T16:28:47Z<p>Bblack : /* 4. Entraînement du Modèle d'Apprentissage Automatique */</p>
<hr />
<div>=Compte rendu des séances=<br />
==Séance du 04/12/2023==<br />
===Création de la machine virtuelle===<br />
Création d'une machine virtuelle sur le serveur chassiron :<br />
<br />
<code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code><br />
[[Fichier:IfconfigVM.png|gauche|sans_cadre]]<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
===Raspberry-Pi===<br />
mettre la config de la raspberry<br />
<br />
<br />
'''<big>Capteurs</big>'''<br />
<br />
pas de capteurs lors de la première séance<br />
<br />
== Séance du 18/12/2023 ==<br />
<br />
=== Sur la VM ===<br />
script serveur.py<br />
<br />
=== sur la raspberry ===<br />
script client.py<br />
<br />
lecture sur l'uart des données envoyés par le stm32<br />
<br />
envoie au serveur (tcp)<br />
<br />
<br />
=== sur le capteur ===<br />
pris ene main du capteur, mettre le code,<br />
<br />
== Séance du 19/12/2023 et du 20/12/2023 ==<br />
utilisation de la bibliothèque sciait-learn pour l'apprentissage automatique. Nous avons décidé que le but de notre application serait de traduire le langage des signes.<br />
<br />
Pour cela nous avons entrainé notre modèle avec quelques signes, comme la lettre A, B ou C et des chiffres 1, 2 et 3 pour commencer.<br />
<br />
//mettre screen des résultats entrainement.py et test.py<br />
<br />
Les résultats sont satisfaisants mais avec quelques erreurs, la prochaine étape est donc d'améliorer notre algorithme d'apprentissage (pour l'instant on utilise l'algorithme des k plus proches voisins), pour cela nous allons rajouter par exemple du filtrage et tester d'autres algo d'apprentissage automatique<br />
<br />
Coté serveur:<br />
<br />
Création d'un serveur web, afin de lire les données qui proviennet depuis la raspberrypi et les afficher.<br />
<br />
<br />
'''<big>Mise en Place de l'algorithme d'apprentissage</big>'''<br />
<br />
nous avons tester plusieurs méthode d'apprentissage comme la '''Méthode des k plus proches voisins''' (K-Neighbour) ou encore '''forêt aléatoire''' Random forest.<br />
<br />
'''Random Forest'''<br />
<br />
<br />
<br />
=== 1. Introduction ===<br />
----Le projet SignSpeak a pour ambition de créer une solution innovante pour la traduction du langage des signes en texte. L'objectif principal est de développer un système capable de capturer les mouvements des mains et de les interpréter en langage des signes, permettant une communication fluide entre les personnes sourdes ou malentendantes et celles qui ne connaissent pas le langage des signes. Ce projet intègre des technologies avancées telles que l'edge computing, l'intelligence artificielle embarquée, et les communications MQTT, offrant une approche novatrice dans le domaine de l'accessibilité et de la communication.<br />
<br />
=== 2. Architecture du Système ===<br />
----Notre solution repose sur une architecture intégrée impliquant plusieurs composants clés :<br />
<br />
* '''Capteurs et STM32''' : Des capteurs sont connectés à un microcontrôleur STM32, responsables de la capture des mouvements de main. Ces données sont ensuite transmises pour traitement.<br />
* '''Raspberry Pi''' : Agissant comme un intermédiaire, la Raspberry Pi reçoit les données des capteurs via UART, exécute un traitement préliminaire et communique avec le serveur.<br />
* '''Serveur et Machine Learning''' : Un serveur, hébergé sur une VM Xen, traite les données à l'aide d'un modèle SVM pour la traduction en langage des signes et fournit une interface web pour l'interaction utilisateur.<br />
*<br />
<br />
=== 3. Collecte et Préparation des Données ===<br />
----Le processus de collecte des données est géré par le script <code>enregistrementData.py</code>. Ce script lit les données transmises par le STM32 via UART et les enregistre dans un fichier CSV. Chaque entrée du fichier représente les valeurs de capteurs à un moment donné, accompagnées d'une étiquette correspondant au signe effectué. Cette approche assure une collecte de données structurée, essentielle pour l'entraînement précis du modèle d'apprentissage automatique.<syntaxhighlight lang="python"><br />
import serial<br />
import csv<br />
import sys<br />
import time<br />
<br />
# Vérification de l'argument d'entrée<br />
if len(sys.argv) < 2:<br />
print("Usage: python script.py <etiquette>")<br />
sys.exit(1)<br />
<br />
etiquette = sys.argv[1]<br />
<br />
# Paramètres de l'UART<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
<br />
# Créer une connexion UART<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
<br />
# Nom du fichier CSV<br />
filename = f"data_complete.csv"<br />
<br />
# Vérifier si le fichier existe déjà<br />
file_exists = False<br />
try:<br />
with open(filename, 'r') as f:<br />
file_exists = True<br />
except FileNotFoundError:<br />
file_exists = False<br />
<br />
# Ouvrir le fichier CSV en mode append<br />
with open(filename, 'a', newline='') as file:<br />
writer = csv.writer(file)<br />
<br />
# Écrire l'en-tête si le fichier n'existait pas<br />
if not file_exists:<br />
writer.writerow(["Capteur1", "Capteur2", "Capteur3", "Capteur4", "Capteur5", "Capteur6", "Capteur7", "Capteur8", "Capteur9", "Capteur10", "Capteur11", "Capteur12", "Capteur13", "Capteur14", <br />
"Capteur15", "Capteur16", "Etiquette"])<br />
elif file_exists:<br />
writer.writerow([])<br />
while True:<br />
# Lire une ligne de données depuis l'UART<br />
data = ser.readline().decode('utf-8').rstrip()<br />
print(f"Données reçues : '{data}'")<br />
<br />
# Vérifier si des données ont été reçues<br />
if data:<br />
# Diviser les données en valeurs individuelles<br />
sensor_values = data.split(',')<br />
<br />
# Filtrer les chaînes vides ou non numériques et convertir en flottants<br />
try:<br />
sensor_values = [float(value) for value in sensor_values if value.strip().isdigit()]<br />
<br />
# Vérifier qu'il y a 16 valeurs de capteur<br />
if len(sensor_values) == 16:<br />
sensor_values.append(etiquette)<br />
writer.writerow(sensor_values)<br />
else:<br />
print("Données incomplètes reçues")<br />
<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
print(f"Données problématiques : '{data}'")<br />
<br />
time.sleep(0.1)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
* Le script commence par établir une communication série avec le STM32.<br />
* Il lit ensuite les données en série, les décode et les stocke dans un fichier CSV pour une utilisation ultérieure.<br />
<br />
* Une fois les données collectées et stockées dans le fichier CSV, elles sont préparées pour l'entraînement du modèle.<br />
* Cette préparation implique la normalisation des données, la gestion des valeurs manquantes ou aberrantes, et leur formatage dans un bon format.[[Fichier:Rpi entrainement.png|gauche|vignette|1000x1000px]]<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
=== 4. Entraînement du Modèle d'Apprentissage Automatique ===<br />
----L'entraînement du modèle est réalisé par un script Python utilisant la bibliothèque scikit-learn. Le modèle SVM, choisi pour sa capacité à gérer des espaces de grande dimension, est entraîné sur l'ensemble des données collectées. Ce processus comprend la division des données en ensembles d'entraînement et de test, l'entraînement du modèle, et sa validation par le calcul de la précision.<syntaxhighlight lang="python"><br />
import pandas as pd<br />
from sklearn.model_selection import train_test_split<br />
from sklearn.svm import SVC<br />
from sklearn.metrics import accuracy_score<br />
import pickle<br />
<br />
# Charger vos données<br />
data = pd.read_csv('data_complete.csv')<br />
<br />
# Séparer les caractéristiques et les étiquettes<br />
X = data.drop('Etiquette', axis=1)<br />
y = data['Etiquette']<br />
<br />
# Diviser les données en ensembles d'entraînement et de test<br />
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)<br />
<br />
# Créer et entraîner le modèle SVM<br />
model = SVC(kernel='rbf')<br />
model.fit(X_train, y_train)<br />
<br />
# Sauvegarder le modèle entraîné<br />
with open('modele_svm.pkl', 'wb') as file:<br />
pickle.dump(model, file)<br />
<br />
# Charger le modèle et faire des prédictions<br />
with open('modele_svm.pkl', 'rb') as file:<br />
loaded_model = pickle.load(file)<br />
predictions = loaded_model.predict(X_test)<br />
print("Précision :", accuracy_score(y_test, predictions))<br />
<br />
</syntaxhighlight><br />
<br />
# '''Séparation des Données''':<br />
#* Les données sont divisées en deux ensembles : un ensemble d'entraînement et un ensemble de test. Cette séparation est cruciale pour évaluer objectivement la performance du modèle.<br />
#* Généralement, on adopte une répartition de 80% pour l'entraînement et 20% pour les tests.<br />
# '''Entraînement du Modèle SVM''':<br />
#* Le modèle SVM avec un noyau RBF (Radial Basis Function) est entraîné sur l'ensemble d'entraînement.<br />
#* L'entraînement implique l'ajustement du modèle aux données d'entraînement, en apprenant à distinguer les différents signes.<br />
# '''Sauvegarde et Réutilisation du Modèle'''<br />
#* Une fois entraîné et validé, le modèle est sauvegardé à l'aide de la bibliothèque <code>pickle</code><br />
# '''Validation et Évaluation du Modèle''':<br />
#* Après l'entraînement, le modèle est testé sur l'ensemble de test pour évaluer sa performance.<br />
#* La métrique principale utilisée est la précision, qui mesure la proportion de prédictions correctes par rapport au total des prédictions.<br />
<br />
Ensuite on peut générer le modèle comme ceci:<br />
[[Fichier:Generate model.png|gauche|vignette|399x399px]]<br />
<br />
<br />
<br />
Avec cette prédiction lorsque notre modèle prédit le résultat, il est correct environ 71.81% du temps.<br />
<br />
=== 5. Intégration MQTT et Communication ===<br />
----Protocole de communication :<br />
<br />
Dans le cadre de notre projet, la communication entre les dispositifs Raspberry Pi et le serveur est établie via le protocole MQTT.<br />
<br />
Justification du Choix de MQTT :<br />
<br />
Au début du projet, une approche basée sur des sockets IPv6 avait été envisagée pour tirer parti de l'adressage direct et de la simplification de la configuration réseau qu'offre IPv6. Cependant, dans le but de respecter les impératifs de sobriété énergétique et d'assurer une scalabilité optimale du système, permettant ainsi de gérer aisément un nombre croissant de dispositifs Raspberry Pi, la décision a été prise d'adopter MQTT comme protocole de communication. Le protocole MQTT, reconnu pour sa légèreté et sa fiabilité, s'adapte parfaitement aux contraintes des applications IoT.<br />
<br />
<br />
Installation du broker mosquitto sur le serveur:<br />
<syntaxhighlight lang="shell"><br />
apt install -y mosquitto mosquitto-clients<br />
service mosquitto start<br />
</syntaxhighlight><br />
<br />
Activation de l'accès à distance au Broker Mosquitto:<br />
<br />
ajouter l'authentification par username et mot de passe<br />
<syntaxhighlight lang="shell"><br />
sudo mosquitto_passwd -c /etc/mosquitto/passwd username<br />
</syntaxhighlight><br />
après on nous demande d'entrer le mot de passe <br />
<br />
Modifier le fichier /etc/mosquitto/mosquitto.conf:<br />
<syntaxhighlight lang="shell"><br />
listener 1883 10.42.0.5<br />
allow_anonymous false<br />
password_file /etc/mosquitto/passwd<br />
</syntaxhighlight><br />
<br />
<syntaxhighlight lang="python"><br />
</syntaxhighlight><br />
<br />
=== 6. Interface Serveur et Gestion des Données ===<br />
----Le script <code>app.py</code> crée une interface serveur utilisant Flask. Cette interface gère les requêtes entrantes, les messages MQTT, et fournit une API pour l'interface utilisateur web. Elle permet également de visualiser les Raspberry Pi disponibles et les derniers messages traduits.<br />
<br />
=== 7. Conception de l'Interface Utilisateur ===<br />
----L'interface utilisateur est développée en HTML, CSS et JavaScript. Le fichier <code>index.html</code> fournit une interface claire et intuitive pour l'envoi de commandes et la visualisation des traductions. L'utilisation de JavaScript pour interroger dynamiquement le serveur Flask permet une mise à jour en temps réel des informations affichées.<br />
<br />
=== 9. Conclusion et Perspectives ===<br />
----SignSpeak représente une avancée significative dans le domaine de la traduction du langage des signes. Ce projet non seulement démont</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_ECEAI/eceai_2023/2024/black-blgrim&diff=4834SE5 ECEAI/eceai 2023/2024/black-blgrim2024-01-28T16:27:20Z<p>Bblack : /* 3. Collecte et Préparation des Données */</p>
<hr />
<div>=Compte rendu des séances=<br />
==Séance du 04/12/2023==<br />
===Création de la machine virtuelle===<br />
Création d'une machine virtuelle sur le serveur chassiron :<br />
<br />
<code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code><br />
[[Fichier:IfconfigVM.png|gauche|sans_cadre]]<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
===Raspberry-Pi===<br />
mettre la config de la raspberry<br />
<br />
<br />
'''<big>Capteurs</big>'''<br />
<br />
pas de capteurs lors de la première séance<br />
<br />
== Séance du 18/12/2023 ==<br />
<br />
=== Sur la VM ===<br />
script serveur.py<br />
<br />
=== sur la raspberry ===<br />
script client.py<br />
<br />
lecture sur l'uart des données envoyés par le stm32<br />
<br />
envoie au serveur (tcp)<br />
<br />
<br />
=== sur le capteur ===<br />
pris ene main du capteur, mettre le code,<br />
<br />
== Séance du 19/12/2023 et du 20/12/2023 ==<br />
utilisation de la bibliothèque sciait-learn pour l'apprentissage automatique. Nous avons décidé que le but de notre application serait de traduire le langage des signes.<br />
<br />
Pour cela nous avons entrainé notre modèle avec quelques signes, comme la lettre A, B ou C et des chiffres 1, 2 et 3 pour commencer.<br />
<br />
//mettre screen des résultats entrainement.py et test.py<br />
<br />
Les résultats sont satisfaisants mais avec quelques erreurs, la prochaine étape est donc d'améliorer notre algorithme d'apprentissage (pour l'instant on utilise l'algorithme des k plus proches voisins), pour cela nous allons rajouter par exemple du filtrage et tester d'autres algo d'apprentissage automatique<br />
<br />
Coté serveur:<br />
<br />
Création d'un serveur web, afin de lire les données qui proviennet depuis la raspberrypi et les afficher.<br />
<br />
<br />
'''<big>Mise en Place de l'algorithme d'apprentissage</big>'''<br />
<br />
nous avons tester plusieurs méthode d'apprentissage comme la '''Méthode des k plus proches voisins''' (K-Neighbour) ou encore '''forêt aléatoire''' Random forest.<br />
<br />
'''Random Forest'''<br />
<br />
<br />
<br />
=== 1. Introduction ===<br />
----Le projet SignSpeak a pour ambition de créer une solution innovante pour la traduction du langage des signes en texte. L'objectif principal est de développer un système capable de capturer les mouvements des mains et de les interpréter en langage des signes, permettant une communication fluide entre les personnes sourdes ou malentendantes et celles qui ne connaissent pas le langage des signes. Ce projet intègre des technologies avancées telles que l'edge computing, l'intelligence artificielle embarquée, et les communications MQTT, offrant une approche novatrice dans le domaine de l'accessibilité et de la communication.<br />
<br />
=== 2. Architecture du Système ===<br />
----Notre solution repose sur une architecture intégrée impliquant plusieurs composants clés :<br />
<br />
* '''Capteurs et STM32''' : Des capteurs sont connectés à un microcontrôleur STM32, responsables de la capture des mouvements de main. Ces données sont ensuite transmises pour traitement.<br />
* '''Raspberry Pi''' : Agissant comme un intermédiaire, la Raspberry Pi reçoit les données des capteurs via UART, exécute un traitement préliminaire et communique avec le serveur.<br />
* '''Serveur et Machine Learning''' : Un serveur, hébergé sur une VM Xen, traite les données à l'aide d'un modèle SVM pour la traduction en langage des signes et fournit une interface web pour l'interaction utilisateur.<br />
*<br />
<br />
=== 3. Collecte et Préparation des Données ===<br />
----Le processus de collecte des données est géré par le script <code>enregistrementData.py</code>. Ce script lit les données transmises par le STM32 via UART et les enregistre dans un fichier CSV. Chaque entrée du fichier représente les valeurs de capteurs à un moment donné, accompagnées d'une étiquette correspondant au signe effectué. Cette approche assure une collecte de données structurée, essentielle pour l'entraînement précis du modèle d'apprentissage automatique.<syntaxhighlight lang="python"><br />
import serial<br />
import csv<br />
import sys<br />
import time<br />
<br />
# Vérification de l'argument d'entrée<br />
if len(sys.argv) < 2:<br />
print("Usage: python script.py <etiquette>")<br />
sys.exit(1)<br />
<br />
etiquette = sys.argv[1]<br />
<br />
# Paramètres de l'UART<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
<br />
# Créer une connexion UART<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
<br />
# Nom du fichier CSV<br />
filename = f"data_complete.csv"<br />
<br />
# Vérifier si le fichier existe déjà<br />
file_exists = False<br />
try:<br />
with open(filename, 'r') as f:<br />
file_exists = True<br />
except FileNotFoundError:<br />
file_exists = False<br />
<br />
# Ouvrir le fichier CSV en mode append<br />
with open(filename, 'a', newline='') as file:<br />
writer = csv.writer(file)<br />
<br />
# Écrire l'en-tête si le fichier n'existait pas<br />
if not file_exists:<br />
writer.writerow(["Capteur1", "Capteur2", "Capteur3", "Capteur4", "Capteur5", "Capteur6", "Capteur7", "Capteur8", "Capteur9", "Capteur10", "Capteur11", "Capteur12", "Capteur13", "Capteur14", <br />
"Capteur15", "Capteur16", "Etiquette"])<br />
elif file_exists:<br />
writer.writerow([])<br />
while True:<br />
# Lire une ligne de données depuis l'UART<br />
data = ser.readline().decode('utf-8').rstrip()<br />
print(f"Données reçues : '{data}'")<br />
<br />
# Vérifier si des données ont été reçues<br />
if data:<br />
# Diviser les données en valeurs individuelles<br />
sensor_values = data.split(',')<br />
<br />
# Filtrer les chaînes vides ou non numériques et convertir en flottants<br />
try:<br />
sensor_values = [float(value) for value in sensor_values if value.strip().isdigit()]<br />
<br />
# Vérifier qu'il y a 16 valeurs de capteur<br />
if len(sensor_values) == 16:<br />
sensor_values.append(etiquette)<br />
writer.writerow(sensor_values)<br />
else:<br />
print("Données incomplètes reçues")<br />
<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
print(f"Données problématiques : '{data}'")<br />
<br />
time.sleep(0.1)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
* Le script commence par établir une communication série avec le STM32.<br />
* Il lit ensuite les données en série, les décode et les stocke dans un fichier CSV pour une utilisation ultérieure.<br />
<br />
* Une fois les données collectées et stockées dans le fichier CSV, elles sont préparées pour l'entraînement du modèle.<br />
* Cette préparation implique la normalisation des données, la gestion des valeurs manquantes ou aberrantes, et leur formatage dans un bon format.[[Fichier:Rpi entrainement.png|gauche|vignette|1000x1000px]]<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
=== 4. Entraînement du Modèle d'Apprentissage Automatique ===<br />
----L'entraînement du modèle est réalisé par un script Python utilisant la bibliothèque scikit-learn. Le modèle SVM, choisi pour sa capacité à gérer des espaces de grande dimension, est entraîné sur l'ensemble des données collectées. Ce processus comprend la division des données en ensembles d'entraînement et de test, l'entraînement du modèle, et sa validation par le calcul de la précision.<syntaxhighlight lang="python"><br />
import pandas as pd<br />
from sklearn.model_selection import train_test_split<br />
from sklearn.svm import SVC<br />
from sklearn.metrics import accuracy_score<br />
import pickle<br />
<br />
# Charger vos données<br />
data = pd.read_csv('data_complete.csv')<br />
<br />
# Séparer les caractéristiques et les étiquettes<br />
X = data.drop('Etiquette', axis=1)<br />
y = data['Etiquette']<br />
<br />
# Diviser les données en ensembles d'entraînement et de test<br />
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)<br />
<br />
# Créer et entraîner le modèle SVM<br />
model = SVC(kernel='rbf')<br />
model.fit(X_train, y_train)<br />
<br />
# Sauvegarder le modèle entraîné<br />
with open('modele_svm.pkl', 'wb') as file:<br />
pickle.dump(model, file)<br />
<br />
# Charger le modèle et faire des prédictions<br />
with open('modele_svm.pkl', 'rb') as file:<br />
loaded_model = pickle.load(file)<br />
predictions = loaded_model.predict(X_test)<br />
print("Précision :", accuracy_score(y_test, predictions))<br />
<br />
</syntaxhighlight><br />
<br />
# '''Séparation des Données''':<br />
#* Les données sont divisées en deux ensembles : un ensemble d'entraînement et un ensemble de test. Cette séparation est cruciale pour évaluer objectivement la performance du modèle.<br />
#* Généralement, on adopte une répartition de 80% pour l'entraînement et 20% pour les tests.<br />
# '''Entraînement du Modèle SVM''':<br />
#* Le modèle SVM avec un noyau RBF (Radial Basis Function) est entraîné sur l'ensemble d'entraînement.<br />
#* L'entraînement implique l'ajustement du modèle aux données d'entraînement, en apprenant à distinguer les différents signes.<br />
# '''Sauvegarde et Réutilisation du Modèle'''<br />
#* Une fois entraîné et validé, le modèle est sauvegardé à l'aide de la bibliothèque <code>pickle</code><br />
# '''Validation et Évaluation du Modèle''':<br />
#* Après l'entraînement, le modèle est testé sur l'ensemble de test pour évaluer sa performance.<br />
#* La métrique principale utilisée est la précision, qui mesure la proportion de prédictions correctes par rapport au total des prédictions.<br />
<br />
Ensuite on peut générer le modèle comme ceci:<br />
[[Fichier:Generate model.png|gauche|vignette|399x399px]]<br />
<br />
<br />
<br />
Avec cette prédiction lorsque notre modèle prédit le résultat, il est correct environ 71.81% du temps.<br />
<br />
=== 5. Intégration MQTT et Communication ===<br />
----Protocole de communication :<br />
<br />
Dans le cadre de notre projet, la communication entre les dispositifs Raspberry Pi et le serveur est établie via le protocole MQTT.<br />
<br />
Justification du Choix de MQTT :<br />
<br />
Au début du projet, une approche basée sur des sockets IPv6 avait été envisagée pour tirer parti de l'adressage direct et de la simplification de la configuration réseau qu'offre IPv6. Cependant, dans le but de respecter les impératifs de sobriété énergétique et d'assurer une scalabilité optimale du système, permettant ainsi de gérer aisément un nombre croissant de dispositifs Raspberry Pi, la décision a été prise d'adopter MQTT comme protocole de communication. Le protocole MQTT, reconnu pour sa légèreté et sa fiabilité, s'adapte parfaitement aux contraintes des applications IoT.<br />
<br />
<br />
Installation du broker mosquitto sur le serveur:<br />
<syntaxhighlight lang="shell"><br />
apt install -y mosquitto mosquitto-clients<br />
service mosquitto start<br />
</syntaxhighlight><br />
<br />
Activation de l'accès à distance au Broker Mosquitto:<br />
<br />
ajouter l'authentification par username et mot de passe<br />
<syntaxhighlight lang="shell"><br />
sudo mosquitto_passwd -c /etc/mosquitto/passwd username<br />
</syntaxhighlight><br />
après on nous demande d'entrer le mot de passe <br />
<br />
Modifier le fichier /etc/mosquitto/mosquitto.conf:<br />
<syntaxhighlight lang="shell"><br />
listener 1883 10.42.0.5<br />
allow_anonymous false<br />
password_file /etc/mosquitto/passwd<br />
</syntaxhighlight><br />
<br />
<syntaxhighlight lang="python"><br />
</syntaxhighlight><br />
<br />
=== 6. Interface Serveur et Gestion des Données ===<br />
----Le script <code>app.py</code> crée une interface serveur utilisant Flask. Cette interface gère les requêtes entrantes, les messages MQTT, et fournit une API pour l'interface utilisateur web. Elle permet également de visualiser les Raspberry Pi disponibles et les derniers messages traduits.<br />
<br />
=== 7. Conception de l'Interface Utilisateur ===<br />
----L'interface utilisateur est développée en HTML, CSS et JavaScript. Le fichier <code>index.html</code> fournit une interface claire et intuitive pour l'envoi de commandes et la visualisation des traductions. L'utilisation de JavaScript pour interroger dynamiquement le serveur Flask permet une mise à jour en temps réel des informations affichées.<br />
<br />
=== 9. Conclusion et Perspectives ===<br />
----SignSpeak représente une avancée significative dans le domaine de la traduction du langage des signes. Ce projet non seulement démont</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_ECEAI/eceai_2023/2024/black-blgrim&diff=4832SE5 ECEAI/eceai 2023/2024/black-blgrim2024-01-28T16:25:26Z<p>Bblack : /* 5. Intégration MQTT et Communication */</p>
<hr />
<div>=Compte rendu des séances=<br />
==Séance du 04/12/2023==<br />
===Création de la machine virtuelle===<br />
Création d'une machine virtuelle sur le serveur chassiron :<br />
<br />
<code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code><br />
[[Fichier:IfconfigVM.png|gauche|sans_cadre]]<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
===Raspberry-Pi===<br />
mettre la config de la raspberry<br />
<br />
<br />
'''<big>Capteurs</big>'''<br />
<br />
pas de capteurs lors de la première séance<br />
<br />
== Séance du 18/12/2023 ==<br />
<br />
=== Sur la VM ===<br />
script serveur.py<br />
<br />
=== sur la raspberry ===<br />
script client.py<br />
<br />
lecture sur l'uart des données envoyés par le stm32<br />
<br />
envoie au serveur (tcp)<br />
<br />
<br />
=== sur le capteur ===<br />
pris ene main du capteur, mettre le code,<br />
<br />
== Séance du 19/12/2023 et du 20/12/2023 ==<br />
utilisation de la bibliothèque sciait-learn pour l'apprentissage automatique. Nous avons décidé que le but de notre application serait de traduire le langage des signes.<br />
<br />
Pour cela nous avons entrainé notre modèle avec quelques signes, comme la lettre A, B ou C et des chiffres 1, 2 et 3 pour commencer.<br />
<br />
//mettre screen des résultats entrainement.py et test.py<br />
<br />
Les résultats sont satisfaisants mais avec quelques erreurs, la prochaine étape est donc d'améliorer notre algorithme d'apprentissage (pour l'instant on utilise l'algorithme des k plus proches voisins), pour cela nous allons rajouter par exemple du filtrage et tester d'autres algo d'apprentissage automatique<br />
<br />
Coté serveur:<br />
<br />
Création d'un serveur web, afin de lire les données qui proviennet depuis la raspberrypi et les afficher.<br />
<br />
<br />
'''<big>Mise en Place de l'algorithme d'apprentissage</big>'''<br />
<br />
nous avons tester plusieurs méthode d'apprentissage comme la '''Méthode des k plus proches voisins''' (K-Neighbour) ou encore '''forêt aléatoire''' Random forest.<br />
<br />
'''Random Forest'''<br />
<br />
<br />
<br />
=== 1. Introduction ===<br />
----Le projet SignSpeak a pour ambition de créer une solution innovante pour la traduction du langage des signes en texte. L'objectif principal est de développer un système capable de capturer les mouvements des mains et de les interpréter en langage des signes, permettant une communication fluide entre les personnes sourdes ou malentendantes et celles qui ne connaissent pas le langage des signes. Ce projet intègre des technologies avancées telles que l'edge computing, l'intelligence artificielle embarquée, et les communications MQTT, offrant une approche novatrice dans le domaine de l'accessibilité et de la communication.<br />
<br />
=== 2. Architecture du Système ===<br />
----Notre solution repose sur une architecture intégrée impliquant plusieurs composants clés :<br />
<br />
* '''Capteurs et STM32''' : Des capteurs sont connectés à un microcontrôleur STM32, responsables de la capture des mouvements de main. Ces données sont ensuite transmises pour traitement.<br />
* '''Raspberry Pi''' : Agissant comme un intermédiaire, la Raspberry Pi reçoit les données des capteurs via UART, exécute un traitement préliminaire et communique avec le serveur.<br />
* '''Serveur et Machine Learning''' : Un serveur, hébergé sur une VM Xen, traite les données à l'aide d'un modèle SVM pour la traduction en langage des signes et fournit une interface web pour l'interaction utilisateur.<br />
*<br />
<br />
=== 3. Collecte et Préparation des Données ===<br />
----Le processus de collecte des données est géré par le script <code>enregistrementData.py</code>. Ce script lit les données transmises par le STM32 via UART et les enregistre dans un fichier CSV. Chaque entrée du fichier représente les valeurs de capteurs à un moment donné, accompagnées d'une étiquette correspondant au signe effectué. Cette approche assure une collecte de données structurée, essentielle pour l'entraînement précis du modèle d'apprentissage automatique.<syntaxhighlight lang="python"><br />
import serial<br />
import csv<br />
import sys<br />
import time<br />
<br />
# Vérification de l'argument d'entrée<br />
if len(sys.argv) < 2:<br />
print("Usage: python script.py <etiquette>")<br />
sys.exit(1)<br />
<br />
etiquette = sys.argv[1]<br />
<br />
# Paramètres de l'UART<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
<br />
# Créer une connexion UART<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
<br />
# Nom du fichier CSV<br />
filename = f"data_complete.csv"<br />
<br />
# Vérifier si le fichier existe déjà<br />
file_exists = False<br />
try:<br />
with open(filename, 'r') as f:<br />
file_exists = True<br />
except FileNotFoundError:<br />
file_exists = False<br />
<br />
# Ouvrir le fichier CSV en mode append<br />
with open(filename, 'a', newline='') as file:<br />
writer = csv.writer(file)<br />
<br />
# Écrire l'en-tête si le fichier n'existait pas<br />
if not file_exists:<br />
writer.writerow(["Capteur1", "Capteur2", "Capteur3", "Capteur4", "Capteur5", "Capteur6", "Capteur7", "Capteur8", "Capteur9", "Capteur10", "Capteur11", "Capteur12", "Capteur13", "Capteur14", <br />
"Capteur15", "Capteur16", "Etiquette"])<br />
elif file_exists:<br />
writer.writerow([])<br />
while True:<br />
# Lire une ligne de données depuis l'UART<br />
data = ser.readline().decode('utf-8').rstrip()<br />
print(f"Données reçues : '{data}'")<br />
<br />
# Vérifier si des données ont été reçues<br />
if data:<br />
# Diviser les données en valeurs individuelles<br />
sensor_values = data.split(',')<br />
<br />
# Filtrer les chaînes vides ou non numériques et convertir en flottants<br />
try:<br />
sensor_values = [float(value) for value in sensor_values if value.strip().isdigit()]<br />
<br />
# Vérifier qu'il y a 16 valeurs de capteur<br />
if len(sensor_values) == 16:<br />
sensor_values.append(etiquette)<br />
writer.writerow(sensor_values)<br />
else:<br />
print("Données incomplètes reçues")<br />
<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
print(f"Données problématiques : '{data}'")<br />
<br />
time.sleep(0.1)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
* Le script commence par établir une communication série avec le STM32.<br />
* Il lit ensuite les données en série, les décode et les stocke dans un fichier CSV pour une utilisation ultérieure.<br />
<br />
* Une fois les données collectées et stockées dans le fichier CSV, elles sont préparées pour l'entraînement du modèle.<br />
* Cette préparation implique la normalisation des données, la gestion des valeurs manquantes ou aberrantes, et leur formatage dans un bon format.[[Fichier:Rpi entrainement.png|gauche|vignette|1000x1000px]]<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
=== 4. Entraînement du Modèle d'Apprentissage Automatique ===<br />
----L'entraînement du modèle est réalisé par un script Python utilisant la bibliothèque scikit-learn. Le modèle SVM, choisi pour sa capacité à gérer des espaces de grande dimension, est entraîné sur l'ensemble des données collectées. Ce processus comprend la division des données en ensembles d'entraînement et de test, l'entraînement du modèle, et sa validation par le calcul de la précision.<syntaxhighlight lang="python"><br />
import pandas as pd<br />
from sklearn.model_selection import train_test_split<br />
from sklearn.svm import SVC<br />
from sklearn.metrics import accuracy_score<br />
import pickle<br />
<br />
# Charger vos données<br />
data = pd.read_csv('data_complete.csv')<br />
<br />
# Séparer les caractéristiques et les étiquettes<br />
X = data.drop('Etiquette', axis=1)<br />
y = data['Etiquette']<br />
<br />
# Diviser les données en ensembles d'entraînement et de test<br />
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)<br />
<br />
# Créer et entraîner le modèle SVM<br />
model = SVC(kernel='rbf')<br />
model.fit(X_train, y_train)<br />
<br />
# Sauvegarder le modèle entraîné<br />
with open('modele_svm.pkl', 'wb') as file:<br />
pickle.dump(model, file)<br />
<br />
# Charger le modèle et faire des prédictions<br />
with open('modele_svm.pkl', 'rb') as file:<br />
loaded_model = pickle.load(file)<br />
predictions = loaded_model.predict(X_test)<br />
print("Précision :", accuracy_score(y_test, predictions))<br />
<br />
</syntaxhighlight><br />
<br />
# '''Séparation des Données''':<br />
#* Les données sont divisées en deux ensembles : un ensemble d'entraînement et un ensemble de test. Cette séparation est cruciale pour évaluer objectivement la performance du modèle.<br />
#* Généralement, on adopte une répartition de 80% pour l'entraînement et 20% pour les tests.<br />
# '''Entraînement du Modèle SVM''':<br />
#* Le modèle SVM avec un noyau RBF (Radial Basis Function) est entraîné sur l'ensemble d'entraînement.<br />
#* L'entraînement implique l'ajustement du modèle aux données d'entraînement, en apprenant à distinguer les différents signes.<br />
# '''Sauvegarde et Réutilisation du Modèle'''<br />
#* Une fois entraîné et validé, le modèle est sauvegardé à l'aide de la bibliothèque <code>pickle</code><br />
# '''Validation et Évaluation du Modèle''':<br />
#* Après l'entraînement, le modèle est testé sur l'ensemble de test pour évaluer sa performance.<br />
#* La métrique principale utilisée est la précision, qui mesure la proportion de prédictions correctes par rapport au total des prédictions.<br />
<br />
Ensuite on peut générer le modèle comme ceci:<br />
[[Fichier:Generate model.png|gauche|vignette|399x399px]]<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
=== 5. Intégration MQTT et Communication ===<br />
----Protocole de communication :<br />
<br />
Dans le cadre de notre projet, la communication entre les dispositifs Raspberry Pi et le serveur est établie via le protocole MQTT.<br />
<br />
Justification du Choix de MQTT :<br />
<br />
Au début du projet, une approche basée sur des sockets IPv6 avait été envisagée pour tirer parti de l'adressage direct et de la simplification de la configuration réseau qu'offre IPv6. Cependant, dans le but de respecter les impératifs de sobriété énergétique et d'assurer une scalabilité optimale du système, permettant ainsi de gérer aisément un nombre croissant de dispositifs Raspberry Pi, la décision a été prise d'adopter MQTT comme protocole de communication. Le protocole MQTT, reconnu pour sa légèreté et sa fiabilité, s'adapte parfaitement aux contraintes des applications IoT.<br />
<br />
<br />
Installation du broker mosquitto sur le serveur:<br />
<syntaxhighlight lang="shell"><br />
apt install -y mosquitto mosquitto-clients<br />
service mosquitto start<br />
</syntaxhighlight><br />
<br />
<syntaxhighlight lang="python"><br />
</syntaxhighlight><br />
<br />
=== 6. Interface Serveur et Gestion des Données ===<br />
----Le script <code>app.py</code> crée une interface serveur utilisant Flask. Cette interface gère les requêtes entrantes, les messages MQTT, et fournit une API pour l'interface utilisateur web. Elle permet également de visualiser les Raspberry Pi disponibles et les derniers messages traduits.<br />
<br />
=== 7. Conception de l'Interface Utilisateur ===<br />
----L'interface utilisateur est développée en HTML, CSS et JavaScript. Le fichier <code>index.html</code> fournit une interface claire et intuitive pour l'envoi de commandes et la visualisation des traductions. L'utilisation de JavaScript pour interroger dynamiquement le serveur Flask permet une mise à jour en temps réel des informations affichées.<br />
<br />
=== 9. Conclusion et Perspectives ===<br />
----SignSpeak représente une avancée significative dans le domaine de la traduction du langage des signes. Ce projet non seulement démont</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=Fichier:Generate_model.png&diff=4825Fichier:Generate model.png2024-01-28T16:17:40Z<p>Bblack : </p>
<hr />
<div>generate model</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=Fichier:Rpi_entrainement.png&diff=4814Fichier:Rpi entrainement.png2024-01-28T16:07:09Z<p>Bblack : </p>
<hr />
<div>rpi_entrainement</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_ECEAI/eceai_2023/2024/black-blgrim&diff=4810SE5 ECEAI/eceai 2023/2024/black-blgrim2024-01-28T16:04:32Z<p>Bblack : /* 3. Collecte et Préparation des Données */</p>
<hr />
<div>=Compte rendu des séances=<br />
==Séance du 04/12/2023==<br />
===Création de la machine virtuelle===<br />
Création d'une machine virtuelle sur le serveur chassiron :<br />
<br />
<code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code><br />
[[Fichier:IfconfigVM.png|gauche|sans_cadre]]<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
===Raspberry-Pi===<br />
mettre la config de la raspberry<br />
<br />
<br />
'''<big>Capteurs</big>'''<br />
<br />
pas de capteurs lors de la première séance<br />
<br />
== Séance du 18/12/2023 ==<br />
<br />
=== Sur la VM ===<br />
script serveur.py<br />
<br />
=== sur la raspberry ===<br />
script client.py<br />
<br />
lecture sur l'uart des données envoyés par le stm32<br />
<br />
envoie au serveur (tcp)<br />
<br />
<br />
=== sur le capteur ===<br />
pris ene main du capteur, mettre le code,<br />
<br />
== Séance du 19/12/2023 et du 20/12/2023 ==<br />
utilisation de la bibliothèque sciait-learn pour l'apprentissage automatique. Nous avons décidé que le but de notre application serait de traduire le langage des signes.<br />
<br />
Pour cela nous avons entrainé notre modèle avec quelques signes, comme la lettre A, B ou C et des chiffres 1, 2 et 3 pour commencer.<br />
<br />
//mettre screen des résultats entrainement.py et test.py<br />
<br />
Les résultats sont satisfaisants mais avec quelques erreurs, la prochaine étape est donc d'améliorer notre algorithme d'apprentissage (pour l'instant on utilise l'algorithme des k plus proches voisins), pour cela nous allons rajouter par exemple du filtrage et tester d'autres algo d'apprentissage automatique<br />
<br />
Coté serveur:<br />
<br />
Création d'un serveur web, afin de lire les données qui proviennet depuis la raspberrypi et les afficher.<br />
<br />
<br />
'''<big>Mise en Place de l'algorithme d'apprentissage</big>'''<br />
<br />
nous avons tester plusieurs méthode d'apprentissage comme la '''Méthode des k plus proches voisins''' (K-Neighbour) ou encore '''forêt aléatoire''' Random forest.<br />
<br />
'''Random Forest'''<br />
<br />
<br />
<br />
=== 1. Introduction ===<br />
----Le projet SignSpeak a pour ambition de créer une solution innovante pour la traduction du langage des signes en texte. L'objectif principal est de développer un système capable de capturer les mouvements des mains et de les interpréter en langage des signes, permettant une communication fluide entre les personnes sourdes ou malentendantes et celles qui ne connaissent pas le langage des signes. Ce projet intègre des technologies avancées telles que l'edge computing, l'intelligence artificielle embarquée, et les communications MQTT, offrant une approche novatrice dans le domaine de l'accessibilité et de la communication.<br />
<br />
=== 2. Architecture du Système ===<br />
----Notre solution repose sur une architecture intégrée impliquant plusieurs composants clés :<br />
<br />
* '''Capteurs et STM32''' : Des capteurs sont connectés à un microcontrôleur STM32, responsables de la capture des mouvements de main. Ces données sont ensuite transmises pour traitement.<br />
* '''Raspberry Pi''' : Agissant comme un intermédiaire, la Raspberry Pi reçoit les données des capteurs via UART, exécute un traitement préliminaire et communique avec le serveur.<br />
* '''Serveur et Machine Learning''' : Un serveur, hébergé sur une VM Xen, traite les données à l'aide d'un modèle SVM pour la traduction en langage des signes et fournit une interface web pour l'interaction utilisateur.<br />
*<br />
<br />
=== 3. Collecte et Préparation des Données ===<br />
----Le processus de collecte des données est géré par le script <code>enregistrementData.py</code>. Ce script lit les données transmises par le STM32 via UART et les enregistre dans un fichier CSV. Chaque entrée du fichier représente les valeurs de capteurs à un moment donné, accompagnées d'une étiquette correspondant au signe effectué. Cette approche assure une collecte de données structurée, essentielle pour l'entraînement précis du modèle d'apprentissage automatique.<syntaxhighlight lang="python"><br />
import serial<br />
import csv<br />
import sys<br />
import time<br />
<br />
# Vérification de l'argument d'entrée<br />
if len(sys.argv) < 2:<br />
print("Usage: python script.py <etiquette>")<br />
sys.exit(1)<br />
<br />
etiquette = sys.argv[1]<br />
<br />
# Paramètres de l'UART<br />
port = "/dev/ttyACM0"<br />
baudrate = 460800<br />
<br />
# Créer une connexion UART<br />
ser = serial.Serial(port, baudrate, timeout=1)<br />
<br />
# Nom du fichier CSV<br />
filename = f"data_complete.csv"<br />
<br />
# Vérifier si le fichier existe déjà<br />
file_exists = False<br />
try:<br />
with open(filename, 'r') as f:<br />
file_exists = True<br />
except FileNotFoundError:<br />
file_exists = False<br />
<br />
# Ouvrir le fichier CSV en mode append<br />
with open(filename, 'a', newline='') as file:<br />
writer = csv.writer(file)<br />
<br />
# Écrire l'en-tête si le fichier n'existait pas<br />
if not file_exists:<br />
writer.writerow(["Capteur1", "Capteur2", "Capteur3", "Capteur4", "Capteur5", "Capteur6", "Capteur7", "Capteur8", "Capteur9", "Capteur10", "Capteur11", "Capteur12", "Capteur13", "Capteur14", <br />
"Capteur15", "Capteur16", "Etiquette"])<br />
elif file_exists:<br />
writer.writerow([])<br />
while True:<br />
# Lire une ligne de données depuis l'UART<br />
data = ser.readline().decode('utf-8').rstrip()<br />
print(f"Données reçues : '{data}'")<br />
<br />
# Vérifier si des données ont été reçues<br />
if data:<br />
# Diviser les données en valeurs individuelles<br />
sensor_values = data.split(',')<br />
<br />
# Filtrer les chaînes vides ou non numériques et convertir en flottants<br />
try:<br />
sensor_values = [float(value) for value in sensor_values if value.strip().isdigit()]<br />
<br />
# Vérifier qu'il y a 16 valeurs de capteur<br />
if len(sensor_values) == 16:<br />
sensor_values.append(etiquette)<br />
writer.writerow(sensor_values)<br />
else:<br />
print("Données incomplètes reçues")<br />
<br />
except ValueError as e:<br />
print(f"Erreur de conversion : {e}")<br />
print(f"Données problématiques : '{data}'")<br />
<br />
time.sleep(0.1)<br />
<br />
<br />
</syntaxhighlight><br />
<br />
=== 4. Entraînement du Modèle d'Apprentissage Automatique ===<br />
----L'entraînement du modèle est réalisé par un script Python utilisant la bibliothèque scikit-learn. Le modèle SVM, choisi pour sa capacité à gérer des espaces de grande dimension, est entraîné sur l'ensemble des données collectées. Ce processus comprend la division des données en ensembles d'entraînement et de test, l'entraînement du modèle, et sa validation par le calcul de la précision.<br />
<br />
=== 5. Intégration MQTT et Communication ===<br />
----La communication entre la Raspberry Pi et le serveur utilise le protocole MQTT, un choix idéal pour les applications IoT en raison de sa légèreté et de sa fiabilité. Le script <code>mqtt_client2.py</code> gère cette communication, permettant à la Raspberry Pi d'envoyer les prédictions du modèle SVM au serveur et de recevoir des commandes pour démarrer ou arrêter la collecte de données.<br />
<br />
=== 6. Interface Serveur et Gestion des Données ===<br />
----Le script <code>app.py</code> crée une interface serveur utilisant Flask. Cette interface gère les requêtes entrantes, les messages MQTT, et fournit une API pour l'interface utilisateur web. Elle permet également de visualiser les Raspberry Pi disponibles et les derniers messages traduits.<br />
<br />
=== 7. Conception de l'Interface Utilisateur ===<br />
----L'interface utilisateur est développée en HTML, CSS et JavaScript. Le fichier <code>index.html</code> fournit une interface claire et intuitive pour l'envoi de commandes et la visualisation des traductions. L'utilisation de JavaScript pour interroger dynamiquement le serveur Flask permet une mise à jour en temps réel des informations affichées.<br />
<br />
=== 9. Conclusion et Perspectives ===<br />
----SignSpeak représente une avancée significative dans le domaine de la traduction du langage des signes. Ce projet non seulement démont</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_ECEAI/eceai_2023/2024/black-blgrim&diff=4790SE5 ECEAI/eceai 2023/2024/black-blgrim2024-01-28T15:36:51Z<p>Bblack : </p>
<hr />
<div>=Compte rendu des séances=<br />
==Séance du 04/12/2023==<br />
===Création de la machine virtuelle===<br />
Création d'une machine virtuelle sur le serveur chassiron :<br />
<br />
<code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code><br />
[[Fichier:IfconfigVM.png|gauche|sans_cadre]]<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
===Raspberry-Pi===<br />
mettre la config de la raspberry<br />
<br />
<br />
'''<big>Capteurs</big>'''<br />
<br />
pas de capteurs lors de la première séance<br />
<br />
== Séance du 18/12/2023 ==<br />
<br />
=== Sur la VM ===<br />
script serveur.py<br />
<br />
=== sur la raspberry ===<br />
script client.py<br />
<br />
lecture sur l'uart des données envoyés par le stm32<br />
<br />
envoie au serveur (tcp)<br />
<br />
<br />
=== sur le capteur ===<br />
pris ene main du capteur, mettre le code,<br />
<br />
== Séance du 19/12/2023 et du 20/12/2023 ==<br />
utilisation de la bibliothèque sciait-learn pour l'apprentissage automatique. Nous avons décidé que le but de notre application serait de traduire le langage des signes.<br />
<br />
Pour cela nous avons entrainé notre modèle avec quelques signes, comme la lettre A, B ou C et des chiffres 1, 2 et 3 pour commencer.<br />
<br />
//mettre screen des résultats entrainement.py et test.py<br />
<br />
Les résultats sont satisfaisants mais avec quelques erreurs, la prochaine étape est donc d'améliorer notre algorithme d'apprentissage (pour l'instant on utilise l'algorithme des k plus proches voisins), pour cela nous allons rajouter par exemple du filtrage et tester d'autres algo d'apprentissage automatique<br />
<br />
Coté serveur:<br />
<br />
Création d'un serveur web, afin de lire les données qui proviennet depuis la raspberrypi et les afficher.<br />
<br />
<br />
'''<big>Mise en Place de l'algorithme d'apprentissage</big>'''<br />
<br />
nous avons tester plusieurs méthode d'apprentissage comme la '''Méthode des k plus proches voisins''' (K-Neighbour) ou encore '''forêt aléatoire''' Random forest.<br />
<br />
'''Random Forest'''<br />
<br />
<br />
<br />
=== 1. Introduction ===<br />
----Le projet SignSpeak a pour ambition de créer une solution innovante pour la traduction du langage des signes en texte. L'objectif principal est de développer un système capable de capturer les mouvements des mains et de les interpréter en langage des signes, permettant une communication fluide entre les personnes sourdes ou malentendantes et celles qui ne connaissent pas le langage des signes. Ce projet intègre des technologies avancées telles que l'edge computing, l'intelligence artificielle embarquée, et les communications MQTT, offrant une approche novatrice dans le domaine de l'accessibilité et de la communication.<br />
<br />
=== 2. Architecture du Système ===<br />
----Notre solution repose sur une architecture intégrée impliquant plusieurs composants clés :<br />
<br />
* '''Capteurs et STM32''' : Des capteurs sont connectés à un microcontrôleur STM32, responsables de la capture des mouvements de main. Ces données sont ensuite transmises pour traitement.<br />
* '''Raspberry Pi''' : Agissant comme un intermédiaire, la Raspberry Pi reçoit les données des capteurs via UART, exécute un traitement préliminaire et communique avec le serveur.<br />
* '''Serveur et Machine Learning''' : Un serveur, hébergé sur une VM Xen, traite les données à l'aide d'un modèle SVM pour la traduction en langage des signes et fournit une interface web pour l'interaction utilisateur.<br />
*<br />
<br />
=== 3. Collecte et Préparation des Données ===<br />
----Le processus de collecte des données est géré par le script <code>enregistrementData.py</code>. Ce script lit les données transmises par le STM32 via UART et les enregistre dans un fichier CSV. Chaque entrée du fichier représente les valeurs de capteurs à un moment donné, accompagnées d'une étiquette correspondant au signe effectué. Cette approche assure une collecte de données structurée, essentielle pour l'entraînement précis du modèle d'apprentissage automatique.<br />
<br />
=== 4. Entraînement du Modèle d'Apprentissage Automatique ===<br />
----L'entraînement du modèle est réalisé par un script Python utilisant la bibliothèque scikit-learn. Le modèle SVM, choisi pour sa capacité à gérer des espaces de grande dimension, est entraîné sur l'ensemble des données collectées. Ce processus comprend la division des données en ensembles d'entraînement et de test, l'entraînement du modèle, et sa validation par le calcul de la précision.<br />
<br />
=== 5. Intégration MQTT et Communication ===<br />
----La communication entre la Raspberry Pi et le serveur utilise le protocole MQTT, un choix idéal pour les applications IoT en raison de sa légèreté et de sa fiabilité. Le script <code>mqtt_client2.py</code> gère cette communication, permettant à la Raspberry Pi d'envoyer les prédictions du modèle SVM au serveur et de recevoir des commandes pour démarrer ou arrêter la collecte de données.<br />
<br />
=== 6. Interface Serveur et Gestion des Données ===<br />
----Le script <code>app.py</code> crée une interface serveur utilisant Flask. Cette interface gère les requêtes entrantes, les messages MQTT, et fournit une API pour l'interface utilisateur web. Elle permet également de visualiser les Raspberry Pi disponibles et les derniers messages traduits.<br />
<br />
=== 7. Conception de l'Interface Utilisateur ===<br />
----L'interface utilisateur est développée en HTML, CSS et JavaScript. Le fichier <code>index.html</code> fournit une interface claire et intuitive pour l'envoi de commandes et la visualisation des traductions. L'utilisation de JavaScript pour interroger dynamiquement le serveur Flask permet une mise à jour en temps réel des informations affichées.<br />
<br />
=== 9. Conclusion et Perspectives ===<br />
----SignSpeak représente une avancée significative dans le domaine de la traduction du langage des signes. Ce projet non seulement démont</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=Atelier_SysRes_SE5_2023/2024_E13&diff=3924Atelier SysRes SE5 2023/2024 E132024-01-16T17:10:08Z<p>Bblack : </p>
<hr />
<div>Cassage de clef WEP:[[Fichier:wep-pw.png|neant|511x511px]]Clé WEP: <br />
<br />
Cassage de clef WPA2:<br />
<br />
récupération Handshake:[[Fichier:wpa2.png|neant|511x511px]]craquage le mot passe par dictionnaire :[[Fichier:pw-wpa2.png|neant|511x511px]]Clé WPA</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=Atelier_SysRes_SE5_2023/2024_E13&diff=3918Atelier SysRes SE5 2023/2024 E132024-01-16T17:06:20Z<p>Bblack : </p>
<hr />
<div>[[Fichier:wep-pw.png|neant|511x511px]]<br />
[[Fichier:pw-wpa2.png|neant|511x511px]]<br />
[[Fichier:wpa2.png|neant|511x511px]]</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=Atelier_SysRes_SE5_2023/2024_E13&diff=3914Atelier SysRes SE5 2023/2024 E132024-01-16T17:04:53Z<p>Bblack : Contenu remplacé par « »</p>
<hr />
<div></div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=Fichier:Wpa2.png&diff=3913Fichier:Wpa2.png2024-01-16T17:04:01Z<p>Bblack : </p>
<hr />
<div>Wpa2</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=Fichier:Pw-wpa2.png&diff=3909Fichier:Pw-wpa2.png2024-01-16T17:02:52Z<p>Bblack : </p>
<hr />
<div>Pw-wpa2</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=Atelier_SysRes_SE5_2023/2024_E13&diff=3907Atelier SysRes SE5 2023/2024 E132024-01-16T17:01:52Z<p>Bblack : </p>
<hr />
<div>[[Fichier:wep-pw.png|neant|511x511px]]<br />
[[Fichier:PRA.png|vignette]]<br />
Pour les wifis cracotte12 et krakotte12 <br />
<br />
'''Clé WEP''' " FF:FF:FF:FF:FA:BC:13:CB:AE:EE:EE:EE:EE " <br />
<br />
'''Clé WPA2''' " 66678666 "</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=Atelier_SysRes_SE5_2023/2024_E13&diff=3906Atelier SysRes SE5 2023/2024 E132024-01-16T17:01:32Z<p>Bblack : </p>
<hr />
<div>[[Fichier:wep-pw.png|vignette|511x511px]]<br />
[[Fichier:PRA.png|vignette]]<br />
Pour les wifis cracotte12 et krakotte12 <br />
<br />
'''Clé WEP''' " FF:FF:FF:FF:FA:BC:13:CB:AE:EE:EE:EE:EE " <br />
<br />
'''Clé WPA2''' " 66678666 "</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=Atelier_SysRes_SE5_2023/2024_E13&diff=3905Atelier SysRes SE5 2023/2024 E132024-01-16T16:59:42Z<p>Bblack : </p>
<hr />
<div>[[Fichier:WEP-PW.png|vignette|511x511px]]<br />
[[Fichier:PRA.png|vignette]]<br />
Pour les wifis cracotte12 et krakotte12 <br />
<br />
'''Clé WEP''' " FF:FF:FF:FF:FA:BC:13:CB:AE:EE:EE:EE:EE " <br />
<br />
'''Clé WPA2''' " 66678666 "</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=Atelier_SysRes_SE5_2023/2024_E13&diff=3904Atelier SysRes SE5 2023/2024 E132024-01-16T16:59:19Z<p>Bblack : Page créée avec « 511x511px vignette Pour les wifis cracotte12 et krakotte12 '''Clé WEP''' " FF:FF:FF:FF:FA:BC:13:CB:AE:EE:EE:EE:EE " '''Clé WPA2''' " 66678666 " »</p>
<hr />
<div>[[Fichier:CaptureWPE.png|vignette|511x511px]]<br />
[[Fichier:PRA.png|vignette]]<br />
Pour les wifis cracotte12 et krakotte12 <br />
<br />
'''Clé WEP''' " FF:FF:FF:FF:FA:BC:13:CB:AE:EE:EE:EE:EE " <br />
<br />
'''Clé WPA2''' " 66678666 "</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=Fichier:Wep-pw.png&diff=3900Fichier:Wep-pw.png2024-01-16T16:56:09Z<p>Bblack : </p>
<hr />
<div>Wep-pw</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_syst%C3%A8me/r%C3%A9seau_2023/2024&diff=3766SE5 système/réseau 2023/20242024-01-15T07:04:04Z<p>Bblack : /* Répartition des binômes en PRA */</p>
<hr />
<div>= PRA SE5 =<br />
<br />
== Menu de la première séance ==<br />
<br />
Pour la première séance du 06/10/2023 il vous est demandé d'effectuer individuellement les opérations listées ci-dessous.<br />
* création d'une machine virtuelle sur le serveur <code>capbreton</code> ;<br />
* création d'un conteneur "à la main" sur votre station de travail <code>zabeth</code> :<br />
** créez un conteneur isolé au maximum (sauf pour les utilisateur) avec la méthode décrite en cours,<br />
** création d'un commutateur virtuel privé sur la <code>zabeth</code> dans le réseau IPv4 <code>192.168.68.0/24</code>, l'adresse <code>192.168.68.1</code> est affectée au commutateur lui-même,<br />
** création d'une interface Ethernet virtuelle, une extrémité doit être envoyée dans le conteneur, l'autre dans le commutateur virtuel privé,<br />
** mise en place d'une mascarade sur la <code>zabeth</code>, vérifiez que le conteneur a accès aux mêmes machines que la <code>zabeth</code>.<br />
<br />
Par binôme vous devez créer une machine virtuelle mandataire connectée sur le commutateur virtuel SE5 et sur le commutateur virtuel privé des machines virtuelles de services concernées (voir deuxième section du sujet).<br />
<br />
Globalement vous devez configurer le routeur principal de la promotion (voir la troisième section du sujet). Pour votre promotion il s'agit du Catalyst 9200 situé en E304. Il faut le connecter en fibre vers le serveur <code>capbreton</code> de la E306 dans le commutateur virtuel SE5 et aussi en fibre vers le local technique SR52 sur un port dans le VLAN 531. Vous pouvez configurer le commutateur via l'utilitaire <code>minicom</code> à partir de la machine <code>zabeth09</code>.<br />
<br />
Répartition des élèves pour la première séance :<br />
{| class="wikitable"<br />
! Station de travail !! Elève<br />
|-<br />
| zabeth02 || Elias SIMON<br />
|-<br />
| zabeth03 || Mathis RIFFAUT<br />
|-<br />
| zabeth04 || Dann RODENBURG<br />
|-<br />
| zabeth05 || Benjamin NGUYEN<br />
|-<br />
| zabeth06 || Halaoui Mohammed<br />
|-<br />
| zabeth07 || Blgrim Haitam<br />
|-<br />
| zabeth08 || Florian Vallée<br />
|-<br />
| zabeth09 (routeur) || Julien Charleux<br />
|-<br />
| zabeth10 || Amine SELLALI<br />
|-<br />
| zabeth11 || Paul Amoros<br />
|-<br />
| zabeth12 || Maël Delaby<br />
|-<br />
| zabeth13 || Black Baptiste<br />
|-<br />
| zabeth14 || Timothé Brenier<br />
|-<br />
| zabeth15 || Jeanne Delcourt<br />
|-<br />
| zabeth16 || Estelle Godard<br />
|-<br />
| zabeth17 || Jason DELANNOY<br />
|-<br />
| zabeth18 || Chloé Lemaire<br />
|-<br />
| zabeth19 || Gabriel THOMAS<br />
|-<br />
| zabeth20 || Albin MOUTON<br />
|-<br />
| zabeth21 || Konstantin PATRIKEEV<br />
|-<br />
| zabeth22 || Maxime Balbastre<br />
|-<br />
| zabeth26 || François NAUDOT<br />
|-<br />
| zabeth27 || Karl HABRE<br />
|-<br />
| zabeth28 || Rémi FARAULT<br />
|-<br />
| zabeth30 || Prénom Nom<br />
|-<br />
|}<br />
<br />
== Répartition des binômes en PRA ==<br />
<br />
Concertez-vous pour trouver des noms de machines de services et de machines mandataires dans deux thèmes.<br />
<br />
{| class="wikitable"<br />
! Cahier !! Nom machine services <br />
!IP machine services !! Nom de domaine !! Nom machine mandataire <br />
!IP machine mandataires!! Elève <br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E1 | Cahier n°1]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E2 | Cahier n°2]]<br />
| Elom|| || || Baloo|| || Elias SIMON<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E3 | Cahier n°3]]<br />
| Mustafar (Mustafare)|| || mustafare.lol|| Baloo|| 193.48.57.189|| Mathis RIFFAUT<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E4 | Cahier n°4]]<br />
| Dagobah|| || dagobah.lol|| Aladin|| || Dann RODENBURG<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E5 | Cahier n°5]]<br />
| Motis|| || || Dingo|| || Mohammed Halaoui<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E6 | Cahier n°6]]<br />
| bogano|| || || Timon|| || Benjamin Nguyen<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E7 | Cahier n°7]]<br />
| Takobo|| || <code>takobo.lol</code>|| Timon|| 193.48.57.184|| Timothé Brenier<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E8 | Cahier n°8]]<br />
| Fondor|| || || mushu|| 193.48.57.190|| Florian Vallée<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E9 | Cahier n°9]]<br />
| hoth|| || hoth.lol|| BlancheNeige|| 193.48.57.187|| Haitam Blgrim<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E10 | Cahier n°10]]<br />
| Abafar|| || abafar.lol|| Aladin|| 193.48.57.179|| Amine SELLALI<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E11 | Cahier n°11]]<br />
| Rotia|| || || DIngo|| 193.48.57.181|| Rémi Farault<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E12 | Cahier n°12]]<br />
| jedha|| || || judy|| 193.48.57.182|| Julien Charleux<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E13 | Cahier n°13]]<br />
| Bogden|| || bodgen.lol|| BlancheNeige|| || Black Baptiste<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E14 | Cahier n°14]]<br />
| endor|| 10.10.10.10|| || mickey|| 193.48.57.188 / 10.10.10.1|| Maël Delaby<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E15 | Cahier n°15]]<br />
| jiruus|| 192.168.19.3|| jiruus.lol|| cruella|| || Jeanne Delcourt<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E16 | Cahier n°16]]<br />
| exegol|| 192.168.19.2|| exegol.lol|| cruella|| 193.48.57.186 /<br />
192.168.19.1<br />
| Estelle Godard<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E17 | Cahier n°17]]<br />
| Jakku|| || || Jafar|| || Jason DELANNOY<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E18 | Cahier n°18]]<br />
| naboo|| 192.168.18.2|| naboo.lol|| bouh|| 193.48.57.180 / 192.168.18.1|| Chloé Lemaire<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E19 | Cahier n°19]]<br />
| geonosis|| 192.168.18.3|| geonosis.lol|| bouh|| || Gabriel THOMAS<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E20 | Cahier n°20]]<br />
| alderaan|| || || Jafar|| 193.48.57.183|| Albin MOUTON<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E21 | Cahier n°21]]<br />
| kesh|| || || Judy|| || Konstantin Patrikeev<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E22 | Cahier n°22]]<br />
| kashyyyk|| || || mushu|| || Maxime BALBASTRE<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E23 | Cahier n°23]]<br />
| Felucia|| 192.168.26.2|| || Ursula|| 193.48.57.185 / 192.168.26.1|| François NAUDOT<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E24 | Cahier n°24]]<br />
| Pelagon|| 10.10.10.11|| || mickey|| 193.48.57.188 / 10.10.10.1|| Paul Amoros<br />
|-<br />
|[[Atelier SysRes SE5 2023/2024 E24 | Cahier n°25]]<br />
|Kalee<br />
|192.168.26.3<br />
|kalee.lol<br />
|Ursula<br />
|<br />
|Karl Habre<br />
|}<br />
<br />
== Contrôle continu ==<br />
<br />
=== Contrôle du 20/11/2023 ===<br />
<br />
A noter qu'aucune machine, quelle soit de service ou mandataire, ne peut avoir accès à Internet vu qu'aucun effort n'a été fait pour relier le serveur <code>capbreton</code> au réseau SE5.<br />
<br />
Machines de service.<br />
<br />
{| class="wikitable"<br />
! Elève !! Nom machine !! Configuration IP<br />
|-<br />
| Elom || Elias SIMON || une seule interface dans le <code>.cfg</code> (CV SE5), pas de configuration IP<br />
|-<br />
| Mustafar|| Mathis RIFFAUT || une seule interface dans le <code>.cfg</code> (CV SE5), pas de configuration IP<br />
|-<br />
| Dagobah|| Dann RODENBURG || une seule interface dans le <code>.cfg</code> (CV SE5), pas de configuration IP<br />
|-<br />
| Motis || Mohammed Halaoui || une seule interface dans le <code>.cfg</code> (CV SE5), pas de configuration IP<br />
|-<br />
| bogano || Benjamin Nguyen || une seule interface dans le <code>.cfg</code> (CV SE5), pas de configuration IP<br />
|-<br />
| Takobo || Timothé Brenier || une seule interface dans le <code>.cfg</code> (CV SE5), pas de configuration IP<br />
|-<br />
| Fondor || Florian Vallée || une seule interface dans le <code>.cfg</code> (CV SE5), pas de configuration IP<br />
|-<br />
| hoth || Haitam Blgrim || une seule interface dans le <code>.cfg</code> (CV SE5), pas de configuration IP<br />
|-<br />
| Abafar || Amine SELLALI || une seule interface dans le <code>.cfg</code> (CV SE5), pas de configuration IP<br />
|-<br />
| Rotia || Rémi Farault || une seule interface dans le <code>.cfg</code> (CV SE5), pas de configuration IP<br />
|-<br />
| jedha || Julien Charleux || une seule interface dans le <code>.cfg</code> (CV SE5), pas de configuration IP<br />
|-<br />
| Bogden || Black Baptiste || une seule interface dans le <code>.cfg</code> (CV SE5), pas de configuration IP<br />
|-<br />
| jiruus || Jeanne Delcourt || une seule interface dans le <code>.cfg</code> (CV SE5), pas de configuration IP<br />
|-<br />
| exegol || Estelle Godard || une seule interface dans le <code>.cfg</code> (CV SE5), pas de configuration IP<br />
|-<br />
| Jakku || Jason DELANNOY || une seule interface dans le <code>.cfg</code> (CV SE5), pas de configuration IP<br />
|-<br />
| naboo || Chloé Lemaire || une seule interface dans le <code>.cfg</code> (CV SE5), pas de configuration IP<br />
|-<br />
| geonosis || Gabriel THOMAS || une seule interface dans le <code>.cfg</code> (CV SE5), pas de configuration IP<br />
|-<br />
| alderaan || Albin MOUTON || une seule interface dans le <code>.cfg</code> (CV SE5), pas de configuration IP<br />
|-<br />
| kesh || Konstantin Patrikeev || une seule interface dans le <code>.cfg</code> (CV SE5), pas de configuration IP<br />
|-<br />
| kashyyyk || Maxime BALBASTRE || une seule interface dans le <code>.cfg</code> (CV SE5), pas de configuration IP<br />
|-<br />
| Felucia || François NAUDOT || une seule interface dans le <code>.cfg</code> (CV SE5), pas de configuration IP<br />
|-<br />
|}<br />
<br />
Machines mandataires.<br />
<br />
{| class="wikitable"<br />
! Elèves !! Nom machine !! Configuration IP<br />
|-<br />
| Elias SIMON & Mathis RIFFAUT || Baloo || une seule interface dans le <code>.cfg</code> (CV SE5), aucun CV privé, pas de configuration IP<br />
|-<br />
| Dann RODENBURG & Amine SELLALI || Aladin || une seule interface dans le <code>.cfg</code> (CV SE5), aucun CV privé, pas de configuration IP<br />
|-<br />
| Mohammed Halaoui & Rémi Farault || Dingo || une seule interface dans le <code>.cfg</code> (CV SE5), aucun CV privé, pas de configuration IP<br />
|-<br />
| Benjamin Nguyen & Timothé Brenier || Timon || une seule interface dans le <code>.cfg</code> (CV SE5), aucun CV privé, pas de configuration IP<br />
|-<br />
| Florian Vallée & Maxime BALBASTRE || mushu || une seule interface dans le <code>.cfg</code> (CV SE5), aucun CV privé, pas de configuration IP<br />
|-<br />
| Haitam Blgrim & Black Baptiste || BlancheNeige || une seule interface dans le <code>.cfg</code> (CV SE5), aucun CV privé, pas de configuration IP<br />
|-<br />
| Jeanne Delcourt & Estelle Godard || cruella || une seule interface dans le <code>.cfg</code> (CV SE5), aucun CV privé, pas de configuration IP<br />
|-<br />
| Jason DELANNOY & Albin MOUTON || Jafar || une seule interface dans le <code>.cfg</code> (CV SE5), aucun CV privé, pas de configuration IP<br />
|-<br />
| Chloé Lemaire & Gabriel THOMAS || bouh || une seule interface dans le <code>.cfg</code> (CV SE5), aucun CV privé, pas de configuration IP<br />
|-<br />
| Konstantin Patrikeev & Julien Charleux || judy || une seule interface dans le <code>.cfg</code> (CV SE5), aucun CV privé, pas de configuration IP<br />
|-<br />
| François NAUDOT & Karl HABRE || Ursula|| rien<br />
|-<br />
|}<br />
<br />
Liste des machines<br />
<br />
Elom Mustafar dagobah Motis bogano Takobo Fondor hoth abafar Rotia jedha Bogden jiruus exegol Jakku naboo geonosis alderaan kesh kashyyyk Felucia<br />
<br />
Baloo aladin Dingo Timon mushu BlancheNeige cruella Jafar bouh judy<br />
<br />
=== Contrôle du 03/12/2023 ===<br />
<br />
Le serveur <code>capbreton</code> a été relié au réseau SE5 par <code>naboo</code>.<br />
<br />
Il est normal de ne pas avoir d'adresse IPv4 sur la machine de services pour l'interface sur le commutateur virtuel. Par contre, avec mise en place de la mascarade sur la machine mandataire, il doit être possible, pour la machine de services, de se connecter à Internet en IPv4.<br />
<br />
{| class="wikitable"<br />
! Elève !! Nom machine !! Configuration IP<br />
|-<br />
| Elom || Elias SIMON<br />
| IPv4 sur CV : 10.0.69.220, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe0f:b26d, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle<br />
|-<br />
| Mustafar|| Mathis RIFFAUT<br />
| IPv4 sur CV : 10.0.69.165, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fea9:f79, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle <br />
|-<br />
| Dagobah|| Dann RODENBURG<br />
| IPv4 sur CV : 10.0.69.205, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe53:7d33, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle <br />
|-<br />
| Motis || Mohammed Halaoui<br />
| IPv4 sur CV : 10.0.69.195, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe7c:2d6a, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle <br />
|-<br />
| bogano || Benjamin Nguyen<br />
| IPv4 sur CV : 10.0.69.245, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe62:6960, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle<br />
|-<br />
| Takobo || Timothé Brenier<br />
| IPv4 sur CV : 10.0.69.181, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe93:8c48, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle<br />
|-<br />
| Fondor || Florian Vallée<br />
| IPv4 sur CV : 10.0.69.200, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe2d:82bf, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle<br />
|-<br />
| hoth || Haitam Blgrim<br />
| IPv4 sur CV : 10.0.69.157, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fee8:4736, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle <br />
|-<br />
| Abafar || Amine SELLALI<br />
| IPv4 sur CV : 10.0.69.233, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:feae:bcbb, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle<br />
|-<br />
| Rotia || Rémi Farault<br />
| IPv4 sur CV : 10.0.69.130, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe2e:ec48, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle<br />
|-<br />
| jedha || Julien Charleux<br />
| IPv4 sur CV : 10.0.69.221, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fef6:364f, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle<br />
|-<br />
| Bogden || Black Baptiste<br />
| IPv4 sur CV : 10.0.69.246, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe67:89fd, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle<br />
|-<br />
| jiruus || Jeanne Delcourt<br />
| IPv4 sur CV : 10.0.69.247, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe9c:6f0e, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle<br />
|-<br />
| exegol || Estelle Godard<br />
| IPv4 sur CV : 10.0.69.147, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe17:bc38, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle<br />
|-<br />
| Jakku || Jason DELANNOY<br />
| IPv4 sur CV : 10.0.69.136, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fee1:1e4d, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle<br />
|-<br />
| naboo || Chloé Lemaire<br />
| IPv4 sur CV : 192.168.18.2, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fef2:7e2, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, résolution DNS fonctionnelle<br />
|-<br />
| geonosis || Gabriel THOMAS<br />
| IPv4 sur CV : 10.0.69.231, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:feb0:b140, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle<br />
|-<br />
| alderaan || Albin MOUTON<br />
| IPv4 sur CV : 10.0.69.106, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe97:2114, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle<br />
|-<br />
| kesh || Konstantin Patrikeev<br />
| IPv4 sur CV : 10.0.69.222, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe10:e2cb, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle<br />
|-<br />
| kashyyyk || Maxime BALBASTRE<br />
| IPv4 sur CV : 10.0.69.240, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:feca:73e7, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle<br />
|-<br />
| Felucia || François NAUDOT<br />
| IPv4 sur CV : 10.0.69.139, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe89:460a, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle<br />
|-<br />
|}<br />
<br />
Machines mandataires.<br />
<br />
{| class="wikitable"<br />
! Elèves !! Nom machine !! Configuration IP<br />
|-<br />
| Elias SIMON & Mathis RIFFAUT || Baloo <br />
| IPv4 sur CV : 10.0.69.152, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fec8:5379, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle<br />
|-<br />
| Dann RODENBURG & Amine SELLALI || Aladin<br />
| IPv4 sur CV : 10.0.69.107, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe6b:c000, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle<br />
|-<br />
| Mohammed Halaoui & Rémi Farault || Dingo<br />
| IPv4 sur CV : 10.0.69.156, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe0d:4f9c, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle<br />
|-<br />
| Benjamin Nguyen & Timothé Brenier || Timon<br />
| IPv4 sur CV : 10.0.69.104, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fedc:7539, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle<br />
|-<br />
| Florian Vallée & Maxime BALBASTRE || mushu<br />
| IPv4 sur CV : 10.0.69.160, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe20:8816, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle<br />
|-<br />
| Haitam Blgrim & Black Baptiste || BlancheNeige<br />
| IPv4 sur CV : 10.0.69.182, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:feba:38f4, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle<br />
|-<br />
| Jeanne Delcourt & Estelle Godard || cruella<br />
| IPv4 sur CV : 10.0.69.108, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fee5:ff99, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle<br />
|-<br />
| Jason DELANNOY & Albin MOUTON || Jafar<br />
| IPv4 sur CV : 10.0.69.171, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe3e:f0bb, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle<br />
|-<br />
| Chloé Lemaire & Gabriel THOMAS || bouh<br />
| IPv4 sur CV : 192.168.18.1, IPv4 sur SE5 : 193.48.57.180, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe4f:dde2, connexion à Internet en IPv4 possible, connexion à Internet en IPv6 possible, résolution DNS fonctionnelle<br />
|-<br />
| Konstantin Patrikeev & Julien Charleux || judy<br />
| IPv4 sur CV : 10.0.69.216, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe7d:4762, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle<br />
|-<br />
| François NAUDOT & Karl HABRE ||<br />
|-<br />
|}<br />
<br />
=== Contrôle du 11/01/2024 ===<br />
<br />
Il est normal de ne pas avoir d'adresse IPv4 sur la machine de services pour l'interface sur le commutateur virtuel. Par contre, avec mise en place de la mascarade sur la machine mandataire, il doit être possible, pour la machine de services, de se connecter à Internet en IPv4.<br />
<br />
{| class="wikitable"<br />
! Elève !! Nom machine !! Interfaces dans SE5 et CV !! Domaine Internet !! Accès <code>ssh</code> root !! DNS installé<br />
|-<br />
| Elom || Elias SIMON<br />
| SE5 uniquement || <code>elom.lol</code><br />
| Non || Non<br />
|-<br />
| Mustafar|| Mathis RIFFAUT<br />
| SE5 uniquement || <code>mustafare.lol</code><br />
| Non || Non<br />
|-<br />
| Dagobah|| Dann RODENBURG<br />
| SE5 uniquement || <code>dagobah.lol</code><br />
| Non || Non<br />
|-<br />
| Motis || Mohammed Halaoui<br />
| SE5 uniquement || <code>motis.hair</code><br />
| Non || Non<br />
|-<br />
| bogano || Benjamin Nguyen<br />
| SE5 uniquement || <code>bogano.lol</code><br />
| Non || Non<br />
|-<br />
| Takobo || Timothé Brenier<br />
| SE5 uniquement || <code>takobo.lol</code><br />
| Non || Non<br />
|-<br />
| Fondor || Florian Vallée<br />
| SE5 uniquement || <code>fondor.lol</code><br />
| Non || Non<br />
|-<br />
| hoth || Haitam Blgrim<br />
| SE5 uniquement || <code>hoth.lol</code><br />
| Non || Non<br />
|-<br />
| Abafar || Amine SELLALI<br />
| SE5 uniquement || <code>abafar.lol</code><br />
| Non || Non<br />
|-<br />
| Rotia || Rémi Farault<br />
| SE5 uniquement || Aucun<br />
| Ajouté || Non<br />
|-<br />
| jedha || Julien Charleux<br />
| SE5 uniquement || Aucun<br />
| Non || Non<br />
|-<br />
| Bogden || Black Baptiste<br />
| SE5 uniquement || <code>bodgen.lol</code><br />
| Non || Non<br />
|-<br />
| jiruus || Jeanne Delcourt<br />
| SE5 uniquement || <code>jiruus.lol</code><br />
| Ajouté || Non<br />
|-<br />
| exegol || Estelle Godard<br />
| SE5 uniquement || <code>exegol.lol</code><br />
| Ajouté || Non<br />
|-<br />
| Jakku || Jason DELANNOY<br />
| SE5 uniquement || <code>jakku.lol</code><br />
| Ajouté || Non<br />
|-<br />
| naboo || Chloé Lemaire<br />
| SE5 uniquement || <code>naboo.lol</code><br />
| Ajouté || Non<br />
|-<br />
| geonosis || Gabriel THOMAS<br />
| SE5 uniquement || <code>geonosis.lol</code><br />
| Ajouté || Non<br />
|-<br />
| alderaan || Albin MOUTON<br />
| SE5 uniquement || <code>alderaan.website</code><br />
| Ajouté || Non<br />
|-<br />
| kesh || Konstantin Patrikeev<br />
| SE5 uniquement || <code>kesh.lol</code><br />
| Non || Non<br />
|-<br />
| kashyyyk || Maxime BALBASTRE<br />
| SE5 uniquement || <code>kashyyyk.lol</code><br />
| Non || Non<br />
|-<br />
| Felucia || François NAUDOT<br />
| SE5 uniquement || <code>felucia.lol</code><br />
| Non || Non<br />
|-<br />
| pelagon || Paul AMOROS<br />
| activée le 11/01/2024 (IPv6 <code>2001:660:4401:60b0:216:3eff:fe03:2af3</code>) || <code>pelagon.lol</code><br />
| Non || Non<br />
|-<br />
| Kalee || Karl HABRE<br />
| pas de machine virtuelle || <code>kalee.lol</code><br />
| Non || Non<br />
|-<br />
|}<br />
<br />
Machines mandataires.<br />
<br />
{| class="wikitable"<br />
! Elèves !! Nom machine !! Commutateur virtuel !! Interfaces dans SE5 et CV !! Accès <code>ssh</code> root !! DNS installé<br />
|-<br />
| Elias SIMON & Mathis RIFFAUT || Baloo <br />
| Non || Non<br />
| Non || Non<br />
|-<br />
| Dann RODENBURG & Amine SELLALI || Aladin<br />
| Non || Non<br />
| Non || Non<br />
|-<br />
| Mohammed Halaoui & Rémi Farault || Dingo<br />
| Non || Non<br />
| Non || Non<br />
|-<br />
| Benjamin Nguyen & Timothé Brenier || Timon<br />
| Non || Non<br />
| Non || Non<br />
|-<br />
| Florian Vallée & Maxime BALBASTRE || mushu<br />
| Non || Non<br />
| Non || Non<br />
|-<br />
| Haitam Blgrim & Black Baptiste || BlancheNeige<br />
| Non || Non<br />
| Non || Non<br />
|-<br />
| Jeanne Delcourt & Estelle Godard || cruella<br />
| Non || Non<br />
| Ajouté || Non<br />
|-<br />
| Jason DELANNOY & Albin MOUTON || Jafar<br />
| Non || Non<br />
| Ajouté || Non<br />
|-<br />
| Chloé Lemaire & Gabriel THOMAS || bouh<br />
| Oui || Oui<br />
| Ajouté || Non<br />
|-<br />
| Konstantin Patrikeev & Julien Charleux || judy<br />
| Non || Non<br />
| Non || Non<br />
|-<br />
| François NAUDOT & Karl HABRE || Ursula<br />
| || <br />
| || <br />
|-<br />
| Paul AMOROS || mandataire inconnu<br />
| || <br />
| || <br />
|-<br />
|}<br />
<br />
=== Contrôle du 14/01/2024 ===<br />
<br />
Il est normal, pour les machines de services, de ne pas avoir d'@IPv4 sur le commutateur virtuel.<br />
<br />
{| class="wikitable"<br />
! Elève !! Nom machine !! Configuration IP<br />
|-<br />
| Elom || Elias SIMON<br />
| pas d'IPv4 sur le CV, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe0f:b26d, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle, pas de serveur DNS.<br />
|-<br />
| Mustafar|| Mathis RIFFAUT<br />
| pas d'IPv4 sur le CV, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fea9:f79, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle, pas de serveur DNS.<br />
|-<br />
| Dagobah|| Dann RODENBURG<br />
| pas d'IPv4 sur le CV, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe53:7d33, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle, pas de serveur DNS.<br />
|-<br />
| Motis || Mohammed Halaoui<br />
| pas d'IPv4 sur le CV, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe7c:2d6a, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle, pas de serveur DNS.<br />
|-<br />
| bogano || Benjamin Nguyen<br />
| pas d'IPv4 sur le CV, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe62:6960, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle, pas de serveur DNS.<br />
|-<br />
| Takobo || Timothé Brenier<br />
| pas d'IPv4 sur le CV, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe93:8c48, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle, pas de serveur DNS.<br />
|-<br />
| Fondor || Florian Vallée<br />
| pas d'IPv4 sur le CV, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe2d:82bf, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle, pas de serveur DNS.<br />
|-<br />
| hoth || Haitam Blgrim<br />
| IPv4 sur CV : 10.0.69.157, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fee8:4736, connexion à Internet en IPv4 possible, connexion à Internet en IPv6 possible, résolution DNS fonctionnelle, <code>bind9</code> installé pas plus.<br />
|-<br />
| Abafar || Amine SELLALI<br />
| pas d'IPv4 sur le CV, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:feae:bcbb, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle, pas de serveur DNS.<br />
|-<br />
| Rotia || Rémi Farault<br />
| IPv4 sur CV : 10.0.69.130, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe2e:ec48, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle, pas de serveur DNS.<br />
|-<br />
| jedha || Julien Charleux<br />
| pas d'IPv4 sur le CV, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fef6:364f, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle, pas de serveur DNS.<br />
|-<br />
| Bogden || Black Baptiste<br />
| IPv4 sur CV : 10.0.69.246, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe67:89fd, connexion à Internet en IPv4 possible, connexion à Internet en IPv6 possible, résolution DNS fonctionnelle, pas de serveur DNS.<br />
|-<br />
| jiruus || Jeanne Delcourt<br />
| IPv4 sur CV : 192.168.19.3, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe9c:6f0e, connexion à Internet en IPv4 possible, connexion à Internet en IPv6 possible, résolution DNS fonctionnelle, serveur DNS fonctionnel.<br />
|-<br />
| exegol || Estelle Godard<br />
| IPv4 sur CV : 192.168.19.2, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe17:bc38, connexion à Internet en IPv4 possible, connexion à Internet en IPv6 possible, résolution DNS fonctionnelle, serveur DNS fonctionnel.<br />
|-<br />
| Jakku || Jason DELANNOY<br />
| IPv4 sur CV : 10.0.69.136, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fee1:1e4d, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, résolution DNS fonctionnelle, serveur DNS fonctionnel.<br />
|-<br />
| naboo || Chloé Lemaire<br />
| IPv4 sur CV : 192.168.18.2, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fef2:7e2, connexion à Internet en IPv4 possible, connexion à Internet en IPv6 possible, résolution DNS fonctionnelle, serveur DNS fonctionnel.<br />
|-<br />
| geonosis || Gabriel THOMAS<br />
| IPv4 sur CV : 192.168.18.3, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:feb0:b140, connexion à Internet en IPv4 possible, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle, serveur DNS fonctionnel (aide massive).<br />
|-<br />
| alderaan || Albin MOUTON<br />
| pas d'IPv4 sur le CV, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe97:2114, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle, pas de serveur DNS.<br />
|-<br />
| kesh || Konstantin Patrikeev<br />
| pas d'IPv4 sur le CV, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe10:e2cb, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle, pas de serveur DNS.<br />
|-<br />
| kashyyyk || Maxime BALBASTRE<br />
| pas d'IPv4 sur le CV, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:feca:73e7, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle, pas de serveur DNS.<br />
|-<br />
| Felucia || François NAUDOT<br />
| pas d'IPv4 sur le CV, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe89:460a, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle, pas de serveur DNS.<br />
|-<br />
| pelagon || Paul Amoros<br />
| pas d'IPv4 sur le CV, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe03:2af3, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle, pas de serveur DNS.<br />
|-<br />
| endor || Maël Delaby<br />
| pas d'IPv4 sur le CV, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe5f:ebac, connexion à Internet en IPv4 possible, connexion à Internet en IPv6 possible, résolution DNS fonctionnelle, serveur DNS fonctionnel (mauvais domaine).<br />
|-<br />
| Kalee || Karl Harbre<br />
| pas d'IPv4 sur le CV, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe45:42ed, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle, pas de serveur DNS.<br />
|}<br />
<br />
Machines mandataires.<br />
<br />
{| class="wikitable"<br />
! Elèves !! Nom machine !! Configuration IP<br />
|-<br />
| Elias SIMON & Mathis RIFFAUT || Baloo <br />
| pas d'IPv4 sur le CV, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fec8:5379, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle, pas de serveur DNS.<br />
|-<br />
| Dann RODENBURG & Amine SELLALI || Aladin<br />
| pas d'IPv4 sur le CV, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe6b:c000, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle, pas de serveur DNS.<br />
|-<br />
| Mohammed Halaoui & Rémi Farault || Dingo<br />
| IPv4 sur CV : 193.48.57.181 10.0.69.156, IPv4 sur SE5 : 193.48.57.181, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe0d:4f9c, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle, pas de serveur DNS.<br />
|-<br />
| Benjamin Nguyen & Timothé Brenier || Timon<br />
| pas d'IPv4 sur le CV, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fedc:7539, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle, pas de serveur DNS.<br />
|-<br />
| Florian Vallée & Maxime BALBASTRE || mushu<br />
| pas d'IPv4 sur le CV, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe20:8816, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle, pas de serveur DNS.pas de serveur DNS.z<br />
|-<br />
| Haitam Blgrim & Black Baptiste || BlancheNeige<br />
| IPv4 sur CV : 193.48.57.187 10.0.69.182, IPv4 sur SE5 : 193.48.57.187, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:feba:38f4, connexion à Internet en IPv4 possible, connexion à Internet en IPv6 possible, résolution DNS fonctionnelle, <code>bind9</code> installé sans plus.<br />
|-<br />
| Jeanne Delcourt & Estelle Godard || cruella<br />
| IPv4 sur CV : 193.48.57.186 192.168.19.1, IPv4 sur SE5 : 193.48.57.186, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fee5:ff99, connexion à Internet en IPv4 possible, connexion à Internet en IPv6 possible, résolution DNS fonctionnelle, serveur DNS secondaire configuré.<br />
|-<br />
| Jason DELANNOY & Albin MOUTON || Jafar<br />
| IPv4 sur CV : 193.48.57.183 10.0.69.1, IPv4 sur SE5 : 193.48.57.183, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe3e:f0bb, connexion à Internet en IPv4 possible, connexion à Internet en IPv6 possible, résolution DNS fonctionnelle, <code>bind9</code> installé sans plus.<br />
|-<br />
| Chloé Lemaire & Gabriel THOMAS || bouh<br />
| IPv4 sur CV : 193.48.57.180 192.168.18.1, IPv4 sur SE5 : 193.48.57.180, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe4f:dde2, connexion à Internet en IPv4 possible, connexion à Internet en IPv6 possible, résolution DNS fonctionnelle, serveur DNS secondaire configuré.<br />
|-<br />
| Konstantin Patrikeev & Julien Charleux || judy<br />
| IPv4 sur CV : 193.48.57.182, IPv4 sur SE5 : 193.48.57.182, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe7d:4762, connexion à Internet en IPv4 possible, connexion à Internet en IPv6 possible, résolution DNS fonctionnelle, pas de serveur DNS.<br />
|-<br />
| Paul Amoros & Maël Delaby || mickey<br />
| IPv4 sur CV : 193.48.57.188 10.10.10.2 10.10.10.1, IPv4 sur SE5 : 193.48.57.188, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe34:13d5, connexion à Internet en IPv4 possible, connexion à Internet en IPv6 possible, résolution DNS fonctionnelle, serveur DNS secondaire configuré mais le répertoire pour les zones secondaires n'existe pas, l'écriture échoue.<br />
|-<br />
| François NAUDOT & Karl HABRE || Ursula<br />
| pas d'IPv4 sur le CV, pas d'IPv4 sur SE5, IPv6 sur SE5 : 2001:660:4401:60b0:216:3eff:fe33:7f89, pas de connexion à Internet en IPv4, connexion à Internet en IPv6 possible, pas de résolution DNS fonctionnelle, pas de serveur DNS.<br />
|-<br />
|}<br />
<br />
== Répartition des binômes en ASR ==<br />
<br />
Donnez les élèves dans chaque groupe.<br />
<br />
{| class="wikitable"<br />
! Groupe !! Elèves <br />
|-<br />
| g1 || Konstantin Patrikeev & Julien Charleux <br />
|-<br />
| g2 || Chloé Lemaire & Gabriel Thomas<br />
|-<br />
| g3 || Timothé Brenier & Benjamin Nguyen<br />
|-<br />
| g4 || François Naudot & Dann Rodenburg <br />
|-<br />
| g5 || Maël Delaby & Paul Amoros <br />
|-<br />
| g6 || Haitam Blgrim & Baptiste Black <br />
|-<br />
| g7 || Jason Delannoy & Albin Mouton <br />
|-<br />
| g8 || Elias Simon & Mathis Riffaut <br />
|-<br />
| g10 || Estelle Godard & Jeanne Delcourt<br />
|-<br />
| g11 || Karl Habre & Amine Sellali <br />
|-<br />
| g12 || Mohammed Halaoui & Rémi Farault <br />
|-<br />
|g13<br />
|Maxime Balbastre & Florian Vallée<br />
|}<br />
<br />
Le 05/11/2023, aucun commutateur virtuel correctement configuré, soit une adresse IPv4 sur le commutateur pour aucune raison, soit une configuration <code>static</code> non adaptée, pas de <code>up</code> sur le commutateur virtuel.<br />
<br />
== Contrôle continu ==<br />
<br />
=== Contrôle au 05/11/2023 ===<br />
<br />
{| class="wikitable"<br />
! Groupe !! Elèves !! Migration !! Archi. penfret !! Archi. antifer<br />
|-<br />
| g1 || Konstantin Patrikeev & Julien Charleux || || jcharleu, CV conf. erronée, MV interf. vlan50, pas de config. IPv4 || kpatrikee, CV conf. erronée, MV interf. vlan50, pas de config. IPv4, routeur mauvais disque dans le <code>.cfg</code><br />
|-<br />
| g2 || Chloé Lemaire & Gabriel Thomas || || gthomas, CV conf. erronée, MV mdp erroné, interf. vlan50 || clemair1, CV conf. erronée, MV interf. vlan50, pas de config. IPv4, routeur lancé, une seule interface réseau, pas de config. réseau<br />
|-<br />
| g3 || Timothé Brenier & Benjamin Nguyen || || bnguyen1, CV conf. erronée, MV interf. vlan50, pas de config. IPv4 || tbrenier, CV conf. erronée, MV interf. vlan50, pas de config. IPv4, routeur mauvais disque dans le <code>.cfg</code><br />
|-<br />
| g4 || François Naudot & Dann Rodenburg || || drodenbu, CV conf. erronée, MV interf. vlan50, pas de config. IPv4 || fnaudot, CV conf. erronée, MV interf. vlan50, pas de config. IPv4, routeur mauvais disque dans le <code>.cfg</code><br />
|-<br />
| g5 || Maël Delaby & Paul Amoros || || pas de CV, pas de MV || mdelaby, CV conf. erronée, pygrub dans la MV ? pas de routeur, faut lui créer son propre <code>.cfg</code><br />
|-<br />
| g6 || Haitam Blgrim & Baptiste Black || || hblgrim, CV conf. erronée, MV avec 2 interfaces, pas de MAC sur la 1ère, config. IPv4 OK || bblack, CV commenté, pas de MV (plus exactement une machine visible via <code>xen list</code> mais pas de <code>.cfg</code> dans <code>/etc/xen</code>), pas de routeur OpenWRT<br />
|-<br />
| g7 || Jason Delannoy & Albin Mouton || || jdelanno, CV conf. erronée, MV interf. vlan50, pas de config. IPv4 || amouton, CV conf. erronée, MV interf. vlan50, pas de config. IPv4, routeur lancé, une seule interface réseau<br />
|-<br />
| g8 || Elias Simon & Mathis Riffaut || || mriffaut, CV conf. erronée, MV interf. vlan50, pas de config. IPv4 || esimon, CV conf. erronée, MV interf. vlan50, pas de config. IPv4, pas de routeur<br />
|-<br />
| g10 || Estelle Godard & Jeanne Delcourt || || jdelcour, CV conf. erronée, MV interf. vlan50, pas de config. IPv4 || egodard, CV conf. erronée, MV interf. vlan50, pas de config. IPv4, routeur lancé, deux interfaces réseau, changez l'ordre des interfaces dans le <code>.cfg</code><br />
|-<br />
| g11 || Karl Habre & Amine Sellali || || khabre, CV conf. erronée, MV non créée, MV interf. vlan50, pas de config. IPv4 || asellali, CV conf. erronée, MV interf. vlan50, pas de config. IPv4, routeur avec une définition de disque aberrante dans le <code>.cfg</code><br />
|-<br />
| g12 || Mohammed Halaoui & Rémi Farault || || rfarault, CV conf. erronée, MV interf. vlan50, pas de config. IPv4 || pas de CV, MV interf. vlan50, pas de config. IPv4, pas de routeur<br />
|}<br />
<br />
=== Contrôle au 20/11/2023 ===<br />
<br />
A noter qu'un sacré coup de pouce aura été nécessaire pour configurer le routeur de promotion, avec un seul élève en appui.<br />
<br />
{| class="wikitable"<br />
! Groupe !! Elèves !! Migration !! Archi. penfret !! Archi. antifer<br />
|-<br />
| g1 || Konstantin Patrikeev & Julien Charleux || || jcharleu, CV configuration toujours erronée, pas de VLAN, MV avec une seule interface (vlan50), toujours pas de configuration IPv4 correcte || kpatrikee, CV configuration toujours erronée, pas de VLAN, MV avec une seule interface réseau (dans le vlan50), pas de configuration IPv4 correcte, pour le routeur toujours une mauvaise définition de disque dans le <code>.cfg</code><br />
|-<br />
| g2 || Chloé Lemaire & Gabriel Thomas || || gthomas, CV configuration toujours erronée, pas de VLAN, MV avec une seule interface (vlan50), pas de configuration IPv4 correcte || clemair1, CV configuré, VLAN configuré, MV lancée et totalement configurée en IPv4, routeur lancé et correctement configuré<br />
|-<br />
| g3 || Timothé Brenier & Benjamin Nguyen || || bnguyen1, CV conf. toujours erronée, pas de VLAN, MV avec une seule interface (vlan50), toujours pas de configuration IPv4 correcte || tbrenier, CV configuration toujours erronée, pas de VLAN, MV avec une seule interface réseau (dans le vlan50), pas de configuration IPv4 correcte, pour le routeur toujours une mauvaise définition de disque dans le <code>.cfg</code>, deux interfaces cependant<br />
|-<br />
| g4 || François Naudot & Dann Rodenburg || || drodenbu, CV conf. toujours erronée, pas de VLAN, MV avec une seule interface (vlan50), toujours pas de configuration IPv4 correcte || fnaudot, CV configuration toujours erronée, pas de VLAN, MV avec une seule interface réseau (dans le vlan50), pas de configuration IPv4 correcte, pour le routeur toujours une mauvaise définition de disque dans le <code>.cfg</code>, deux interfaces cependant<br />
|-<br />
| g5 || Maël Delaby & Paul Amoros || || toujours pas de CV, pas de VLAN, toujours pas de MV || mdelaby, CV configuration toujours erronée, pas de VLAN, toujours le bootloader <code>pygrub</code> dans la MV (commenté), MV avec une seule interface réseau (dans le CV), configuration DHCP OK pour l'interface (dans le CV), toujours pas de routeur : il faut lui créer son propre <code>.cfg</code><br />
|-<br />
| g6 || Haitam Blgrim & Baptiste Black || || hblgrim, CV conf. toujours erronée, pas de VLAN, MV ne démarre pas à cause de l'erreur sur le CV (correction ReX sur le CV), MV avec 2 interfaces, pas de MAC sur la première interface dans le .cfg, configuration IPv4 OK dans la MV || bblack, CV configuration toujours erronée, pas de VLAN, toujours pas e <code>.cfg</code> pour la MV, un routeur OpenWRT avec la bonne définition de disque, deux interface mais sans @MAC, aucune configuration du routeur<br />
|-<br />
| g7 || Jason Delannoy & Albin Mouton || || jdelanno, CV conf. toujours, erronée, pas de VLAN, MV avec une seule interface (vlan50), toujours pas de configuration IPv4 correcte || amouton, CV configuration toujours erronée, pas de VLAN, MV avec une seule interface réseau (dans le vlan50), pas de configuration IPv4 correcte, routeur lancé, une seule interface réseau, pas de configuration du routeur<br />
|-<br />
| g8 || Elias Simon & Mathis Riffaut || || mriffaut, CV conf. toujours erronée, pas de VLAN, MV avec une seule interface (vlan50), pas de configuration IPv4 correcte || esimon, CV configuration toujours erronée, pas de VLAN, MV avec une seule interface réseau (dans le vlan50), pas de configuration IPv4 correcte, toujours pas de routeur<br />
|-<br />
| g10 || Estelle Godard & Jeanne Delcourt || || jdelcour, CV conf. toujours erronée, pas de VLAN, MV avec une seule interface (vlan50), pas de configuration IPv4 correcte || egodard, CV configuration toujours erronée, pas de VLAN, MV avec une seule interface réseau (dans le vlan50), pas de configuration IPv4 correcte, routeur lancé, deux interfaces réseau, pas de configuration du routeur<br />
|-<br />
| g11 || Karl Habre & Amine Sellali || || khabre, CV conf. toujours erronée, pas de VLAN, MV enfin créée avec une seule interface, pas de configuration IPv4 correcte || asellali, CV configuration toujours erronée, pas de VLAN, MV avec une seule interface réseau (dans le vlan50), pas de configuration IPv4 correcte, routeur avec une définition de disque aberrante dans le <code>.cfg</code>, une seule interface, pas de configuration du routeur<br />
|-<br />
| g12 || Mohammed Halaoui & Rémi Farault || || rfarault, CV conf. toujours erronée, pas de VLAN, MV avec une seule interface (vlan50), pas de configuration IPv4 correcte || pas de CV, MV avec une seule interface réseau (dans le vlan50), pas de configuration IPv4 correcte, toujours pas de routeur<br />
|}<br />
<br />
=== Contrôle au 30/11/2023 ===<br />
<br />
{| class="wikitable"<br />
! Groupe !! Elèves !! Archi. penfret !! Archi. antifer<br />
|-<br />
| g1 || Konstantin Patrikeev & Julien Charleux || jcharleu, CV configuration toujours erronée, pas de VLAN, MV avec une seule interface (vlan50), toujours pas de configuration IPv4 correcte. || kpatrikee, CV et VLAN configurés mais dites moi comment vous trouvez 1 avec la formule <code>6+N%4</code>, MV avec les bonnes interfaces, inversion dans la configuration IPv4 entre <code>enX0</code> et <code>enX1</code>, pour le routeur toujours une mauvaise définition de disque dans le <code>.cfg</code> par contre les deux interfaces demandées sont présentes.<br />
|-<br />
| g2 || Chloé Lemaire & Gabriel Thomas || gthomas, CV configuré, VLAN configuré, MV lancée et totalement configurée en IPv4. || clemair1, CV configuré, VLAN configuré, MV lancée et totalement configurée en IPv4, routeur lancé et correctement configuré.<br />
|-<br />
| g3 || Timothé Brenier & Benjamin Nguyen || bnguyen1, CV conf. toujours erronée, pas de VLAN, MV avec une seule interface (vlan50), toujours pas de configuration IPv4 correcte. || tbrenier, CV configuration toujours erronée, pas de VLAN, MV avec une seule interface réseau (dans le vlan50), pas de configuration IPv4 correcte, pour le routeur toujours une mauvaise définition de disque dans le <code>.cfg</code>, deux interfaces cependant.<br />
|-<br />
| g4 || François Naudot & Dann Rodenburg || drodenbu, CV conf. toujours erronée, pas de VLAN, MV avec une seule interface (vlan50), toujours pas de configuration IPv4 correcte. || fnaudot, CV configuration toujours erronée, pas de VLAN, MV avec une seule interface réseau (dans le vlan50), pas de configuration IPv4 correcte, pour le routeur toujours une mauvaise définition de disque dans le <code>.cfg</code>, deux interfaces cependant.<br />
|-<br />
| g5 || Maël Delaby & Paul Amoros || toujours pas de CV, pas de VLAN, toujours pas de MV. || mdelaby, CV configuration toujours erronée, pas de VLAN, toujours le bootloader <code>pygrub</code> dans la MV (commenté), MV avec un chemin des disques étranges, MV avec une seule interface réseau (dans le CV), configuration DHCP OK pour l'interface (dans le CV), toujours pas de routeur : il faut lui créer son propre <code>.cfg</code>.<br />
|-<br />
| g6 || Haitam Blgrim & Baptiste Black || hblgrim, il manque les directives pour démarrer et arrêter les interfaces mais sinon CV et VLAN configurés, MV lancé et configurée, il ne faut pas de <code>gateway</code> sur <code>enX1</code>, <code>enX0</code> ne trouve pas son adresse par DHCP à cause du commutateur virtuel non activé. || bblack, CV et VLAN configurés mais pas toutes les directives de démarrage et d'arrêt, toujours pas de <code>.cfg</code> pour la MV, un routeur OpenWRT avec la bonne définition de disque, deux interface mais sans @MAC, aucune configuration du routeur.<br />
|-<br />
| g7 || Jason Delannoy & Albin Mouton || jdelanno, CV conf. toujours, erronée, pas de VLAN, MV avec une seule interface (vlan50), toujours pas de configuration IPv4 correcte; || amouton, CV configuration toujours erronée, pas de VLAN, MV avec une seule interface réseau (dans le vlan50), pas de configuration IPv4 correcte, routeur lancé, une seule interface réseau, pas de configuration du routeur.<br />
|-<br />
| g8 || Elias Simon & Mathis Riffaut || mriffaut, CV conf. toujours erronée, pas de VLAN, MV avec une seule interface (vlan50), pas de configuration IPv4 correcte. || esimon, CV configuration toujours erronée, pas de VLAN, MV avec une seule interface réseau (dans le vlan50), pas de configuration IPv4 correcte, toujours pas de routeur.<br />
|-<br />
| g10 || Estelle Godard & Jeanne Delcourt || jdelcour, CV configuré, VLAN configuré (par contre l'utilisation de <code>ether4</code> est impossible), MV lancée et correctement configurée en IPv4, <code>enX0</code> ne trouve pas son @IPv4 à cause de l'erreur sur le VLAN. || egodard, CV configuré, VLAN configuré (par contre l'utilisation de <code>ether4</code> est impossible), MV avec deux interfaces, correctement configurée en IPv4, pas d'adresse obtenue par DHCP, problème de l'OpenWRT, routeur OpenWRT avec les bonnes interfaces, l'adresse IPv4 sur SE5 est donnée avec un mauvais masque, linterface <code>enX0</code> reçoit bien son adresse IPv4 par DHCP.<br />
|-<br />
| g11 || Karl Habre & Amine Sellali || khabre, CV configuration toujours erronée, pas de VLAN, MV avec une seule interface, pas de configuration IPv4 correcte || asellali, CV configuration toujours erronée, pas de VLAN, MV avec une seule interface réseau (dans le vlan50), pas de configuration IPv4 correcte, routeur avec une définition de disque aberrante dans le <code>.cfg</code>, une seule interface, pas de configuration du routeur<br />
|-<br />
| g12 || Mohammed Halaoui & Rémi Farault || rfarault, CV configuré, VLAN configuré mais configuration commentée (pourquoi donc ?!), MV lancée et correctement configurée en IPv4, <code>enX0</code> ne trouve pas son @IPv4 à cause de l'absence d'interface VLAN. || CV configuré, VLAN configuré, MV avec deux interfaces, correctement configurée en IPv4, un routeur avec les deux interfaces demandées, pas d'adresse IPv4 sur SE5, serveur DHCP fonctionnel.<br />
|}<br />
<br />
=== Contrôle au 02/12/2023 ===<br />
<br />
{| class="wikitable"<br />
! Groupe !! Elèves !! MV <code>penfret</code> !! MV <code>antifer</code> !! Routeur OpenWRT<br />
|-<br />
| g1 || Konstantin Patrikeev & Julien Charleux<br />
| IPv4 sur CV : 10.0.69.185, IPv4 sur VLAN50 : 172.126.145.103, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fe00:a98d, pas de connexion à Internet en IPv4, pas de résolution DNS fonctionnelle<br />
| IPv4 sur CV : 10.0.69.218, IPv4 sur VLAN50 : 172.26.145.102, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fe7d:bc44, pas de connexion à Internet en IPv4, pas de résolution DNS fonctionnelle<br />
| pas d'IPv4 routée sur Internet, une IPv6 routée sur Internet, pas de connexion à Internet en IPv4<br />
|-<br />
| g2 || Chloé Lemaire & Gabriel Thomas<br />
| IPv4 sur CV : 10.0.69.212, IPv4 sur VLAN50 : 172.26.145.105, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fedb:2ac4, connexion à Internet en IPv4 possible, pas de résolution DNS fonctionnelle<br />
| IPv4 sur CV : 10.0.69.145, IPv4 sur VLAN50 : 172.26.145.104, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fe31:b916, connexion à Internet en IPv4 possible, resolution DNS fonctionnelle<br />
| IPv4 sur Internet : 193.48.57.180, une IPv6 routée sur Internet, connexion à Internet en IPv4 possible<br />
|-<br />
| g3 || Timothé Brenier & Benjamin Nguyen <br />
| MV non contactable sur le VLAN 50 en IPv6<br />
| pas d'IPv4 sur le CV, IPv4 sur VLAN50 : 172.26.145.106, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:feaa:f292, pas de connexion à Internet en IPv4, pas de résolution DNS fonctionnelle<br />
| routeur openWRT non fonctionnel<br />
|-<br />
| g4 || François Naudot & Dann Rodenburg <br />
| MV non contactable sur le VLAN 50 en IPv6<br />
| pas d'IPv4 sur le CV, IPv4 sur VLAN50 : 172.26.145.108, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fec6:168, pas de connexion à Internet en IPv4, pas de résolution DNS fonctionnelle<br />
| routeur openWRT non fonctionnel (si ? non, inversion des <code>vif</code>)<br />
|-<br />
| g5 || Maël Delaby & Paul Amoros<br />
| MV non contactable sur le VLAN 50 en IPv6<br />
| image disque du fichier de configuration non présente sur <code>antifer</code><br />
| routeur openWRT non fonctionnel<br />
|-<br />
| g6 || Haitam Blgrim & Baptiste Black <br />
| MV non contactable sur le VLAN 50 en IPv6<br />
| pas de fichier de configuration<br />
| routeur openWRT non fonctionnel<br />
|-<br />
| g7 || Jason Delannoy & Albin Mouton<br />
| MV non contactable sur le VLAN 50 en IPv6<br />
| machine non contactable en IPv6 sur le bridgeStudents<br />
| pas d'adresse MAC dans le fichier de configuration<br />
|-<br />
| g8 || Elias Simon & Mathis Riffaut<br />
| MV non contactable sur le VLAN 50 en IPv6<br />
| pas d'IPv4 sur le CV, IPv4 sur VLAN50 : 172.26.145.116, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fe01:754c, pas de connexion à Internet en IPv4, pas de résolution DNS fonctionnelle<br />
| routeur openWRT non fonctionnel<br />
|-<br />
| g10 || Estelle Godard & Jeanne Delcourt<br />
| IPv4 sur CV : 10.0.69.165, IPv4 sur VLAN50 : 172.26.145.121, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fe7e:35e1, pas de connexion à Internet en IPv4, pas de résolution DNS fonctionnelle<br />
| IPv4 sur CV : 10.0.69.132, IPv4 sur VLAN50 : 172.26.145.120, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:feb4:5ea3, pas de connexion à Internet en IPv4, pas de résolution DNS fonctionnelle<br />
| IPv4 sur Internet : 193.48.57.191, une IPv6 routée sur Internet, pas de connexion à Internet en IPv4<br />
|-<br />
| g11 || Karl Habre & Amine Sellali<br />
| MV non contactable sur le VLAN 50 en IPv6<br />
| machine non contactable en IPv6 sur le bridgeStudents<br />
| pas d'adresse MAC dans le fichier de configuration, création du routeur impossible<br />
|-<br />
| g12 || Mohammed Halaoui & Rémi Farault<br />
| pas d'IPv4 sur le CV, IPv4 sur VLAN50 : 172.26.145.125, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fe54:5aee, pas de connexion à Internet en IPv4, pas de résolution DNS fonctionnelle<br />
| pas d'IPv4 sur le CV, IPv4 sur VLAN50 : 172.26.145.124, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fe9a:5186, pas de connexion à Internet en IPv4, pas de résolution DNS fonctionnelle<br />
| pas d'IPv4 routée sur Internet, pas d'IPv6 routée sur Internet, pas de connexion à Internet en IPv4<br />
|-<br />
|}<br />
<br />
=== Contrôle au 05/12/2023 ===<br />
<br />
Pour utiliser l'interface Web LuCi des openWRT à partir d'une zabeth :<br />
* vérifiez que vous avez bien une IPv6 routée sur IPv6 (avec <code>ip address show dev eth0</code>, l'adresse commence par <code>2001:660:4401:60b0:</code>) ;<br />
* si vous n'en avez pas, prenez le suffixe (les derniers 8 octets de l'adresse locale, celle qui commence par <code>fe80::</code>) et créez votre adresse IPv6 routée par la commande :<br />
ip address add dev eth0 2001:660:4401:60b0:<suffixe>/64<br />
bien entendu vous n'aurez oublié de rajouter la route IPv6 par défaut vers le routeur de la promotion :<br />
ip -6 route add default via 2001:660:4401:60b0:6a9e:bff:fe46:5a76<br />
* établissez un tunnel <code>ssh</code> avec la commande :<br />
zabethXX# ssh -L 6443:localhost:6443 root@IPv6<br />
* connectez vous sur LuCi avec le navigateur de la zabeth pointant sur <code>https://localhost:6443</code>.<br />
<br />
Attention l'ordre des interfaces <code>vif</code> dans le <code>.cfg</code> a une importance.<br />
<br />
{| class="wikitable"<br />
! Groupe !! Elèves !! MV <code>penfret</code> !! MV <code>antifer</code> !! Routeur OpenWRT<br />
|-<br />
| g1 || Konstantin Patrikeev & Julien Charleux<br />
| IPv4 sur CV : 10.0.69.185, IPv4 sur VLAN50 : 172.126.145.103, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fe00:a98d, pas de connexion à Internet en IPv4, pas de résolution DNS fonctionnelle<br />
| IPv4 sur CV : 10.0.69.218, IPv4 sur VLAN50 : 172.26.145.102, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fe7d:bc44, pas de connexion à Internet en IPv4, pas de résolution DNS fonctionnelle<br />
| pas d'IPv4 routée sur Internet (puis <code>193.48.57.191</code> donc une erreur), pas d'IPv6 routée sur Internet, pas de connexion à Internet en IPv4<br />
|-<br />
| g2 || Chloé Lemaire & Gabriel Thomas<br />
| IPv4 sur CV : 10.0.69.212, IPv4 sur VLAN50 : 172.26.145.105, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fedb:2ac4, connexion à Internet en IPv4 possible, pas de résolution DNS fonctionnelle<br />
| IPv4 sur CV : 10.0.69.145, IPv4 sur VLAN50 : 172.26.145.104, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fe31:b916, connexion à Internet en IPv4 possible, resolution DNS fonctionnelle<br />
| IPv4 sur Internet : 193.48.57.180, IPv6 sur Internet : 2001:660:4401:60b0:216:3eff:fe31:b916, connexion à Internet en IPv4 possible<br />
|-<br />
| g3 || Timothé Brenier & Benjamin Nguyen <br />
| IPv4 sur CV : 10.0.69.130, IPv4 sur VLAN50 : 172.26.145.107, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:feff:4c44, connexion à Internet en IPv4 possible, résolution DNS fonctionnelle<br />
| IPv4 sur CV : 10.0.69.167, IPv4 sur VLAN50 : 172.26.145.106, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:feaa:f292, connexion à Internet en IPv4 possible, pas de résolution DNS fonctionnelle<br />
| IPv4 sur Internet : 193.48.57.184, IPv6 sur Internet : 2001:660:4401:60b0:216:3eff:feaa:f293, connexion à Internet en IPv4 possible<br />
|-<br />
| g4 || François Naudot & Dann Rodenburg <br />
| IPv4 sur CV : 10.0.69.156, IPv4 sur VLAN50 : 172.26.145.109, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fe46:70cd, connexion à Internet en IPv4 possible, pas de résolution DNS fonctionnelle<br />
| IPv4 sur CV : 10.0.69.106, IPv4 sur VLAN50 : 172.26.145.108, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fec6:168, connexion à Internet en IPv4 possible, pas de résolution DNS fonctionnelle<br />
| IPv4 sur Internet : 193.48.57.185, IPv6 sur Internet : 2001:660:4401:60b0:216:3eff:fec6:169, connexion à Internet en IPv4 possible<br />
|-<br />
| g5 || Maël Delaby & Paul Amoros<br />
| IPv4 sur CV : 10.0.69.189, IPv4 sur VLAN50 : 172.26.145.111, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fe14:cdb5, connexion à Internet en IPv4 possible, pas de résolution DNS fonctionnelle<br />
| IPv4 sur CV : 10.0.69.171, IPv4 sur VLAN50 : 172.26.145.110, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fe5b:b2b5, connexion à Internet en IPv4 possible, resolution DNS fonctionnelle<br />
| IPv4 sur Internet : 193.48.57.188, IPv6 sur Internet : 2001:660:4401:60b0:216:3eff:fe5b:b2b6, connexion à Internet en IPv4 possible<br />
|-<br />
| g6 || Haitam Blgrim & Baptiste Black <br />
| IPv4 sur CV : 10.0.69.100, IPv4 sur VLAN50 : 172.26.145.113, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fef9:2bb9, pas de connexion à Internet en IPv4, pas de résolution DNS fonctionnelle<br />
| pas de machine virtuelle<br />
| bloquage du serveur <code>antifer</code> par installation du routeur openWRT sous la racine, machine non contactable en IPv6 sur le SE5<br />
|-<br />
| g7 || Jason Delannoy & Albin Mouton<br />
| CV non configuré, machine non contactable en IPv6 sur le VLAN50<br />
| machine non contactable en IPv6 sur le bridgeStudent<br />
| pas d'adresse MAC dans le <code>.cfg</code><br />
|-<br />
| g8 || Elias Simon & Mathis Riffaut<br />
| CV non configuré, machine non contactable en IPv6 sur le VLAN50<br />
| machine non contactable en IPv6 sur le bridgeStudents<br />
| machine non contactable en IPv6 sur le SE5<br />
|-<br />
| g10 || Estelle Godard & Jeanne Delcourt<br />
| IPv4 sur CV : 10.0.69.165, IPv4 sur VLAN50 : 172.26.145.121, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fe7e:35e1, pas de connexion à Internet en IPv4, pas de résolution DNS fonctionnelle<br />
| IPv4 sur CV : 10.0.69.132, IPv4 sur VLAN50 : 172.26.145.120, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:feb4:5ea3, pas de connexion à Internet en IPv4, pas de résolution DNS fonctionnelle<br />
| IPv4 sur Internet : 193.48.57.191 (erreur !!), IPv6 sur Internet : 2001:660:4401:60b0:216:3eff:feb4:5ea4, pas de connexion à Internet en IPv4<br />
|-<br />
| g11 || Karl Habre & Amine Sellali<br />
| machine non contactable en IPv6 sur le VLAN50<br />
| machine non contactable en IPv6 sur le bridgeStudents<br />
| pas d'adresse MAC dans le <code>.cfg</code><br />
|-<br />
| g12 || Mohammed Halaoui & Rémi Farault<br />
| IPv4 sur CV : 10.0.69.131, IPv4 sur VLAN50 : 172.26.145.125, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fe54:5aee, pas de connexion à Internet en IPv4, pas de résolution DNS fonctionnelle<br />
| pas d'IPv4 sur le CV, IPv4 sur VLAN50 : 172.26.145.124, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fe9a:5186, pas de connexion à Internet en IPv4, pas de résolution DNS fonctionnelle<br />
| IPv4 sur Internet : 193.48.57.181, IPv6 sur Internet : 2001:660:4401:60b0:216:3eff:fe9a:5186, pas de connexion à Internet en IPv4<br />
|-<br />
|}<br />
<br />
Pas de changement sur les routeurs OpenWRT à 17h30.<br />
<br />
Pas de changement sur les MV d'<code>antifer</code> à 18h00.<br />
<br />
Une seule modification sur les MV de <code>penfret</code> à 18h15 : la G7 (<code>g7jdelannoVM</code>) est maintenant contactable (@IPv4 et @IPv6 sur le VLAN50) mais sans rien de plus.<br />
<br />
=== Contrôle au 06/12/2023 ===<br />
<br />
Données brutes pour les routeurs openWRT (pas de relancement) :<br />
<br />
G1 | IPv4 sur Internet : 193.48.57.191, IPv6 sur Internet : 2001:660:4401:60b0:216:3eff:fe7d:bc44, pas de connexion à Internet en IPv4<br />
G2 | IPv4 sur Internet : 193.48.57.180, IPv6 sur Internet : 2001:660:4401:60b0:216:3eff:fe31:b916, connexion à Internet en IPv4 possible<br />
G3 | IPv4 sur Internet : 193.48.57.184, IPv6 sur Internet : 2001:660:4401:60b0:216:3eff:feaa:f293, connexion à Internet en IPv4 possible<br />
G4 | IPv4 sur Internet : 193.48.57.185, IPv6 sur Internet : 2001:660:4401:60b0:216:3eff:fec6:169, connexion à Internet en IPv4 possible<br />
G5 | IPv4 sur Internet : 193.48.57.188, IPv6 sur Internet : 2001:660:4401:60b0:216:3eff:fe5b:b2b6, connexion à Internet en IPv4 possible<br />
G6 | IPv4 sur Internet : 193.48.57.187, IPv6 sur Internet : 2001:660:4401:60b0:216:3eff:fef9:2bba, connexion à Internet en IPv4 possible<br />
G7 | Bad MAC address <br />
G8 | machine non contactable en IPv6 sur le SE5<br />
G9 | Rien<br />
G10 | IPv4 sur Internet : 193.48.57.186, IPv6 sur Internet : 2001:660:4401:60b0:216:3eff:feb4:5ea4, pas de connexion à Internet en IPv4<br />
G11 | machine non contactable en IPv6 sur le SE5<br />
G12 | IPv4 sur Internet : 193.48.57.181, IPv6 sur Internet : 2001:660:4401:60b0:216:3eff:fe9a:5186, pas de connexion à Internet en IPv4<br />
<br />
Données brutes pour les MV sur <code>antifer</code> :<br />
<br />
==== g1kpatrikeevVM<br />
| IPv4 sur CV : 10.0.69.218, IPv4 sur VLAN50 : 172.26.145.102, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fe7d:bc44, pas de connexion à Internet en IPv4, pas de résolution DNS fonctionnelle<br />
==== g2clemair1VM<br />
| IPv4 sur CV : 10.0.69.145, IPv4 sur VLAN50 : 172.26.145.104, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fe31:b916, connexion à Internet en IPv4 possible, resolution DNS fonctionnelle<br />
==== g3tbrenierVM<br />
| IPv4 sur CV : 10.0.69.167, IPv4 sur VLAN50 : 172.26.145.106, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:feaa:f292, connexion à Internet en IPv4 possible, pas de résolution DNS fonctionnelle<br />
==== g4fnaudotVM<br />
| IPv4 sur CV : 10.0.69.106, IPv4 sur VLAN50 : 172.26.145.108, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fec6:168, connexion à Internet en IPv4 possible, pas de résolution DNS fonctionnelle<br />
==== g5mdelabyVM<br />
| IPv4 sur CV : 10.0.69.171, IPv4 sur VLAN50 : 172.26.145.110, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fe5b:b2b5, connexion à Internet en IPv4 possible, resolution DNS fonctionnelle<br />
==== g6bblackVM<br />
| IPv4 sur CV : 10.0.69.113, IPv4 sur VLAN50 : 172.26.145.112, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fe4a:d2be, connexion à Internet en IPv4 possible, resolution DNS fonctionnelle<br />
==== g7amoutonVM<br />
| pas d'IPv4 sur le CV, IPv4 sur VLAN50 : 172.26.145.114, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fe59:7616, pas de connexion à Internet en IPv4, pas de résolution DNS fonctionnelle<br />
==== g8esimonVM<br />
| machine non contactable en IPv6 sur le bridgeStudents<br />
==== g10egodardVM<br />
| IPv4 sur CV : 10.0.69.132, IPv4 sur VLAN50 : 172.26.145.120, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:feb4:5ea3, pas de connexion à Internet en IPv4, pas de résolution DNS fonctionnelle<br />
==== g11asellaliVM<br />
| machine non contactable en IPv6 sur le bridgeStudents<br />
==== g12mhalaouiVM<br />
| pas d'IPv4 sur le CV, IPv4 sur VLAN50 : 172.26.145.124, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fe9a:5186, pas de connexion à Internet en IPv4, pas de résolution DNS fonctionnelle<br />
<br />
Données brutes pour les MV sur <code>penfret</code> :<br />
<br />
==== g1jcharleuxVM<br />
| IPv4 sur CV : 10.0.69.185, IPv4 sur VLAN50 : 172.126.145.103, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fe00:a98d, pas de connexion à Internet en IPv4, pas de résolution DNS fonctionnelle<br />
==== g2gthomasVM<br />
| IPv4 sur CV : 10.0.69.212, IPv4 sur VLAN50 : 172.26.145.105, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fedb:2ac4, connexion à Internet en IPv4 possible, pas de résolution DNS fonctionnelle<br />
==== g3bnguyen1VM<br />
| IPv4 sur CV : 10.0.69.130, IPv4 sur VLAN50 : 172.26.145.107, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:feff:4c44, connexion à Internet en IPv4 possible, résolution DNS fonctionnelle<br />
==== g4drodenbuVM<br />
| IPv4 sur CV : 10.0.69.156, IPv4 sur VLAN50 : 172.26.145.109, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fe46:70cd, connexion à Internet en IPv4 possible, pas de résolution DNS fonctionnelle<br />
==== g5pamorosVM<br />
| IPv4 sur CV : 10.0.69.189, IPv4 sur VLAN50 : 172.26.145.111, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fe14:cdb5, connexion à Internet en IPv4 possible, pas de résolution DNS fonctionnelle<br />
==== g6hblgrimVM<br />
| IPv4 sur CV : 10.0.69.100, IPv4 sur VLAN50 : 172.26.145.113, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fef9:2bb9, connexion à Internet en IPv4 possible, résolution DNS fonctionnelle<br />
==== g7jdelannoVM<br />
| pas d'IPv4 sur le CV, IPv4 sur VLAN50 : 172.26.145.115, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fe0f:aba1, pas de connexion à Internet en IPv4, pas de résolution DNS fonctionnelle<br />
==== g8mriffautVM<br />
| machine non contactable en IPv6 sur le VLAN50<br />
==== g10jdelcourVM<br />
| IPv4 sur CV : 10.0.69.165, IPv4 sur VLAN50 : 172.26.145.121, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fe7e:35e1, pas de connexion à Internet en IPv4, pas de résolution DNS fonctionnelle<br />
==== g11khabreVM<br />
| machine non contactable en IPv6 sur le VLAN50<br />
==== g12rfaraultVM<br />
| IPv4 sur CV : 10.0.69.131, IPv4 sur VLAN50 : 172.26.145.125, IPv6 sur VLAN50 : 2001:660:4401:6050:216:3eff:fe54:5aee, pas de connexion à Internet en IPv4, pas de résolution DNS fonctionnelle<br />
<br />
Trois groupes finissent à 17h : G2, G5 et G7.<br />
<br />
Un groupe à 17h20 : G6.<br />
<br />
Un groupe à 17h40 : G10.<br />
<br />
Le reste :<br />
<br />
G8 -> installation du conteneur synapse<br />
G3 -> erreur à la connexion de la base de données, encodage ASCII<br />
G4 -> création de la base de données<br />
G12 -> problème à l'exécution du conteneur<br />
G11 -> essayent d'installer le conteneur synapse sur la zabeth<br />
G13 -> installation du mandataire inverse (reverse proxy nginx)<br />
G1 -> installation du conteneur synapse, se lance mais en échec<br />
<br />
G13 n'a pas mis à jour le tableau de répartition.</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_ECEAI/eceai_2023/2024/black-blgrim&diff=3625SE5 ECEAI/eceai 2023/2024/black-blgrim2023-12-20T15:54:24Z<p>Bblack : </p>
<hr />
<div>=Compte rendu des séances=<br />
==Séance du 04/12/2023==<br />
===Création de la machine virtuelle===<br />
Création d'une machine virtuelle sur le serveur chassiron :<br />
<br />
<code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code><br />
[[Fichier:IfconfigVM.png|gauche|sans_cadre]]<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
===Raspberry-Pi===<br />
mettre la config de la raspberry<br />
<br />
<br />
'''<big>Capteurs</big>'''<br />
<br />
pas de capteurs lors de la première séance<br />
<br />
== Séance du 18/12/2023 ==<br />
<br />
=== Sur la VM ===<br />
script serveur.py<br />
<br />
=== sur la raspberry ===<br />
script client.py<br />
<br />
lecture sur l'uart des données envoyés par le stm32<br />
<br />
envoie au serveur (tcp)<br />
<br />
<br />
=== sur le capteur ===<br />
pris ene main du capteur, mettre le code,<br />
<br />
== Séance du 19/12/2023 et du 20/12/2023 ==<br />
utilisation de la bibliothèque sciait-learn pour l'apprentissage automatique. Nous avons décidé que le but de notre application serait de traduire le langage des signes.<br />
<br />
Pour cela nous avons entrainé notre modèle avec quelques signes, comme la lettre A, B ou C et des chiffres 1, 2 et 3 pour commencer.<br />
<br />
//mettre screen des résultats entrainement.py et test.py<br />
<br />
Les résultats sont satisfaisants mais avec quelques erreurs, la prochaine étape est donc d'améliorer notre algorithme d'apprentissage (pour l'instant on utilise l'algorithme des k plus proches voisins), pour cela nous allons rajouter par exemple du filtrage et tester d'autres algo d'apprentissage automatique<br />
<br />
Coté serveur:<br />
<br />
Création d'un serveur web, afin de lire les données qui proviennet depuis la raspberrypi et les afficher.<br />
<br />
<br />
'''<big>Mise en Place de l'algorithme d'apprentissage</big>'''<br />
<br />
nous avons tester plusieurs méthode d'apprentissage comme la '''Méthode des k plus proches voisins''' (K-Neighbour) ou encore '''forêt aléatoire''' Random forest.<br />
<br />
'''Random Forest'''</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_ECEAI/eceai_2023/2024/black-blgrim&diff=3539SE5 ECEAI/eceai 2023/2024/black-blgrim2023-12-20T07:28:14Z<p>Bblack : </p>
<hr />
<div>=Compte rendu des séances=<br />
==Séance du 04/12/2023==<br />
===Création de la machine virtuelle===<br />
Création d'une machine virtuelle sur le serveur chassiron :<br />
<br />
<code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code><br />
[[Fichier:IfconfigVM.png|gauche|sans_cadre]]<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
===Raspberry-Pi===<br />
mettre la config de la raspberry<br />
<br />
<br />
'''<big>Capteurs</big>'''<br />
<br />
pas de capteurs lors de la première séance<br />
<br />
== Séance du 18/12/2023 ==<br />
<br />
=== Sur la VM ===<br />
script serveur.py<br />
<br />
=== sur la raspberry ===<br />
script client.py<br />
<br />
lecture sur l'uart des données envoyés par le stm32<br />
<br />
envoie au serveur (tcp)<br />
<br />
<br />
=== sur le capteur ===<br />
pris ene main du capteur, mettre le code,<br />
<br />
== Séance du 19/12/2023 et du 20/12/2023 ==<br />
utilisation de la bibliothèque sciait-learn pour l'apprentissage automatique. Nous avons décidé que le but de notre application serait de traduire le langage des signes.<br />
<br />
Pour cela nous avons entrainé notre modèle avec quelques signes, comme la lettre A, B ou C et des chiffres 1, 2 et 3 pour commencer.<br />
<br />
//mettre screen des résultats entrainement.py et test.py<br />
<br />
Les résultats sont satisfaisants mais avec quelques erreurs, la prochaine étape est donc d'améliorer notre algorithme d'apprentissage (pour l'instant on utilise l'algorithme des k plus proches voisins), pour cela nous allons rajouter par exemple du filtrage et tester d'autres algo d'apprentissage automatique<br />
<br />
<br />
<br />
Coté serveur</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_ECEAI/eceai_2023/2024/black-blgrim&diff=3518SE5 ECEAI/eceai 2023/2024/black-blgrim2023-12-18T18:19:56Z<p>Bblack : </p>
<hr />
<div>=Compte rendu des séances=<br />
==Séance du 04/12/2023==<br />
===Création de la machine virtuelle===<br />
Création d'une machine virtuelle sur le serveur chassiron :<br />
<br />
<code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code><br />
[[Fichier:IfconfigVM.png|gauche|sans_cadre]]<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
===Raspberry-Pi===<br />
mettre la config de la raspberry<br />
<br />
<br />
'''<big>Capteurs</big>'''<br />
<br />
pas de capteurs lors de la première séance<br />
<br />
== Séance du 18/12/2023 ==<br />
<br />
=== Sur la VM ===<br />
script serveur.py<br />
<br />
=== sur la raspberry ===<br />
script client.py<br />
<br />
lecture sur l'uart des données envoyés par le stm32<br />
<br />
envoie au serveur (tcp)<br />
<br />
<br />
=== sur le capteur ===<br />
pris ene main du capteur, mettre le code,</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_ECEAI/eceai_2023/2024/black-blgrim&diff=3517SE5 ECEAI/eceai 2023/2024/black-blgrim2023-12-18T18:13:10Z<p>Bblack : Page créée avec « =Compte rendu des séances= ==Séance du 04/12/2023== ===Création de la machine virtuelle=== Création d'une machine virtuelle sur le serveur chassiron : <code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code> sans_cadre ===Raspberry-Pi=== '''<big>Capteurs</big>''' »</p>
<hr />
<div>=Compte rendu des séances=<br />
==Séance du 04/12/2023==<br />
===Création de la machine virtuelle===<br />
Création d'une machine virtuelle sur le serveur chassiron :<br />
<br />
<code>xen-create-image --hostname= --force --dist=bookworm --size=10G --memory=10G --dir=/usr/local/xen --password=glopglop --dhcp --bridge=bridgeStudents</code><br />
[[Fichier:IfconfigVM.png|gauche|sans_cadre]]<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
===Raspberry-Pi===<br />
<br />
<br />
'''<big>Capteurs</big>'''</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=Fichier:IfconfigVM.png&diff=3516Fichier:IfconfigVM.png2023-12-18T18:12:08Z<p>Bblack : </p>
<hr />
<div>ifconfigVM</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_ECEAI_2023/2024&diff=3515SE5 ECEAI 2023/20242023-12-18T18:02:28Z<p>Bblack : </p>
<hr />
<div>SE5 ECEAI 2023/2024<br />
<br />
Groupe Delannoy - Lemaire : [[SE5 ECEAI/eceai 2023/2024/jcie]]<br />
<br />
Groupe Rodenburg - Thomas → [[Gabidann|SE5 ECEAI/eceai 2023/2024/gabidann]]<br />
<br />
Groupe Halaoui - Farault : [[SE5 ECEAI/eceai 2023/2024/FaraultHalaoui]]<br />
<br />
Groupe Godard - Delcourt : [[SE5 ECEAI/eceai 2023/2024/GodardDelcourt]]<br />
<br />
Groupe Naudot - Riffaut : [[SE5 ECEAI/eceai_2023/2024/NaudotRiffaut]]<br />
<br />
Groupe Amoros - Delaby : [[SE5 ECEAI/eceai 2023/2024/AmorosDelaby]]<br />
<br />
Groupe Charleux - Habre : [[SE5 ECEAI/eceai 2023/2024/CharleuxHabre]]<br />
<br />
Groupe Balbastre - Simon : [[SE5 ECEAI/eceai 2023/2024/BalbastreSimon]]<br />
<br />
Groupe Patrikeev - Mouton : [[SE5 ECEAI/eceai 2023/2024/Patrikeev-Mouton]]<br />
<br />
Groupe Brenier - Nguyen : [[SE5 ECEAI/eceai 2023/2024/Brenier-Nguyen]]<br />
<br />
Groupe Vallée - Sellali : [[SE5 ECEAI/eceai 2023/2024/ValleeSellali]]<br />
<br />
Groupe Black - Blgrim: [[SE5 ECEAI/eceai 2023/2024/black-blgrim]]</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_syst%C3%A8me/r%C3%A9seau_2023/2024&diff=1934SE5 système/réseau 2023/20242023-10-06T14:55:09Z<p>Bblack : /* Répartition des binômes */</p>
<hr />
<div>= PRA SE5 =<br />
<br />
== Menu de la première séance ==<br />
<br />
Pour la première séance du 06/10/2023 il vous est demandé d'effectuer individuellement les opérations listées ci-dessous.<br />
* création d'une machine virtuelle sur le serveur <code>capbreton</code> ;<br />
* création d'un conteneur "à la main" sur votre station de travail <code>zabeth</code> :<br />
** créez un conteneur isolé au maximum (sauf pour les utilisateur) avec la méthode décrite en cours,<br />
** création d'un commutateur virtuel privé sur la <code>zabeth</code> dans le réseau IPv4 <code>192.168.68.0/24</code>, l'adresse <code>192.168.68.1</code> est affectée au commutateur lui-même,<br />
** création d'une interface Ethernet virtuelle, une extrémité doit être envoyée dans le conteneur, l'autre dans le commutateur virtuel privé,<br />
** mise en place d'une mascarade sur la <code>zabeth</code>, vérifiez que le conteneur a accès aux mêmes machines que la <code>zabeth</code>.<br />
<br />
Par binôme vous devez créer une machine virtuelle mandataire connectée sur le commutateur virtuel SE5 et sur le commutateur virtuel privé des machines virtuelles de services concernées (voir deuxième section du sujet).<br />
<br />
Globalement vous devez configurer le routeur principal de la promotion (voir la troisième section du sujet). Pour votre promotion il s'agit du Catalyst 9200 situé en E304. Il faut le connecter en fibre vers le serveur <code>capbreton</code> de la E306 dans le commutateur virtuel SE5 et aussi en fibre vers le local technique SR52 sur un port dans le VLAN 531. Vous pouvez configurer le commutateur via l'utilitaire <code>minicom</code> à partir de la machine <code>zabeth09</code>.<br />
<br />
Répartition des élèves pour la première séance :<br />
{| class="wikitable"<br />
! Station de travail !! Elève<br />
|-<br />
| zabeth02 || Elias SIMON<br />
|-<br />
| zabeth03 || Mathis RIFFAUT<br />
|-<br />
| zabeth04 || Dann RODENBURG<br />
|-<br />
| zabeth05 || Benjamin NGUYEN<br />
|-<br />
| zabeth06 || Halaoui mohammed<br />
|-<br />
| zabeth07 || Blgrim Haitam<br />
|-<br />
| zabeth08 || Florian Vallée<br />
|-<br />
| zabeth09 (routeur) || Julien Charleux<br />
|-<br />
| zabeth10 || Amine SELLALI<br />
|-<br />
| zabeth11 || Paul Amoros<br />
|-<br />
| zabeth12 || Maël Delaby<br />
|-<br />
| zabeth13 || Black Baptiste<br />
|-<br />
| zabeth14 || Timothé Brenier<br />
|-<br />
| zabeth15 || Jeanne Delcourt<br />
|-<br />
| zabeth16 || Estelle Godard<br />
|-<br />
| zabeth17 || Jason DELANNOY<br />
|-<br />
| zabeth18 || Chloé Lemaire<br />
|-<br />
| zabeth19 || Gabriel THOMAS<br />
|-<br />
| zabeth20 || Albin MOUTON<br />
|-<br />
| zabeth21 || Prénom Nom<br />
|-<br />
| zabeth22 || Maxime Balbastre<br />
|-<br />
| zabeth26 || Prénom Nom<br />
|-<br />
| zabeth27 || Prénom Nom<br />
|-<br />
| zabeth28 || Prénom Nom<br />
|-<br />
| zabeth30 || Prénom Nom<br />
|-<br />
|}<br />
<br />
== Répartition des binômes ==<br />
<br />
Concertez-vous pour trouver des noms de machines de services et de machines mandataires dans deux thèmes.<br />
<br />
{| class="wikitable"<br />
! Cahier !! Nom machine services <br />
!IP machine services !! Nom de domaine !! Nom machine mandataire <br />
!IP machine mandataires!! Elève <br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E1 | Cahier n°1]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E2 | Cahier n°2]]<br />
| Elom|| || || || || Elias SIMON<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E3 | Cahier n°3]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E4 | Cahier n°4]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E5 | Cahier n°5]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E6 | Cahier n°6]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E7 | Cahier n°7]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E8 | Cahier n°8]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E9 | Cahier n°9]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E10 | Cahier n°10]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E11 | Cahier n°11]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E12 | Cahier n°12]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E13 | Cahier n°13]]<br />
| Bogden|| || || BlancheNeige|| || Black Baptiste<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E14 | Cahier n°14]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E15 | Cahier n°15]]<br />
| jiruus|| || || cruella|| || Jeanne Delcourt<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E16 | Cahier n°16]]<br />
| exegol|| || || cruella|| || Estelle Godard<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E17 | Cahier n°17]]<br />
| Jakku|| || || Jafar|| || Jason DELANNOY<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E18 | Cahier n°18]]<br />
| naboo|| || || bouh|| || Chloé Lemaire<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E19 | Cahier n°19]]<br />
| geonosis|| || || bouh|| || Gabriel THOMAS<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E20 | Cahier n°20]]<br />
| alderaan|| || || Jafar|| || Albin MOUTON<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E21 | Cahier n°21]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E22 | Cahier n°22]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E23 | Cahier n°23]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E24 | Cahier n°24]]<br />
| || || || || || Prénom Nom<br />
|-<br />
|}<br />
<br />
== Contrôle continu ==</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_syst%C3%A8me/r%C3%A9seau_2023/2024&diff=1933SE5 système/réseau 2023/20242023-10-06T14:54:19Z<p>Bblack : /* Répartition des binômes */</p>
<hr />
<div>= PRA SE5 =<br />
<br />
== Menu de la première séance ==<br />
<br />
Pour la première séance du 06/10/2023 il vous est demandé d'effectuer individuellement les opérations listées ci-dessous.<br />
* création d'une machine virtuelle sur le serveur <code>capbreton</code> ;<br />
* création d'un conteneur "à la main" sur votre station de travail <code>zabeth</code> :<br />
** créez un conteneur isolé au maximum (sauf pour les utilisateur) avec la méthode décrite en cours,<br />
** création d'un commutateur virtuel privé sur la <code>zabeth</code> dans le réseau IPv4 <code>192.168.68.0/24</code>, l'adresse <code>192.168.68.1</code> est affectée au commutateur lui-même,<br />
** création d'une interface Ethernet virtuelle, une extrémité doit être envoyée dans le conteneur, l'autre dans le commutateur virtuel privé,<br />
** mise en place d'une mascarade sur la <code>zabeth</code>, vérifiez que le conteneur a accès aux mêmes machines que la <code>zabeth</code>.<br />
<br />
Par binôme vous devez créer une machine virtuelle mandataire connectée sur le commutateur virtuel SE5 et sur le commutateur virtuel privé des machines virtuelles de services concernées (voir deuxième section du sujet).<br />
<br />
Globalement vous devez configurer le routeur principal de la promotion (voir la troisième section du sujet). Pour votre promotion il s'agit du Catalyst 9200 situé en E304. Il faut le connecter en fibre vers le serveur <code>capbreton</code> de la E306 dans le commutateur virtuel SE5 et aussi en fibre vers le local technique SR52 sur un port dans le VLAN 531. Vous pouvez configurer le commutateur via l'utilitaire <code>minicom</code> à partir de la machine <code>zabeth09</code>.<br />
<br />
Répartition des élèves pour la première séance :<br />
{| class="wikitable"<br />
! Station de travail !! Elève<br />
|-<br />
| zabeth02 || Elias SIMON<br />
|-<br />
| zabeth03 || Mathis RIFFAUT<br />
|-<br />
| zabeth04 || Dann RODENBURG<br />
|-<br />
| zabeth05 || Benjamin NGUYEN<br />
|-<br />
| zabeth06 || Halaoui mohammed<br />
|-<br />
| zabeth07 || Blgrim Haitam<br />
|-<br />
| zabeth08 || Florian Vallée<br />
|-<br />
| zabeth09 (routeur) || Julien Charleux<br />
|-<br />
| zabeth10 || Amine SELLALI<br />
|-<br />
| zabeth11 || Paul Amoros<br />
|-<br />
| zabeth12 || Maël Delaby<br />
|-<br />
| zabeth13 || Black Baptiste<br />
|-<br />
| zabeth14 || Timothé Brenier<br />
|-<br />
| zabeth15 || Jeanne Delcourt<br />
|-<br />
| zabeth16 || Estelle Godard<br />
|-<br />
| zabeth17 || Jason DELANNOY<br />
|-<br />
| zabeth18 || Chloé Lemaire<br />
|-<br />
| zabeth19 || Gabriel THOMAS<br />
|-<br />
| zabeth20 || Albin MOUTON<br />
|-<br />
| zabeth21 || Prénom Nom<br />
|-<br />
| zabeth22 || Maxime Balbastre<br />
|-<br />
| zabeth26 || Prénom Nom<br />
|-<br />
| zabeth27 || Prénom Nom<br />
|-<br />
| zabeth28 || Prénom Nom<br />
|-<br />
| zabeth30 || Prénom Nom<br />
|-<br />
|}<br />
<br />
== Répartition des binômes ==<br />
<br />
Concertez-vous pour trouver des noms de machines de services et de machines mandataires dans deux thèmes.<br />
<br />
{| class="wikitable"<br />
! Cahier !! Nom machine services <br />
!IP machine services !! Nom de domaine !! Nom machine mandataire <br />
!IP machine mandataires!! Elève <br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E1 | Cahier n°1]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E2 | Cahier n°2]]<br />
| Elom|| || || || || Elias SIMON<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E3 | Cahier n°3]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E4 | Cahier n°4]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E5 | Cahier n°5]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E6 | Cahier n°6]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E7 | Cahier n°7]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E8 | Cahier n°8]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E9 | Cahier n°9]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E10 | Cahier n°10]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E11 | Cahier n°11]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E12 | Cahier n°12]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E13 | Cahier n°13]]<br />
| Bogden|| || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E14 | Cahier n°14]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E15 | Cahier n°15]]<br />
| jiruus|| || || cruella|| || Jeanne Delcourt<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E16 | Cahier n°16]]<br />
| exegol|| || || cruella|| || Estelle Godard<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E17 | Cahier n°17]]<br />
| Jakku|| || || Jafar|| || Jason DELANNOY<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E18 | Cahier n°18]]<br />
| naboo|| || || bouh|| || Chloé Lemaire<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E19 | Cahier n°19]]<br />
| geonosis|| || || bouh|| || Gabriel THOMAS<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E20 | Cahier n°20]]<br />
| alderaan|| || || Jafar|| || Albin MOUTON<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E21 | Cahier n°21]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E22 | Cahier n°22]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E23 | Cahier n°23]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E24 | Cahier n°24]]<br />
| || || || || || Prénom Nom<br />
|-<br />
|}<br />
<br />
== Contrôle continu ==</div>Bblackhttps://wiki-se.plil.fr/mediawiki/index.php?title=SE5_syst%C3%A8me/r%C3%A9seau_2023/2024&diff=1919SE5 système/réseau 2023/20242023-10-06T14:13:59Z<p>Bblack : /* Menu de la première séance */</p>
<hr />
<div>= PRA SE5 =<br />
<br />
== Menu de la première séance ==<br />
<br />
Pour la première séance du 06/10/2023 il vous est demandé d'effectuer individuellement les opérations listées ci-dessous.<br />
* création d'une machine virtuelle sur le serveur <code>capbreton</code> ;<br />
* création d'un conteneur "à la main" sur votre station de travail <code>zabeth</code> :<br />
** créez un conteneur isolé au maximum (sauf pour les utilisateur) avec la méthode décrite en cours,<br />
** création d'un commutateur virtuel privé sur la <code>zabeth</code> dans le réseau IPv4 <code>192.168.68.0/24</code>, l'adresse <code>192.168.68.1</code> est affectée au commutateur lui-même,<br />
** création d'une interface Ethernet virtuelle, une extrémité doit être envoyée dans le conteneur, l'autre dans le commutateur virtuel privé,<br />
** mise en place d'une mascarade sur la <code>zabeth</code>, vérifiez que le conteneur a accès aux mêmes machines que la <code>zabeth</code>.<br />
<br />
Par binôme vous devez créer une machine virtuelle mandataire connectée sur le commutateur virtuel SE5 et sur le commutateur virtuel privé des machines virtuelles de services concernées (voir deuxième section du sujet).<br />
<br />
Globalement vous devez configurer le routeur principal de la promotion (voir la troisième section du sujet). Pour votre promotion il s'agit du Catalyst 9200 situé en E304. Il faut le connecter en fibre vers le serveur <code>capbreton</code> de la E306 dans le commutateur virtuel SE5 et aussi en fibre vers le local technique SR52 sur un port dans le VLAN 531. Vous pouvez configurer le commutateur via l'utilitaire <code>minicom</code> à partir de la machine <code>zabeth09</code>.<br />
<br />
Répartition des élèves pour la première séance :<br />
{| class="wikitable"<br />
! Station de travail !! Elève<br />
|-<br />
| zabeth02 || Prénom Nom<br />
|-<br />
| zabeth03 || Mathis RIFFAUT<br />
|-<br />
| zabeth04 || Dann RODENBURG<br />
|-<br />
| zabeth05 || Benjamin NGUYEN<br />
|-<br />
| zabeth06 || Prénom Nom<br />
|-<br />
| zabeth07 || Prénom Nom<br />
|-<br />
| zabeth08 || Prénom Nom<br />
|-<br />
| zabeth09 (routeur) || Julien Charleux<br />
|-<br />
| zabeth10 || Prénom Nom<br />
|-<br />
| zabeth11 || Paul Amoros<br />
|-<br />
| zabeth12 || Maël Delaby<br />
|-<br />
| zabeth13 || Black Baptiste<br />
|-<br />
| zabeth14 || Timothé Brenier<br />
|-<br />
| zabeth15 || Jeanne Delcourt<br />
|-<br />
| zabeth16 || Estelle Godard<br />
|-<br />
| zabeth17 || Jason DELANNOY<br />
|-<br />
| zabeth18 || Chloé Lemaire<br />
|-<br />
| zabeth19 || Gabriel THOMAS<br />
|-<br />
| zabeth20 || Albin MOUTON<br />
|-<br />
| zabeth21 || Prénom Nom<br />
|-<br />
| zabeth22 || Prénom Nom<br />
|-<br />
| zabeth26 || Prénom Nom<br />
|-<br />
| zabeth27 || Prénom Nom<br />
|-<br />
| zabeth28 || Prénom Nom<br />
|-<br />
| zabeth30 || Prénom Nom<br />
|-<br />
|}<br />
<br />
== Répartition des binômes ==<br />
<br />
Concertez-vous pour trouver des noms de machines de services et de machines mandataires dans deux thèmes.<br />
<br />
{| class="wikitable"<br />
! Cahier !! Nom machine services <br />
!IP machine services !! Nom de domaine !! Nom machine mandataire <br />
!IP machine mandataires!! Elève <br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E1 | Cahier n°1]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E2 | Cahier n°2]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E3 | Cahier n°3]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E4 | Cahier n°4]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E5 | Cahier n°5]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E6 | Cahier n°6]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E7 | Cahier n°7]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E8 | Cahier n°8]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E9 | Cahier n°9]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E10 | Cahier n°10]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E11 | Cahier n°11]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E12 | Cahier n°12]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E13 | Cahier n°13]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E14 | Cahier n°14]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E15 | Cahier n°15]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E16 | Cahier n°16]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E17 | Cahier n°17]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E18 | Cahier n°18]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E19 | Cahier n°19]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E20 | Cahier n°20]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E21 | Cahier n°21]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E22 | Cahier n°22]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E23 | Cahier n°23]]<br />
| || || || || || Prénom Nom<br />
|-<br />
| [[Atelier SysRes SE5 2023/2024 E24 | Cahier n°24]]<br />
| || || || || || Prénom Nom<br />
|-<br />
|}<br />
<br />
== Contrôle continu ==</div>Bblack