Trousses à outils - Apprendre en pratiquant

Fabriquer votre propre système domotique open source

laurie — Fri, 20 Nov 2020 14:33:56 +0000

Fabriquer votre propre système domotique open source

Tags

Connectivité/réseaux

IoT

laurie Fri, 11/20/2020 - 15:33

Télécharger le PDF

Fiche système domotique

Body

A l’ère de la domotique, les objets connectés se mettent en place, tant dans votre maison que dans votre entreprise, et touchent chaque domaine du quotidien : du pot de fleur au luminaire, tout peut être connecté. Vous désirez trouver une solution pour remédier au dysfonctionnement de vos locaux? Gérer votre consommation et éviter des dépenses inutiles? Améliorer le confort de vos employés, de vos clients ou de votre famille?

Cette fiche va vous expliquer comment mettre en place un système de pilotage d’un réseau de capteurs et actionneurs (OpenZWave), ou comment votre Raspberry Pi va vous permettre de domotiser vous-même votre maison ou votre entreprise, de façon simple et à moindre coût.

Prérequis

Expérience de base en utilisation de Raspberry PI

Connaissances générales en Linux

Pour quoi faire?

L'appellation Smart Building désigne un bâtiment intelligent, c’est-à-dire connecté. Cette connectivité est réalisée à l’aide de capteurs et d’actionneurs déployés au sein du bâtiment :

Les capteurs réagissent à un phénomène physique de l’environnement (chaleur, lumière, son, mouvement,...),
en parallèle, les actionneurs permettent d’exécuter des commandes (par exemple, pour piloter les équipements électriques auxquels ils sont connectés)

Vous allez donc pouvoir ajuster et réaliser automatiquement des actions telles que le réglage d’un équipement de chauffage à une certaine température, d’un éclairage en fonction de la présence/absence de personne dans la pièce, ...

Un tel système de pilotage vous permettra une meilleure gestion énergétique de votre bâtiment : en effet, la visualisation des données collectées par les différents capteurs provenant des appareils connectés va vous permettre de comprendre où et comment l’énergie de votre bâtiment est (mal) utilisée. Grâce à cela, vous pourrez réduire votre consommation en optimisant les ressources énergétiques, tout en vous permettant un certain confort.

Cette fiche vous propose de déployer et configurer un système de pilotage d’un réseau de capteurs OpenSource (OpenZWave), extrêmement adaptable à vos besoins en capteurs IoT.

Recherche d’une solution appropriée

Solution open source :

L’avantage de travailler avec un modèle open source par rapport à l'utilisation de matériels propriétaires et fermés est que vous pourrez gérer localement vos données sans dépendre d’un service externe. Vous ne risquez pas de perdre vos données avec le système que nous vous proposons, par exemple.

Capteurs-Actionneurs :

Pour faciliter le déploiement de capteurs et d’actionneurs, nous conseillons une solution sans fil. Sachant cela, nous avons établi quelques critères supplémentaires afin de nous permettre de statuer sur le protocole de communication à choisir, ces critères sont :

La consommation : la puissance de communication doit être faible.
La disponibilité : le marché doit offrir de nombreux appareils utilisant ce protocole.
L’interopérabilité : le protocole ne doit pas dépendre d’un fournisseur particulier.

Voici les protocoles smart building de communication sans-fils les plus répandus:

Wifi : ce protocole est trop énergivore et complexe à re-configurer,
Bluetooth 5, 6LowPAN : peu d'appareils disponible sur le marché,
Zigbee : il y a une mauvaise interopérabilité (en cours de debug),
Z-Wave : ce protocole domotique est largement répandu.

Au vu de ces différentes constatations, nous conseillons l’utilisation du protocole domotique Z-Wave.

Matériel requis

Un ordinateur Linux. Dans notre cas, nous utiliserons un micro-ordinateur, Raspberry Pi. Ce micro-ordinateur en plus d'être peu cher, est très répandu parmi la communauté des développeurs open source, des makers et des prototypeurs. Existant en plusieurs versions, nous vous conseillons, pour des raison de prix et de puissance, d’identifier le modèle le plus adapté à votre besoin :

pi 0W (low cost mais peu puissant),
pi 3B+ (modèle intermédiaire),
pi 4B (assez cher mais puissant).

Dans la suite de cette fiche, nous considérons avoir opté pour une carte Raspberry Pi 0W.

Matériel nécessaire pour la configuration du Raspberry Pi (micro-ordinateur) :

1 carte mémoire de type µSD de 8Go minimum pour installer l’OS linux (Raspbian),
Un lecteur de carte micro SD,
Une alimentation pour le Raspberry Pi,
Un ordinateur

Matériel pour les capteurs - actionneurs Z-Wave :

Une antenne Z-Wave (dongle USB) :
- AEOTEC Z-Wave USB dongle : dongle offrant le plus de performance
- ZME_UZB1 : modèle low cost
Prises intelligentes :
- Fibaro Plug : l’avantage est le côté esthétique
- Neo CoolCam Plug : modèle low cost
Capteurs Z-Wave optionnels :
- Fibaro motion sensors : capteur de température, de luminosité, de vibration et de présence
- Neo CoolCam PIR sensor : capteur de présence (possède une faible autonomie)

ETAPE 0 - Quick start (mode développeur)

Cette section va vous permettre de mettre en oeuvre l'outil d'home-automation Z-Wave rapidement.

Pour se faire, aller sur le Github du CETIC : https://github.com/cetic/zwave2mqtt

Il vous permettra de disposer des différents Add-ons qui vous permettront d'agrémenter votre système domotique/immotique.

Dans ces fonctionnalités supplémentaires, vous trouverez comment:

1) Passer votre Raspberry Pi en hotspot wifi (+ bridge sur ethernet),

2) Interagir avec l'outil Z-Wave via des lignes de commandes,

3) Gérer votre réseau Z-Wave via l'outil Node-Red

Une fois déployé, passez directement à l'étape 2 pour maîtriser vos outils.

ETAPE 1 - Configuration logicielle

Cette étape, contrairement à l'étape 0, va vous permettre d'instancier l'outil Z-Wave de façon détaillée.

1.1. Installation de la dernière image du logiciel du Raspberry-Pi

A cette étape, il vous faut “flasher” une image du système d'exploitation Raspberry Pi (Raspbian par exemple) sur la carte micro SD. Vous trouverez les instructions complètes pour faire cela ici (attention, la méthode diffère selon votre système d’exploitation) mais en résumé, vous pouvez :

1. Télécharger le fichier d’image et le décompresser,

2. Installer un logiciel d’écriture d’image ISO sur un volume. Il est conseillé d'utiliser Balena Etcher car c'est un logiciel fonctionnant sur Mac et Windows.

3. Dans Etcher, sélectionnez l’image du point 1 et écrivez-là sur la carte micro SD.

1.2. Configurer votre Raspberry Pi

A ce stade ci, votre Raspberry est prête à l’emploi. Les points suivants décrivent la manière dont vous pouvez commencer à installer les outils qui permettront de gérer votre bâtiment selon que vous utilisez un écran et un clavier, ou non.

1.2.1. Si vous utilisez un écran et un clavier :

1. Branchez votre clavier et votre écran,

2. Alimentez la Raspberry,

3. Sur votre ordinateur, ouvrez un terminal (raccourci clavier : ctrl + alt + t),

4. Connectez-vous à internet en utilisant :

a. soit un câble ethernet

b. soit avec le Wi-Fi.

b1. encodez la commande suivante dans le terminal :

sudo raspi-config

b2.Sélectionnez l'option “Network Options”,

b3. Sélectionnez l'option “Wi-Fi”.

Vous avez maintenant accès à votre Raspberry.

1.2.2. Si vous n’utilisez pas d’écran et de clavier

Pour les personnes n’utilisant pas d’écran et de clavier, il vous faut donc configurer la Raspberry pour une utilisation “headless”. La connexion se fera sur un terminal de lignes de commandes via SSH. Pour activer la fonctionnalité SSH, vous devez la configurer. Pour cela, nous vous conseillons de suivre le tutoriel officiel : https://raspberry-pi.fr/raspberry-pi-sans-ecran-sans-clavier/

1. Ensuite, connectez-vous en SSH :

a) Si vous utiliser un environnement UNIX, vous pouvez utiliser la commande suivante dans une console :

ssh pi@YOUR_PI_ADDR

b) Si vous voulez vous connecter à l‘aide d’un ordinateur Windows, vous aurez besoin d’utiliser un outils comme Putty.

2. Une fois connecté à la Raspberry pi, encodez le nom utilisateur par défaut qui est "pi",

3. Encodez le mot de passe par défaut qui est "raspberry",

Vous avez maintenant accès à votre Raspberry.

1.3. Installation des logiciels nécessaires à la gestion des capteurs

Nous avons besoin d'installer le logiciel Zwave2Mqtt, une passerelle IoT OpenSource pour vos objets Z-WAVE. Pour cela, vous pouvez utiliser Docker. Ce tutoriel donne des informations de contexte et d'installation de l'outil Docker sur Raspberry-Pi.

Branchez votre Dongle sur le Raspberry et installez la dernière version Docker et Docker-Compose avec les commandes shell suivantes :

echo ">>>Install dependancies"
sudo apt-get install apt-transport-https
echo ">>>Create /etc/apt/sources.list.d/docker.list"
sudo sh -c 'echo "deb [arch=armhf] https://download.docker.com/linux/raspbian $(lsb_release -c -s) stable" > /etc/apt/sources.list.d/docker.list'
echo ">>>Get the apt key :"
wget -O - https://download.docker.com/linux/raspbian/gpg | sudo apt-key add -
sleep 3
echo ">>>Install Docker & Docker-ycompose:"
sudo apt-get update
sudo apt-get install docker-ce=18.06.1~ce~3-0~raspbian
sudo apt-get install docker-compose -y
echo ">>>Optionnal : allow some users to use Dls /e   ocker (for example, user pea) :"
sudo usermod -G docker pi

Configurez l’application Z-Wave Control Panel qui permettra de gérer votre réseau Z-Wave en entrant les commandes suivantes :

$ nano docker-compose.yml
version: "2"
services:
  zwave2mqtt:
    container_name: zwave2mqtt

    image: robertslando/zwave2mqtt:latest
    restart: always
    tty: true
    stop_signal: SIGINT
    networks:
      - zwave
    devices:
      - "/dev/ttyACM0:/dev/ttyACM0"
    volumes:
      - ./conf/zwave/store:/usr/src/app/store
    ports:
      - "8091:8091"
  mosquitto:
    container_name: mosquitto
    image: eclipse-mosquitto
    restart: always
    ports:
      - "1883:1883"
networks:
  zwave:

Lancez le Z-Wave Control Panel avec la commande suivante :
```
$ docker-compose up -d
```
Vous pouvez vérifier que le Z-Wave Control Panel est bien installé en entrant http://raspberrypi.local:8091 dans votre navigateur web (voir illustration ci-dessous).

Interface du Z-Wave Control Panel

Etape 2 - configuration de l’application Z-Wave Control Panel

Cliquez sur le deuxième icône (“Settings”) qui se trouve dans le menu de gauche de l’interface (voir l’illustration ci-dessous). L'interface comme illustrée ci-dessous s'affiche.

Interface de l'onglet "Settings" du Z-Wave Control Panel

Configurez comme suit:

ZWave Panel :
- Serial Port : /dev/ttyACM0
- Network Key : 0x01,0x01,0x01,0x01,0x01,0x01,0x01,0x01,0x01,0x01,0x01,0x01,0x01,0x01,0x01,0x01
- Poll interveal : 2000
MQTT Panell :
- Name : my-zwave
- Host URL : 172.17.0.1
- port : 1883
- Reconnect period : 3000
- prefix : zwave
- QoS : 1
Gateway Panel :
- Type : Named topics
- Payload type : Entire Z-Wave value Object

Etape 3 - Installation des Sensors & Plugs

Le but de cette opération est de réaliser la connexion des périphériques Z-Wave au Raspberry Pi 0W via le Z-Wave Control Panel.

Pour inclure une prise dans votre réseau Z-Wave :

1. Sélectionnez la première icône dans le menu de gauche de l’interface (voir l'illustration 4 ci-dessous) pour afficher l’interface du Control Panel,

2. Cliquez sur le champ “Actions”, sélectionnez “Add Node”,

3. Cliquez sur l’icône “Envoyer”,

4. Réalisez un triple clique sur la prise intelligente.

Ajouter un noeud à votre réseau

Etape 4 - Vérification des données

La première solution est de vérifier vos données sur l’interface graphique :

1.Cliquez sur le noeud que vous venez d’inclure (voir étape 3),

2. Dans le Panel en dessous (voir l'illustration 5) , cliquez sure “Node”,

3. Puis cliquez sur “User”, les informations s’affichent.

Interface de vérification des données

Note : vous pouvez également configurer vos équipements. Par exemple :

Vous pouvez modifier le nom (ex : Name: “my first wall plug”).
Cliquez sur l’icône “Envoyer” pour que les modifications soient prises en compte.

La deuxième solution consiste à s’abonner aux messages. Pour ce faire, vous devez installer un “subscriber” pour vous abonner aux messages du collecteur de données (Z-Wave Control Panel). Pour cela, vous devez :

1. Installer le “client” avec la commande :

sudo apt isntall mosquitto-clients

2. Exécuter le “subscriber” :

mosquitto_sub -t ‘#’ -v

3. Option du subscriber :

mosquitto_sub --help

-t : pour fixer les “topic”. Dans notre cas, # = tous les topics
-v : verbose, pour avoir un maximum d’information.
-h : Si besoin pour fixer l’adresse IP ou l’URL (par défaut : localhost)
-p : Si besoin, pour fixer le port (par défaut : 1883)

Bonus : pour contrôler l'état d'un module type “prise de courant”, vous pouvez entrer la commande shell suivante :

mosquitto_pub -t 'zwave/$LOCATION$/$NODE-NAME$/switch_binary/switch/set' -m '0'

Votre système domotique est maintenant installé, configuré et prêt à être utilisé!

Airberry : fabriquer votre moniteur de qualité d’air

laurie — Thu, 19 Nov 2020 13:30:12 +0000

Airberry : fabriquer votre moniteur de qualité d’air

Tags

Connectivité/réseaux

IoT

laurie Thu, 11/19/2020 - 14:30

Télécharger le PDF

Fiche Airberry

Body

Mesurer la qualité de l'air

Vous doutez de la qualité de l’air dans votre entreprise, vos bureaux ou même à votre domicile ? Vous désirez mesurer la teneur en particules fines de votre environnement??

Airberry est fait pour vous !

Nous savons tous qu'une mauvaise qualité de l'air influence directement la santé : l'exposition à la pollution de l'air, à court ou à long terme, augmente fortement le risque de développer des maladies respiratoires aiguës, chroniques et cardio-vasculaires. Mais pas de panique, cette fiche vous permet de construire vous-même l'Airberry, une solution efficace et peu coûteuse qui vous permettra de monitorer la qualité de l'air intérieur de vos bureaux, vos entrepôts, vos lieux de productions,...

Prérequis

Connaissances basiques en soudure

Expérience de base en utilisation de Raspberry PI

Pour quoi faire?

Cette fiche présente la mise en oeuvre du projet Airberry, c’est-à-dire l’installation d’un moniteur de qualité d’air basé sur les variables suivantes ;

la température,
l’humidité,
les particules fines : il s’agit des PM10 - PM pour Particulate Matter - et des PM25, soit les particules fines ayant un diamètre inférieur à 10 micromètres (PM10) et à 2.5 micromètres (PM25).
la variation de la concentration de gaz spécifiques. Les gaz spécifiques mesurés peuvent être l'ammoniac (NH3, rejeté par exemple lors de la production d’engrais azotés), le CO2, le CO, l’éthanol, etc.

Matériel requis

L'Airberry est un ensemble de senseurs pilotés par une Raspberry Pi qui envoie ses données vers un serveur centralisé. Afin de construire le détecteur, il vous faut le matériel suivant :

Une Raspberry Pi Zero W (notre choix s'est porté sur ce modèle pour une question de coût, mais vous pouvez réaliser ce tutoriel avec une Raspberry Pi 3 par exemple),
Un senseur de la famille MQ-X pour mesurer la concentration en gaz. Cette famille regroupe les capteurs physicochimiques pouvant détecter une grande variété de gaz, polluants et fumées dans l’atmosphère. Nous avons choisi un senseur MQ-135 car celui-ci est sensible à l'ammoniac (NH3), au CO2, à l’alcool, au Benzène et à l’oxyde d’azote (NOx). Bref, il détecte les principaux polluants dans l'atmosphère de votre maison.
Un senseur de particules fines SDS011 pour mesurer la concentration en particules fines, typiquement mesurée en μg/m3. Cette mesure sera déterminée par diffusion laser. Pour plus de détails sur les mesures des particules fines, voir par exemple : https://www.fierceelectronics.com/components/particulate-matter-sensing-for-air-quality-measurements.

Une mesure précise de la concentration des gaz en ppm (partie par million) peut être obtenue à l’aide de senseurs de la famille MQ-X, mais nécessite une calibration avec un gaz de concentration précisément connue, ce qui est difficile à réaliser en dehors d’un laboratoire. Cependant, la courbe de réponses de ces capteurs est telle qu’ils sont parfaitement indiqués pour surveiller la variation relative de ces gaz.

Illustration du matériel nécessaire

un thermomètre et hygromètre DHT 22,
un pin header 2 rangs 40 broches,
un convertisseur analogique digital MCP3008,
une résistances de 330 et 680 Ohms,
un PCB Airberry Rev 2.0. Vous pouvez télécharger les fichiers Gerber ici, ils sont à compléter avec des headers femelles et des câbles sertis ou par des soudures directes. Néanmoins, le PCB peut être remplacé par des soudures directes selon le câblage décrit ci-après.

Afin d’utiliser et d’installer le logiciel sur la Raspberry, il vous faudra également :

une carte micro SD d'au moins 8 Gb,
un adaptateur secteur micro USB (type chargeur de téléphone),
un lecteur de carte micro SD,
un ordinateur,
un fer à souder.

ETAPE 1 - Montage du détecteur

La notice ci-après propose un montage sur une carte imprimée. Il n'est cependant pas indispensable d'utiliser une telle carte car l'important est de connecter les différentes pins entre elles, tel qu'indiqué sur le schéma plus bas.

Les détecteurs utilisés dans ce projet exploitent plusieurs types de communication :

- Le détecteur de particules fines communique avec la Raspberry par UART, grâce à deux connections : une pour la transmission (Tx) et l'autre pour la réception (Rx). Le détecteur et la Raspberry échangent des bits, une suite de 0 et 1 afin de, par exemple, ordonner l'acquisition d'une mesure ou d'en transmettre le résultat.

- Les senseurs "MQ-X" sont essentiellement des résistances variables, dont la valeur dépend de la concentration en gaz dans l'environnement proche du senseur. Cette résistance variable est montée comme un pont diviseur de tension. La tension est donc divisée différemment selon la teneur en gaz. Mesurer cette tension divisée revient donc à mesurer la teneur en gaz. Cependant, cette mesure est une mesure analogique : il ne s'agit pas d'acquérir une série structurée de bits, mais de mesurer une valeur continue. Malheureusement, les Raspberry n'ont pas de convertisseur Analogique/Digital (DAC) intégré. Le senseur MQ-X est donc raccordé à un DAC, qui a pour rôle de convertir la mesure continue en une valeur sur une échelle donnée. Dans notre projet, nous utiliserons un DAC 10 bits, c'est à dire que la valeur continue sera rapportée sur une échelle de 1024 (2 exposant 10) mesures possibles.

- Le DAC est quant à lui raccordé à la Raspberry par le port SPI. Il s'agit d'un protocole de communication digital permettant d'utiliser les même ports pour relier plusieurs détecteurs. Ce protocole exploite 3+1 pins : MISO (Master In Slave Out), MOSI (Master Out Slave In), Clk (clock) et Cs (channel selector). MISO et MOSI sont les équivalents de Rx, Tx dans le cas UART, tandis que Clk permet une synchronisation précise de la communication et Cs permet de sélectionner le senseur qui communiquera (c'est un interrupteur).

- Les senseurs DHT, pour la température, utilisent un protocole de communication propre qui exploite une seule pin pour la communication.

1.1. Pinout

Les entrées / sorties des éléments de la liste d'achats sont représentés sur les illustrations suivantes :

Le thermomètre et hygromètre DHT 22 :

Le convertisseur analogique digital MCP3008 :

La Raspberry Pi Zero W (il a le même pinout que RPi3) :

Le senseur MQ-X :

Le capteur de particules fines SDS011 :

1.2. Raccordements

Le câblage à effectuer est détaillé sur le schéma ci-dessous, celui-ci représente les connections à effectuer. Les étiquettes portant le même nom doivent être physiquement connectées. Il s’agit en réalité du schéma de connexion de la carte du circuit imprimé décrit en début de fiche.

Le schéma de câblage est bien entendu le même sur carte ou par raccordements directs. Par exemple, la sortie de la résistance R2 est connectée au canal 0 du MCP 3008, puisque ils sont tout deux reliés à l’étiquette "ch0".

Les blocs “JST” représentent des connecteurs vers les senseurs ou la Raspberry. Vous pouvez directement les souder à la Raspberry.

Sur l'illustration ci-dessous, les connexions vers la Raspberry se font au niveau des trois composants représentés sur le coté gauche :

On peut voir que :

Gnd se connecte à Ground sur la Raspberry (pin 6)

VCC se connecte à 5V sur la Raspberry (pin 2 ou 4)

V33 se connecte à 3V3 sur la Raspberry (pin 1)

rx se connecte à Tx sur la Raspberry (pin 8)

tx se connecte à Rx sur la Raspberry (pin 10)

dht se connecte à GPIO 18 sur la Raspberry (pin 12)

clk se connecte à SPI CLK sur la Raspberry (pin 23)

dout se connecte à MISO sur la Raspberry (pin 21)

din se connecte à MOSI sur la Raspberry (pin 19)

cs se connecte à GPIO22 sur la Raspberry (pin 15)

Une fois ces raccordements effectués, votre détecteur se trouve prêt à être configuré.

Illustration du montage final

Illustration du PCB

ETAPE 2 - Configuration et installation du logiciel

Cette partie décrit comment installer la Raspberry Pi Zero W et comment la connecter à internet.

2.1. Matériel utilisé

Les composants nécessaires au fonctionnement de la Raspberry sont :

Une Raspberry Pi Zero W
Une alimentation pour la Raspberry Pi
Une carte micro SD d’au moins 8Go
Un lecteur de carte micro SD
Un ordinateur

2.2. Installation initiale de la Raspberry

Pour le bon déroulement du projet Airberry, il est nécessaire de disposer d’une Raspberry fonctionnelle. A cette fin, il faut “flasher” une image du système d'exploitation Raspberry Pi (RaspBian par exemple) sur la carte micro SD. Vous trouverez les instructions complètes pour faire cela ici mais en résumé, vous pouvez :

1. Sur votre ordinateur, télécharger le fichier d’image et le décompresser,

2. Installer un logiciel d’écriture d’image ISO sur un volume. Il est conseillé d'utiliser Balena Etcher car c'est un logiciel fonctionnant sur Mac et Windows.

3. Dans Etcher, sélectionnez l’image du point 1 et écrivez-là sur la carte micro SD.

4. Configuration initiale de la Raspberry : si vous avez un écran et un clavier à connecter, reportez-vous au point 1 ci-dessous, sinon le point 2 décrit une configuration "headless", c’est à dire sans écran ni clavier sur la Raspberry.

a) Pour une installation avec écran et clavier : mettez la Raspberry sous tension, puis suivez ce lien afin de configurer une connexion WiFi. A la suite de cela, vous pouvez passer directement à la section 2.4 "installation du logiciel de mesure".

b) Pour une installation "headless", la connexion se fera sur un terminal de ligne de commandes via SSH. Pour activer la fonctionnalité SSH et connecter la Raspberry au Wifi local afin de pouvoir effectuer l’installation de l’Airberry, il faut ajouter quelques informations sur la carte SD configurée au point précédent. pour cela :

1. Débranchez et rebranchez la carte micro SD.

2. Parcourez le volume "boot".

3. Créez un fichier nommé "SSH" (pas d’extension ni de contenu) dans le volume "boot".

4. Créez un fichier "wpa_supplicant.conf" avec le contenu suivant :

ctrl_interface=DIR=/var/run/wpa_supplicant GROUP=netdev

update_config=1

country="be"

network={

 ssid="<Name of your WiFi>"

 psk="<Password for your WiFi>"

}

N'oubliez pas d'indiquer votre nom de réseau et mot de passe WiFi dans les variables "ssid" et "psk". Vous trouverez davantage de détails sur cette procédure ici.

2.3. Connexion de la Raspberry au WiFi

A ce stade ci, votre Raspberry devrait être reliée à votre réseau WIFI. Il faut à présent se connecter dessus, pour cela :

1. Ouvrez un terminal

2. Encodez :

ssh pi@raspberrypi.local

3. Encodez le mot de passe qui est "raspberry".

2.4. Installation du logiciel de mesure

Réalisé par un membre du CETIC, un logiciel de mesure est disponible sur Github.

1. Clonez le dépôt dans le répertoire de votre choix sur votre ordinateur :

git clone https://github.com/terence-bigtt/airBerry.git

2. Copiez le contenu du répertoire backend / scripts vers le raspberry (utilisateurs windows) :

scp backend/scripts pi@raspberrypi.local:~

3. Connectez-vous au terminal de la Raspberry en ssh:


ssh pi@raspberrypi.local

4. Entrez la commande ci-dessous :

sudo bash install.sh

Ce script va effectuer les opérations suivantes :

1. Désactiver le bluetooth (qui occupe l’interface UART matérielle).

2. Activer le support UART (pour la communication avec le SDS011).

3. Activer le Support SPI (pour la communication avec le MCP3008).

4. Installer le serveur de configuration et de mesures.

5. Installer la vue de configuration.

6. Installer un point d'accès Wifi (RaspAP, voir section 2.5).

7. Servir la vue de configuration via le serveur minihttp installé par RaspAP.

Le serveur de mesure effectue une mesure sur tous les capteurs connectés à intervalle régulier (par défaut, toutes les 15 minutes). Après cette mesure, il envoie ces données au serveur central, grâce à un token (voir l'étape 4 de cette fiche) et à l’adresse de ce serveur. Si il ne parvient pas à réaliser cette étape, le serveur de mesure stocke localement la donnée datée. Dès qu’une connexion avec le serveur est établie, le Airberry envoie les données qu’il a stockée localement afin d’éviter de perdre des mesures. En parallèle, il stocke en interne un certain nombre de mesures passées (100 par défaut), lesquelles peuvent être visualisées dans l’onglet “Dashboard” de l’interface, disponible à l'adresse http://raspberrypi.local/air ou http://<adresse ip du Airberry>/air (disponible que le même wifi que le Airberry).

Une fois les mesures effectuées, le serveur re-planifie une nouvelle mesure après le délai configuré.

2.5. Configuration d’un Access Point

L'installation et l'utilisation du Airberry peut avoir lieu dans des endroits à priori différents. Par conséquent, il est utile de pouvoir configurer l'accès internet de manière simple. A cette fin, nous utiliserons le logiciel RaspAp, qui a été installé automatiquement lors de l'étape précédente.

Afin de configurer la connectivité, veuillez suivre les étapes suivantes :

1. Redémarrez la Raspberry en la débranchant et rebranchant. Après un petit moment, le réseau “raspi-webgui” doit devenir disponible.

2. Connectez-vous à ce réseau avec le mot de passe “ChangeMe”, et dans un navigateur, demandez l’adresse 10.3.141.1. Cette adresse sert une interface accessible avec les user/mots de passe suivants :

Username : admin
Password : secret

3. Dans l’onglet “Configure HotSpot / avancé”, activez l’option “Wifi client AP mode”.

4. Redémarrez (System / Reboot). Attention, après cette opération, l’adresse de la Raspberry sur le hotspot (réseau raspi-webgui) change et devient 192.168.50.1.

5. Si tout s’est bien passé, la Raspberry devrait être connectée à internet.

ETAPE 3 - Configuration d’un serveur de récolte de données (optionnel)

Le CETIC met à disposition l’accès à un serveur de récolte de données pour le projet AirBerry. Contactez-le si vous souhaitez obtenir une clé d’identification pour votre appareil de mesure.

Si vous souhaitez configurer votre propre serveur, vous trouverez la documentation concernant les étapes à suivre sur le site ThingsBoard (nous avons également une fiche expliquant comment installer et prendre en main cette plateforme).

ETAPE 4 - Configuration finale

1. Connectez-vous à l'interface de configuration du Airberry : http://raspberrypi.local/air ou http://<adresse ip du Airberry>/air,

2. Cliquez sur l'onglet "Admin", qui vous permettra de configurer :

- l’intervalle de temps entre les mesure,

- l’adresse du serveur central : entrez l'adresse de récolte de données de votre serveur ThingsBoard, celui du CETIC est https://air.ext.cetic.be/api/v1/{}/telemetry,

- le token d’identification pour le serveur central : entrez le token device généré par ThingsBoard ou celui fournit par le CETIC,

- le nombre de dernières mesures à conserver.

ETAPE 5 - Fonctionnement local et customisation

L’Airberry conserve une partie de ses mesures localement et permet de les afficher sur un graphique. Il est tout à fait envisageable de modifier le logiciel de configuration et de pilotage de l’ Airberry pour conserver systématiquement toutes les mesures, et de n’utiliser le moniteur que dans un mode local. De même, il est envisageable de publier les données vers un autre système que ThingsBoard (Grafana, par exemple), moyennant quelques modifications mineures. Le code est opensource et disponible sur le dépôt Github.

La gestion des réseaux de capteurs

laurie — Wed, 18 Nov 2020 15:07:34 +0000

La gestion des réseaux de capteurs

Tags

Connectivité/réseaux

IoT

laurie Wed, 11/18/2020 - 16:07

Télécharger le PDF

Fiche La gestion des réseaux de capteurs

Body

Découvrez les plateformes IoT

Vous ne déployez pas encore d’objets connectés? Aujourd’hui l’IoT est la réponse qu’il vous faut afin de plonger dans l’ère du numérique, d’améliorer la qualité de vos services et de proposer de nouvelles stratégies et approches!

Cette fiche traite principalement des besoins de gestion des réseaux de capteurs : dans un premier temps, nous allons introduire les concepts d’Iot et d’IIoT, deux notions importantes à l’heure actuelle, surtout pour le monde industriel, pour ensuite aborder les besoins et les problématique liés à ces concepts.

Suite à cela, nous nous focaliserons sur les différents types de plateforme IoT et nous décrirons les critères de sélection à prendre en compte lors du choix d’une plateforme. Ces critères nous permettront de choisir la plateforme IoT qui nous semble la plus pertinente.

Pourquoi utiliser une plateforme IoT?

1. Introduction à l’Internet des Objets (IoT)

Depuis quelques années, l’Internet des Objets (IoT) est l’un des piliers, avec l’intelligence artificielle, la réalité augmentée et bien d’autres technologies disruptives, qui accompagne l’évolution des industries dans leur 4ème phase d’évolution (autrement dit, l’Industrie 4.0).

Du capteur de la station météo au smartphone, l’Internet des Objets est de plus en plus présent dans notre quotidien. Son essor est lié à notre besoin de numériser notre environnement afin de l'analyser, le comprendre, le prédire et si possible, l’optimiser.

Un réseau de capteurs IoT représente un ensemble d’objets connectés capable de numériser leur environnement puis de transmettre cette information sur internet. Une plateforme IoT représente quant à elle un ensemble de services : elle permet de collecter, stocker, corréler, analyser et exploiter les données générées par les capteurs. D’une certaine façon, elle rend des données inexploitées, exploitables et permet, à partir du traitement de celles-ci, de créer de la valeur en générant et en mettant à disposition de nouvelles informations.

Cette technologie est mise en oeuvre dans de nombreux secteurs d’activités comme l’industrie avec le monitoring environnemental (voir notre fiche sur l’Airberry), la santé avec les capteurs cardiaques connectés ou encore dans nos maisons avec les prises intelligentes (voir la fiche Fabriquer votre propre système domotique open source), la sécurité,...

2. L’IoT et le monde industriel

L’IIoT (Industrial Internet of Things) est une sous-catégorie de l’IoT : il s’agit de l’IoT appliqué au secteur industriel. Alors que l’IoT vise à répondre aux besoins d’un large public, l’IIoT se focalise sur les besoins des professionnels et des entreprises. Ces derniers doivent pouvoir disposer d’indicateurs concrets et de données permettant d’analyser et de comprendre les comportements des systèmes industriels. Les capteurs et détecteurs ne sont pas seulement interconnectés, ils sont également connectés aux autres équipements de l’entreprise afin de générer un maximum d’informations tout au long de la chaîne de production. Tous les maillons de la chaîne industrielle de valeur (les machines, les produits, les collaborateurs, les fournisseurs, les infrastructures,...) peuvent désormais communiquer entre eux, ce qui rend l’usine plus intelligente.

3. Quelques usages et avantages de l’IIoT

De façon générale, cette technologie permet de fluidifier et de simplifier la gestion des données, ainsi que de remonter facilement les données stratégiques pour l’entreprise, étant donné que le flux d’information est en temps réel.

3.1. Gestion du processus de production, des ressources et des stocks

L’IIoT améliore nettement la gestion des opérations industrielles à chaque étape du processus de production : il y a une surveillance et un suivi beaucoup plus performant, le contrôle qualité est automatisé, les ressources et les stocks sont gérés de manière plus responsable et anticipée, la production est adaptable en temps réel, les ajustements des équipements techniques du bâtiment (éclairage, chauffage, climatisation,...) répondent aux besoins réels de l’entreprise,... Celle-ci peut désormais contrôler plus précisément ses coûts de financements et diminuer les gaspillages.

3.2. Amélioration de la maintenance

Un autre avantage est que l’analyse constante des données liées au fonctionnement des différentes machines et systèmes rend la planification et l’exécution des interventions plus efficaces, notamment grâce à la mise en place d’un système de maintenance prédictive ou à l’automatisation d’alertes.

3.3. Plus de réactivité, plus de sécurité

L’IIoT représente également un atout en ce qui concerne la sécurité des bâtiments, ainsi que du personnel, car celles-ci se trouvent renforcées par les systèmes de surveillances qui augmentent la vitesse de réactivité face à une menace potentielle, qui préviennent des risques d’accidents, qui évaluent l’usage ou la mauvaise utilisation du système de sécurité, qui détectent des chutes, qui envoient des messages à des centres de secours, qui peuvent accorder l’accès ou non aux zones de l’entreprises (via des contrôles d’accès biométriques par exemple), … Cela contribue à renforcer le bien-être des employés et à éviter les interruptions de production.

4. L’IoT et l’IIot, des solutions pour l’avenir

Comme ont peut le constater, l’IIoT vient bouleverser les prises de décisions, le fonctionnement et l’organisation d’une entreprise en simplifiant ses processus et en y ajoutant de l’intelligence. Cette technologie représente une nouvelle source de revenus et crée des avantages concurrentiels indéniables. Elle n’apporte pas seulement des gains financiers en améliorant le bénéfice net et le retour sur investissement de l’entreprise, il y a également des gains de temps, de qualité de travail, de confort et sécurité des employés, de flexibilité, de productivité et de traçabilité importants qui favorisent la transition numérique de l’entreprise vers l’Industrie 4.0.

Bien que le monde de l’Internet des Objets soit toujours en pleine expansion et que de nombreuses technologies émergent encore sur le marché, il existe de nombreuses problématiques liées à cette thématique, notamment concernant le rapatriement des informations collectées sur le terrain. En effet, il existe des contraintes comme la couverture réseau ou encore l’autonomie énergétique de ces objets déployés. Il est donc nécessaire de gérer ces différentes solutions IoT existantes à l’aide de l’outil de management de réseaux de capteurs, les plateformes IoT.

5. Les problématiques de L’IoT

L’enjeu des plateformes IoT réside dans leurs capacités à gérer un parc de capteurs connectés. La gestion est divisible en plusieurs catégories :

La gestion des connecteurs : API pour collecter les données
La gestion des flux : le filtrage des données collectées et l’extraction des informations
La gestion du stockage : la sauvegarde des informations
La gestion des utilisateurs : le droit d’accès des utilisateurs
La gestion des capteurs : le cycle de vie des capteurs
La gestion des actions & alertes : la prise de décision automatisée

Pour répondre à ces besoins, nous allons fixer les critères de sélection d’une plateforme IoT dans la deuxième partie de cette fiche.

Comment choisir sa plateforme IoT ?

1. Définition de la plateforme IoT

La plateforme IoT est un ensemble de services qui a pour objectifs de gérer :

la collecte des données des objets connectés,
le cycle de vie de capteurs,
le partage des informations (à des utilisateurs et/ou à des applications).

2. Les types de plateformes : open source vs propriétaires

Il existe deux types de plateformes IoT : les plateformes open source et les plateformes propriétaires.

Les plateformes open-source : le logiciel est distribué librement et le code-source est ouvert à tous. Vous devez développer l’ensemble des services et vous occuper de la maintenance de la plateforme vous-même, il vous faut donc assez bien de connaissances et de ressources pour faire cela. Cela peut prendre un certain temps , mais heureusement, vous pouvez compter sur la communauté pour vous aider.
Les plateformes propriétaires : généralement, vous souscrivez aux services et vous partagez la responsabilité avec le prestataire qui fournit et maintient les environnements.

Pour aller plus en détails, voici les avantages et inconvénients de 4 modèles de plateformes IoT existants :

Les solutions PaaS (Plateforme as a Service) : ces plateformes sont des services proposés par des acteurs du Cloud (Azur IoT, IBM Watson IoT ou encore AWS IoT) ou par des opérateurs téléphoniques comme Orange Live Objects ou encore EnCo de Proximus).
Les solutions SaaS (Software as a Service) : ces logiciels sont des services proposés par des entreprises visant à offrir une solution clé en main pour les utilisateurs, comme par exemples : AllThingsTalks, ThingsPlay, Opinum DataHub, WeSmart.
Les solutions open source : ces solution communautaires sont des services de gestion IoT génériques et adaptables aux besoins, comme ThingsBoard CE ou MainFlux.
Les solutions sur mesure : cette approche vise les besoins spécifiques. Il n’existe donc pas de solution plateforme IoT en soi mais il s’agit d’outils, tel que FADI, qui vous permettront de mettre oeuvre et de maintenir plus aisément votre propre plateforme IoT.

Les avantages et inconvénients de ces approches sont :

3. Les critères de sélection

Pour comparer des services de plateformes IoT, nous avons basés nos études comparatives sur les critères suivants :

Device management : il s’agit de la déclaration et gestion du parc d’objets connectés, de la gestion des configurations et des protocoles de communication, de la gestion des firmwares (systèmes d’exploitation) et de la gestion des droits d’accès à la plateforme.
Sécurité : il s’agit d’être protégé des risques d’hacking, de garantir la confidentialité des données de bout en bout, de proposer un cryptage fort des données, de fournir un système d’authentification sécurisé, de permettre la séparation des données dans l’écosystème commun.
Capacité de récupération des données : il s’agit du type et du nombre de protocoles de communication gérés par la plateforme (MQTT, CoAP...), des types d’accès autorisés (LoRa, Sigfox …).
Visualisation des données : ce sont les interfaces, les écrans, les modules d’affichage des informations à disposition par défaut, mais également de la modélisation et des processus de provisioning des objets (capteurs), des fonctionnalités de gestion des flottes ainsi que la capacité à bufferiser les messages descendants.
Stockage des données : cela se rapporte à l’historisation de l’ensemble des données transmises (messages, logs...) basé sur les capacités de stockage offertes par l’utilisation des technologies cloud.
Rule engine : il s’agit de la mise à disposition d’un moteur de règles et d’alertes, celles-ci sont envoyées via SMS ou par mail en cas d’intrusion dans un environnement privé par exemple.

Comment identifier la PoV d’une plateforme IoT?

Afin d’identifier la Proof of Value (PoV, c’est-à-dire la preuve de viabilité économique d’un concept ou d’un service) d'une plateforme IoT, il est désirable de maîtriser les coûts de déploiement et d'utilisation tout en minimisant les besoins de développement. En effet, l’open source répond parfaitement au besoin d’interopérabilité et permet, simplement et rapidement, de développer, de déployer et de tester vos solutions IoT. Il n’y a pas de risques de dépendance par rapport à un fournisseur et vous pouvez partager vos réalisations (applications, améliorations du code,...) avec la communauté. Un autre avantage est que si vous rencontrez des bugs, la communauté peut vous apporter une multitude de points de vue et de solutions par rapport à ceux-ci.

1. Comparaison de plusieurs plateformes IoT open source

Il existe actuellement de nombreux projets de plateformes IoT open source. Pour réaliser notre sélection, nous avons pris le parti d’étudier les plateformes IoT avec de fortes communautés : Kaa IoT Platform, SiteWhere, ThingSpeak, ThingsBoard CE, Mainflux, DeviceHive et Thinger et WSo2.

2. Identification des besoins de notre plateforme IoT open source

Pour être capable de collecter les données de l’ensemble des réseaux de capteurs déployés, la plateforme IoT open source devra satisfaire aux critères suivants :

Supporter la gestion des appareils,
Collecter les données via les protocoles HTTP, MQTT et CoAP,
Posséder au minimum une authentification de base (identifiant + mot de passe) ou un échange de jetons sécurisés (JWT),
Inclure un outil de visualisation des données,
Inclure une base de données “IoT”,
Inclure un moteur de règles.

3. Conclusions à propos de la plateforme IoT open source adéquate

Suite aux critères précédemment cités, notre choix s’est centré sur les plateformes IoT ThingsBoard et Mainflux. La plateforme ThingsBoard est finalement préférée à Mainflux car elle constitue une solution supportée par davantage d’utilisateurs (sur Github : 4500 stars pour Thingsboard contre 686 stars pour Mainflux). Cet aspect doit toujours être pris en compte car une forte communauté open source permet de garantir une meilleure pérennité de l’application. De plus, si après une période de test de ThingsBoard CE (Community Edition), vous désirez pérenniser l’application et garantir une maintenance, il est possible d’acheter une licence ou de souscrire à un abonnement à la solution ThingsBoard PE (Professional Edition).

Pour en apprendre plus au sujet de la plateforme ThingsBoard, depuis l'installation jusqu'à sa prise en main, rendez-vous sur la fiche qui lui est dédiée!

ThingsBoard : gérer les données de vos appareils connectés

laurie — Tue, 17 Nov 2020 10:23:53 +0000

ThingsBoard : gérer les données de vos appareils connectés

Tags

Connectivité/réseaux

Gestion de données

IoT

laurie Tue, 11/17/2020 - 11:23

Télécharger le PDF

Fiche Thingsboard

Body

Installation et prise en main de la plateforme IoT

Cette fiche vous explique comment mettre en place ThingsBoard, une plateforme IoT open source, qui vous permet de gérer vos appareils connectés, collecter, traiter et visualiser les données de télémétries provenant de vos capteurs.

Prérequis

Connaissances de base en linux

Matériel requis

Avoir un réseau de capteurs déployé.

La configuration matérielle requise dépend de la base de données choisie et du nombre d’appareils connectés au système :

ThingsBoard + base de données Postgres : environnement de production minimal (2Go de RAM minimum;4 Go de Ram recommandés).
ThingsBoard + base de données Cassandra : environnement de production optimisé (4Go de RAM minimum; 8 Go sont recommandés).
ThingsBoard + base de données HSQLDB embarquée : environnement de développement (Non recommandé).

Pour quoi faire?

Comme expliqué dans notre précédente fiche relative aux plateformes IoT, ThingsBoard nous semble être la solution la plus pertinente par rapport aux critères de sélection que nous avions énoncés (besoin d’être open source, de supporter la gestion des appareils, de collecter les données via les protocoles HTTP, MQTT et CoAP, d’inclure un outil de visualisation des données et une base de données “IoT”,...).

Get Started - ThingsBoard CE & Docker

Pour effectuer l’installation de la plateforme IoT Open Source ThingsBoard, plusieurs solutions s’offrent à vous. Il est possible d’installer ThingsBoard sur plusieurs plateformes comme indiqué sur la documentation officielle. Dans notre cas, nous installerons ThingsBoard sur Docker, dans une machine virtuelle Debian.

Etape 1 - Installation de Docker

Docker est un outil qui permet de packager des applications afin de faciliter leurs partages et leurs utilisations.

Pour effectuer l’installation sur une machine Linux, il vous faut télécharger le fichier docker-install.sh puis l'exécuter avec la commande suivante :

wget get.docker.com -o docker-install.sh && sudo sh docker-install.sh

Si des erreurs surviennent, veuillez effectuer l’installation pas à pas avec la documentation officielle de Docker disponible sur ce lien.

Etape 2 - Installation et prise en main de ThingsBoard

Pour l’installation de ThingsBoard, trois configurations de base de données s’offrent à vous :

ThingsBoard + base de données Postgres : environnement de production minimal (2Go de RAM minimum;4 Go de Ram recommandés).
ThingsBoard + base de données Cassandra : environnement de production optimisé (4Go de RAM minimum; 8 Go sont recommandés).

ThingsBoard + base de données HSQLDB embarquée : environnement de développement (Non recommandé).

Dans ce tutoriel, nous utiliserons la configuration légère ThingsBoard Postgres car elle répond parfaitement à notre besoin de démonstration.

2.1 Installation de ThingsBoard CE

Maintenant que Docker est opérationnel, vous pouvez installer et exécuter l’outil via la commande suivante :

docker run -it -p 9090:9090 -p 1883:1883 -p 5683:5683/udp -v ~/.mytb-data:/data -v ~/.mytb-logs:/var/logs/thingsboard --name mytb --restart always thingsboard/tb-postgres

2.2 Login

Pour accéder à l’outil ThingsBoard, il est nécessaire d’identifier votre adresse IP (par exemple, si vous avez installé ThingsBoard sur votre odinateur, l’adresse est “localhost”) :

http://$YOUR-IP$:9090

Une fois sur l’interface ThingsBoard, il vous faut vous connecter au compte administrateur avec les informations suivantes :

Email par défaut : tenant@thingsboard.org,
Mot de passe par défaut : tenant.

2.3 Création d’un device

Pour créer votre premier appareil connecté, vous devez :

1. vous rendre sur l’onglet “Dispositifs” ou “Devices”,

2. cliquez ensuite sur le “+” en bas à droite puis “Ajouter un nouveau dispositif”,

3. donnez-lui un nom et attribuez-lui un type,

4. cliquez sur “Ajouter”.

Votre device est désormais créé.

2.4 Simulation d’un device

Afin de simplifier la démonstration, nous utiliserons dans ce tutoriel un appareil connecté simulé. Pour simuler le senseur, nous allons utiliser le système de “Chaîne de règle” de ThingsBoard :

1. Cliquez sur l’onglet “Chaîne de règles” (ou “Rule chains” en anglais), puis créez une nouvelle chaîne de règles.

2. Donnez-lui un nom et cliquez sur “Ajouter”.

Il faut désormais configurer cette chaîne de règles :

1. Pour simuler un device, nous allons avoir besoin d’un “Generator” : sélectionnez, dans la catégorie “Action”, le bloc rouge nommé “Générator”,

2. Dans son écran de configuration, attribuez-lui un nom,

3. Choisissez le nombre de secondes entre chaque message généré par le device. Dans notre exemple nous prendrons 2 secondes.

4. Sélectionnez ensuite “Dispositif” comme origine et choisissez le device créé précédemment. Enfin, notre fonction de démonstration est la suivante :

var msg = { temp: 25+Math.floor(Math.random() * Math.floor(5)), humidity: 77 };
var metadata = { data: 40 };
var msgType = "POST_TELEMETRY_REQUEST";
return { msg: msg, metadata: metadata, msgType: msgType };

5. Cliquez ensuite sur “Ajouter”,

6. Ensuite, sélectionnez dans la catégorie “Action”, un bloc rouge “Save timeseries”, ajoutez-le, nommez-le et cliquez sur “Ajouter”. Ce bloc va vous permettre de stocker vos données.

7. Reliez le bloc “Generator” au bloc “Save timeseries” en choisissant “Success” comme “Étiquette de liens” et cliquez sur “Ajouter”. Ne vous préoccupez pas du bloc vert “Input”.

Votre device est maintenant simulé et vous pouvez le vérifier comme suit :

1. Cliquez sur l’onglet “Dispositif”,

2. Cliquez sur le device créé précédemment,

3. Cliquez sur l’onglet “Dernière télémétrie”. Vous pouvez désormais observer la température et l’humidité qui sont mises à jour toutes les deux secondes.

2.5 Visualisation des données dans le dashboard

Maintenant que vous avez un appareil simulé opérationnel, vous allez pouvoir visualiser les informations qu’il renvoit sur un écran de contrôle appelé “Dashboard” grâce aux étapes suivantes :

1. Cliquez sur l’onglet “Tableaux de bord“ (ou “Dashboards” en anglais).

2. Cliquez ensuite sur le “+” en bas à droite puis “Créer un nouveau tableau de bord”,

3. Nommez-le et cliquez sur “Ajouter”. Il est possible d’attribuer ce Dashboard à un utilisateur en cliquant sur l'icône “Gérer les clients affectés” à côté de l'icône supprimer.

Après avoir cliqué sur le dashboard, il faut définir l’alias qui sera utilisé. Il s’agit d’un nom secondaire qui va être attribué à un certain device. Pour se faire :

1. cliquez sur le bouton orange “Edition” en bas à droite,

2. cliquez ensuite sur l’icône “Alias d’entité” à gauche du bouton plein écran. Vous pouvez alors ajouter votre alias en saisissant un nom.

3. Dans votre cas, sélectionnez le filtre “Entité unique” puis le type dispositif avec le nom de votre device.

Votre alias est désormais créé. Vous pouvez désormais ajouter des éléments à votre dashboard en cliquant sur “Ajouter un nouveau widget” (une carte, une jauge de température, un graphique temporel...).

La démonstration en vidéo

Retrouvez la démonstration de la plateforme IoT ThingsBoard grâce cette vidéo

Pour aller plus loin

Si vous désirez en savoir plus sur ThingsBoard, nous vous invitons à consulter la documentation officielle disponible ici.

Tsimulus : un générateur de séries chronologiques réalistes open source

laurie — Sun, 15 Nov 2020 09:32:09 +0000

Tsimulus : un générateur de séries chronologiques réalistes open source

Tags

laurie Sun, 11/15/2020 - 10:32

Télécharger le PDF

Fiche Tsimulus

Body

Vous devez tester à grande échelle le bon comportement des outils de traitement de données, y compris dans un contexte big data ? Vous manquez de données en temps réel ?

Nous avons la solution ! Cette fiche vous présente TSimulus, l’outil qui vous permet de simuler des données, sous forme de séries temporelles, de manière très réaliste.

Après l’énonciation des différents concepts nécessaires à sa compréhension, nous vous proposons une démonstration de son utilisation en simulant des températures externes pour la ville d’Uccle. Nous y détaillons les différentes étapes qui permettent de les rendre aussi réalistes que possible.

Cette bibliothèque fait partie du projet de recherche EAM-SDI, fondé par la Région Wallonne.

Prérequis

Connaissances basiques en JSON

Savoir écrire des lignes de commandes dans un terminal

Pour quoi faire ?

Les séries chronologiques sont utilisées dans une grande variété de domaines, notamment l’industrie, l’économie, les finances, la démographie, les prévisions météorologiques et le traitement du signal. Elles répondent à de nombreux objectifs dont les principaux sont la prévision, l’estimation d’une tendance ou encore l’évaluation de l’impact d’un événement.

La bibliothèque TSimulus vous permet de simuler différents capteurs et de générer une quantité suffisante de données pour effectuer des tests par exemple. Vous spécifiez la forme d'une série chronologique (modèles généraux, cycles, importance du bruit ajouté, etc. - ces différents concepts sont décrits dans la section suivante) et TSimulus convertit cette spécification en valeurs de séries chronologiques.

Concrètement, cet outil propose :

Un moyen d'exprimer des contraintes de séries chronologiques à l'aide de documents JSON, ainsi qu'une API Scala pour exprimer programmatiquement ces contraintes.
Un moyen pratique de combiner des contraintes afin d'exprimer des contraintes de niveau supérieur.
Un moteur qui génère des valeurs de séries temporelles en fonction des contraintes décrites.
Un outil en ligne de commande qui s'appuie sur le moteur pour générer des séries chronologiques.
Un microservice sans état qui fournit des services de génération de séries chronologiques.

Quelques concepts

Une série chronologique (ou série temporelle)

Il s’agit d’une séquence de points ordonnée dans le temps, chacun d'eux étant associé au plus à une valeur.

1. Évaluation de la série

Les séries chronologiques peuvent être évaluées à tout moment. Cette évaluation est rapide, sans effet secondaire et référentiellement transparente (en particulier, l'évaluation d'une série chronologique fournit toujours la même valeur pour un horodatage donné).

De plus, la bibliothèque TSimulus prend en charge la génération de valeurs de séries chronologiques sous forme de flux numériques (potentiellement illimités).

2. Les valeurs manquantes

Une série chronologique peut ne pas avoir de valeur à fournir pour un horodatage donné. Ce cas est géré par la bibliothèque comme des valeurs «manquantes». Les valeurs manquantes peuvent être remplacées par des valeurs «par défaut» et peuvent être supprimées d'une collection de valeurs avant d'opérer une agrégation.

Les générateurs

L'objectif principal des générateurs est de décrire les contraintes qui façonnent la série temporelle générée.

Alors que les générateurs de nombres aléatoires peuvent facilement être utilisés pour produire des séquences de nombres non liés (ou, du moins, dont les relations sont difficilement prévisibles), générer des séquences de nombres qui semblent respecter certains modèles évidents est également intéressant dans de nombreuses circonstances, y compris la simulation de l'acquisition de données dans les domaines mentionnés dans la section précédente.

1. Une simulation de données réaliste

Afin de créer des séries chronologiques réalistes, un bruit convaincant doit généralement être ajouté à certains modèles spécifiés. De plus, les valeurs d'une série chronologique peuvent être liées à celles d'une autre série chronologique.

2. Les différents types de générateurs

Voici une description succincte de trois types de générateurs. Vous trouverez davantage d’informations sur ceux-ci ainsi que sur les autres types existants ici.

2.1. Les générateurs primaires

Les séries chronologiques primaires génèrent des valeurs qui n’ont de relation avec aucune autre série chronologique. Un utilisateur peut contraindre la forme générale d'une série chronologique primaire en spécifiant certains points de données (qui correspondent à des points dans les temps associés à des valeurs spécifiques) et en spécifiant que la série chronologique générée doit contenir ces points de données. Pour avoir plus d’informations sur les générateurs primaires, cliquez ici.

2.2. Les générateurs composites

Les générateurs peuvent être combinés de diverses manières afin de produire des générateurs plus complexes. De tels générateurs, appelés générateurs composites, expriment des séries chronologiques dont les valeurs sont le résultat de l'agrégation, de la comparaison, de la corrélation, etc. des valeurs générées par des séries temporelles décrites par d'autres générateurs. Vous en saurez davantage en cliquant ici.

2.3. Les générateurs binaires

Les valeurs des séries temporelles générées peuvent être numériques ou binaires. Des opérations booléennes peuvent être appliquées à des valeurs binaires, qui peuvent être utilisées pour décrire des séries chronologiques conditionnelles. Les valeurs numériques peuvent être combinées et comparées de différentes manières, afin de créer des séries chronologiques complexes en combinant des séries simples. Vous en saurez davantage sur les générateurs binaires en cliquant ici.

3. Le document de configuration

Comme expliqué précédemment, la forme des séries temporelles générées est définie à l'aide de générateurs. Votre travail, en tant qu'utilisateur de TSimulus, est donc de modifier les descriptions de ces générateurs afin d'obtenir un résultat aussi réaliste que possible. Ces générateurs peuvent être spécifiés de manière déclarative dans un document dit de configuration, qui est un document JSON respectant une structure donnée. Ce document est composé d'une section “generators”, dans laquelle les générateurs sont déclarés, d'une section “exported” contenant la liste des générateurs qui doivent être convertis en séries chronologiques, ainsi que d'une paire de dates délimitant la période pour laquelle des valeurs de séries chronologiques doivent être générées.

3.1. La section “generators”

L'utilisation de la section “generators” dans un document de configuration, bien que facultative, est fortement recommandée afin de décrire la spécification des générateurs décrivant la série temporelle à générer. La section “generators” est donc essentiellement une liste de générateurs qui pourraient être convertis en séries chronologiques.

3.2. La section “exported”

Cette section du document de configuration répertorie les générateurs qui doivent être convertis en séries chronologiques. Il s'agit essentiellement d'une liste d'objets JSON contenant les attributs suivants :

name : le nom qui doit être associé à la série chronologique.
generators : une description du générateur représentant la série temporelle à générer. Cela peut être une description en ligne.
frequency : la période, en millisecondes, à laquelle les valeurs de séries temporelles doivent être générées.

3.3. Les sections “from” et “to”

Alors que la bibliothèque entière peut générer des valeurs pour tout moment valide, et malgré le fait que les séries temporelles soient considérées en interne comme des flux de valeurs potentiellement illimités, une telle génération illimitée ne peut pas être traitée dans un temps limité. Par conséquent, deux champs supplémentaires, exprimant le début et la fin de la période pour laquelle des valeurs doivent être générées, sont nécessaires dans le document de configuration afin de pouvoir générer des séries temporelles.

Démonstration de TSimulus

Dans le cadre de cette fiche, nous vous proposons une démonstration de l’utilisation de TSimulus réalisant une simulation des températures externes pour la ville d’Uccle. Après avoir détaillé le matériel nécessaire, nous décrivons les différentes manières d’installer TSimulus et expliquons comment l’utiliser.

La démonstration à proprement parler commence lors de la troisième étape où vous pouvez créer un générateur de données et ensuite le rendre plus réaliste par le biais d’autres générateurs.

Matériel requis

Concernant le CLI, il vous faut :

une machine virtuelle Java
installer un fichier de configuration
taper la ligne de code suivante : java -jar tsimlus-cli.jar

Étape 1 - Comment utiliser la bibliothèque Tsimulus ?

Les séries chronologiques peuvent être générées selon les règles décrites dans un document de configuration. Vous pouvez envisager d'utiliser notre application CLI qui lit les documents de configuration à partir d'un fichier JSON standard.

Vous pouvez également envisager d'utiliser notre microservice qui écoute les requêtes HTTP. Dans ce cas, le document de configuration est soumis en tant que paramètre d'une requête POST.

Étape 2 - Getting started

2.1. Une première génération de données

Le moyen le plus simple de tester le projet TSimulus est de télécharger la dernière version d'un fichier Jar exécutable contenant une application basée sur la bibliothèque TSimulus. Comme décrit dans la section “Matériel requis”, vous aurez besoin d'une machine virtuelle Java installée sur votre environnement.

Pour votre première génération de séries chronologiques, nous allons spécifier un générateur qui proposera un simulateur de températures externes de base pour la ville d’Uccle, en Belgique. Selon l'Institut royal de météorologie de Belgique, les températures moyennes à cet endroit sont les suivantes :

2.1.1. Création d’un générateur qui décrit l'évolution de la température mois par mois

1. Encodez ceci dans un fichier JSON :

{

   "generators":[

   {

      "name": "monthly-basis",

      "type": "monthly",

      "points": {"january": 3.3, "february": 3.7, "march": 6.8, "april": 9.8,     

                  "may": 13.6, "june": 16.2, "july": 18.4, "august": 18,              

                  "september": 14.9, "october": 11.1, "november": 6.8, "december": 

                  3.9}

   }],

   "exported":[

      {"name": "temperature", "generator": "monthly-basis", "frequency": 3600000}

   ],

   "from": "2016-01-01 00:00:00.000",

   "to": "2017-12-31 23:59:59.999"

}

Nous rappelons que le nom et les attributs de chaque objet dans ce document JSON sont décrits dans la section précédente dédiée aux concepts (voir le paragraphe sur les générateurs).

2. Enregistrez la configuration dans un fichier texte à côté de l'application téléchargée et exécutez l'application avec le fichier fraîchement créé :

java -jar rst-gen-cli get_started_1.json

Après quelques secondes, vous obtenez une séquence de lignes, chacune d'elles étant une entrée de valeur composée d'une date, d'un nom de série et d'une valeur séparée par des points-virgules. Dans cette démonstration, le nom de la série est toujours «temperature». Si vous tracez les valeurs de série avec votre outil préféré, vous devriez obtenir quelque chose comme le graphique suivant :

2.2. Vers un modèle plus réaliste

Comme le montre l’illustration ci-dessus, la température varie en permanence, et pour le milieu de chaque mois, elle est conforme aux valeurs spécifiées dans la configuration. Cependant, vous pouvez vous sentir frustré par la régularité des valeurs obtenues : elles augmentent ou diminuent de façon monotone d'un mois à l'autre, ce qui n'est pas un comportement très réaliste. En réalité, au fil des jours, les températures sont globalement plus élevées pendant la journée et plus basses pendant la nuit.

2.2.1. Création d’un nouveau générateur qui exprime la variation de la température sur les heures d'un jour calendaire


{
   "generators": [
       {
          "name": "monthly-basis",
          "type": "monthly",
          "points": {
             "january": 3.3,
             "february": 3.7,
             "march": 6.8,
             "april": 9.8,
             "may": 13.6,
             "june": 16.2,
             "july": 18.4,
             "august": 18,
             "september": 14.9,
             "october": 11.1,
             "november": 6.8,
             "december": 3.9
          }
       },
       {
          "name": "daily-variation",
          "type": "daily",
          "points": {
             "00:00:00.000": -3,
             "02:00:00.000": -3.9,
             "04:00:00.000": -5,
             "06:00:00.000": -4.6,
             "08:00:00.000": -5.7,
             "10:00:00.000": -2.2,
             "12:00:00.000": 1,
             "14:00:00.000": 3,
             "16:00:00.000": 2.3,
             "18:00:00.000": 0.9,
             "20:00:00.000": -2.3,
             "22:00:00.000": -2.7
          }
       },
       {
          "name": "result",
          "type": "aggregate",
          "aggregator": "sum",
          "generators": [
             "monthly-basis",
             "daily-variation"
          ]
       }
    ],
    "exported": [
       {
          "name": "temperature",
          "generator": "result",
          "frequency": 600000
       }
    ],
    "from": "2016-01-01 00:00:00.000",
    "to": "2017-12-31 23:59:59.999"
 }

Veuillez noter que les valeurs de ce deuxième générateur sont relatives à une valeur arbitraire «neutre». Le tracé de ces valeurs n'est donc pas pertinent. Cependant, si nous additionnons les températures mensuelles avec les températures quotidiennes, nous obtenons un comportement plus complexe. Les séries chronologiques résultantes sont davantages réalistes et résultent en le graphe suivant :

Sur cette figure, seules les valeurs du 1er et du 2 janvier 2016 sont affichées. Un modèle de base quotidien est facilement observable, tandis que les valeurs sont assez similaires (bien que légèrement différentes) d'un jour à l'autre.

2.2.2. Création d’un nouveau générateur qui décrit une série chronologique bruitée

Un examen plus approfondi des valeurs générées révèle que la variation de température reste insatisfaisante: pendant un jour civil, les températures varient de manière irréaliste, et deux jours identiques dans des années différentes (par exemple, 2016-02-03 et 2017-02-03) ont la même séquence de valeurs. Dans la vie réelle, la température change légèrement au fil du temps en raison de modifications complexes des conditions atmosphériques.

Afin de simuler ces petits changements, nous introduisons un générateur qui décrit une série chronologique bruitée, et nous le sommons avec les générateurs définis précédemment.


{
   "generators": [
      {
         "name": "monthly-basis",
         "type": "monthly",
         "points": {
            "january": 3.3,
            "february": 3.7,
            "march": 6.8,
            "april": 9.8,
            "may": 13.6,
            "june": 16.2,
            "july": 18.4,
            "august": 18,
            "september": 14.9,
            "october": 11.1,
            "november": 6.8,
            "december": 3.9
         }
      },
      {
         "name": "daily-variation",
         "type": "daily",
         "points": {
            "00:00:00.000": -3,
            "02:00:00.000": -3.9,
            "04:00:00.000": -5,
            "06:00:00.000": -4.6,
            "08:00:00.000": -5.7,
            "10:00:00.000": -2.2,
            "12:00:00.000": 1,
            "14:00:00.000": 3,
            "16:00:00.000": 2.3,
            "18:00:00.000": 0.9,
            "20:00:00.000": -2.3,
            "22:00:00.000": -2.7
         }
      },
      {
         "name": "noise",
         "type": "arma",
         "model": {
            "std": 0.2,
            "c": 0,
            "seed": 1234
         },
         "timestep": 300000,
         "origin": "2016-01-01 00:00:00.000"
      },
      {
         "name": "result",
         "type": "aggregate",
         "aggregator": "sum",
         "generators": [
            "monthly-basis",
            "daily-variation",
            "noise"
         ]
      }
   ],
   "exported": [
      {
         "name": "temperature",
         "generator": "result",
         "frequency": 600000
      }
   ],
   "from": "2016-01-01 00:00:00.000",
   "to": "2017-12-31 23:59:59.999"
}

Le résultat final est maintenant suffisamment réaliste pour une simulation de base de la température dans le temps. En observant le tracé de ses valeurs sur l’illustration ci-dessous, on peut constater que des tendances claires et réalistes émergent, tandis qu'un bruit réaliste est également clairement présent.

Vous n’êtes toujours pas satisfait du réalisme des valeurs générées? N'hésitez pas à modifier les paramètres des générateurs décrits dans le fichier de configuration ou à en essayer d'autres (voir le point sur les générateurs dans la section “quelques concepts”).

La démonstration en vidéo

Voici le replay du webinaire organisé par le Hub-C le 24 mars 2021 afin de faire une démonstration de l'utilisation de Tsimulus presentée par Mathieu Goeminne, expert en science de données au sein du CETIC.

Besoin d’une aide supplémentaire ?

Le Hub-C dans le cadre de ses services d’accompagnement numérique organise des workshops et groupes de travail en lien avec les nouvelles technologies de prototypages. Vous souhaitez un accompagnement pour votre projet innovant ou vous souhaitez participer à un prochain workshop ? N'hésitez pas à contacter un membre du Hub!

Vous avez une question spécifique à propos d’une fiche ? Elles sont réalisées par les experts du CETIC (Centre d'Excellence en Technologies de l'Information et de la Communication), un centre de recherche appliquée en informatique situé à Charleroi. Vous trouverez toutes les coordonnées ici.

Restauration d’images par réseaux de neurones profonds

laurie — Sat, 14 Nov 2020 15:06:07 +0000

Restauration d’images par réseaux de neurones profonds

Tags

Logiciel

Tutoriel

laurie Sat, 11/14/2020 - 16:06

Télécharger le PDF

Fiche restauration d'images

Body

Vous êtes responsable marketing et devez assurer l’attrait d’un lieu ou d’un site web servant de vitrine à votre entreprise ?

Vous êtes féru d’histoire, ou disposez d’une vieille collection d’images de famille ?

Vous exercez un métier lié de près ou de loin aux médias visuels ? Imprimeur, journaliste, écrivain, artiste ?

Si votre travail ou hobby nécessite l’utilisation et éventuellement le traitement d’images de toute sorte (archives photographiques, imagerie médicale, images satellites, microscopiques, infrarouges, ou simplement des images trouvées sur le web), vous vous retrouvez souvent avec des images de faible qualité, rendant votre travail plus fastidieux, ou votre hobby moins appréciable.

Sachez qu’il existe aujourd’hui des techniques, bien qu’encore imparfaites et expérimentales, permettant de restaurer les images, et de tenter d’améliorer leur qualité. De nombreuses techniques de pointe, basées sur les dernières avancées en intelligence artificielle, peuvent aujourd’hui vous aider à :

Augmenter artificiellement la résolution de vos images trop petites
Réduire le bruit, dû à la détérioration du papier, ou à la mauvaise qualité des appareils photos
Donner des couleurs à vos vieilles images monochromes
Rendre vos images plus nettes et plus vives

L’utilisation de ces tous nouveaux produits de la recherche scientifique, encore purement expérimentaux, nécessite de solides connaissances informatiques et une sérieuse maîtrise du domaine de l’intelligence artificielle. Même pour les chercheurs et informaticiens les plus aventureux, une utilisation concrète de ces outils demande du temps et des efforts considérables, tant les contributions sont dispersées dans la jungle du web scientifique, et sont à priori difficilement compatibles entre elles.

Au Cetic, nous avons créé un outil permettant de faciliter l’utilisation de ces techniques, les rendant ainsi accessibles au plus grand nombre. Nous espérons que cet outil permettra de montrer et susciter l’intérêt de ces nouvelles technologies émergentes, encore très peu connues du grand public et imparfaites, mais d’un grand potentiel.

Prérequis

Dans cette fiche, nous adopterons une solution facile à appréhender, même pour les plus débutants. Ainsi, aucun prérequis n’est essentiel pour suivre cette fiche. Des bases éventuelles en informatique et en programmation peuvent aider à la compréhension du système, et une expérience avec Jupyter et Google Colab en particulier peuvent faciliter la lecture de cette fiche.

Nous proposerons ultérieurement une deuxième fiche plus technique, pour aborder plus en profondeur le fonctionnement de l’outil. Cette deuxième fiche nécessitera cette fois certaines connaissances techniques en informatique.

Comment restaurer vos images ?

Cette fiche présente comment installer le toolkit de restauration d’image, et comment l’utiliser sur vos propres images. La méthode proposée dans cette fiche est plutôt à destination des particuliers amateurs de photographie, permettant d’utiliser un environnement Python déjà préconfiguré (Google Colab), puissant et gratuit, permettant de réaliser rapidement des programmes d’intelligence artificielle. Nous installerons directement le toolkit de restauration d’image dans cet environnement, et utiliserons l’interface proposée pour restaurer nos images.

L’outil est encore en développement, et se limite actuellement à l’intégration de quelques techniques encore imparfaites de restauration d’image. Vous pourrez trouver plus d’information sur le toolkit et la restauration d’image aux adresse suivantes:

Le Répertoire Github du toolkit

Les articles de blog sur la restauration d’images:

Etape 0 - Compte Google

Afin de pouvoir installer et utiliser facilement le toolkit de restauration d’image, nous allons utiliser la plateforme Google Colab. Son utilisation nécessite un compte Google. Si vous n’en avez pas déjà un, vous pouvez en créer un par ici.

Etape 1 - Google Colab

Si vous avez un compte Google, vous pouvez maintenant accéder à la plateforme Google Colab par ici.

Google Colab peut être vu comme un éditeur en ligne, semblable à Google Docs et Google Sheet. Vous pouvez y créer des documents, qui sont directement liés à votre compte Google, ou vous pouvez accéder à des documents créés et partagés par d’autres utilisateurs. La différence principale de Google Colab avec les outils de bureautique en ligne, c’est qu’elle permet d’éditer des documents spéciaux : des “Notebook Jupyter”. Ces documents permettent à la fois d’insérer du texte et des images, mais aussi et surtout des blocs de code informatique (généralement dans le langage de programmation Python). Et lorsqu’on exécute un bout de codes dans Google Colab, ils sont en fait exécutés sur une machines virtuelle, éventuellement équipée d’une carte graphique puissante (GPU) hébergée par Google. Et tout ça gratuitement. C’est grâce à un de ces GPU, que nous allons pouvoir utiliser correctement le toolkit de restauration d’image. Car en effet, l’utilisation de programmes utilisant du Deep Learning nécessite généralement une machine puissante, pouvant supporter du calcul intensif, et massivement parallèle. Et les GPUs hébergés chez Google sont particulièrement taillés pour cette tâche.

Passons maintenant au vif du sujet: commencez par vous connecter à votre compte Google si ce n’est pas déjà fait.

Lorsque vous vous êtes connecté, vous devriez voir apparaître une fenêtre similaire à l’image ci-dessous. Si ce n’est pas le cas, dans le menu, allez à File > Open notebook (ou appuyez sur Ctrl + O). Nous allons utiliser cette interface pour accéder aux notebooks permettant de tester le toolkit.

Allez à l’onglet “GitHub”, ce qui vous permettra d’indiquer le répertoire où est hébergé le toolkit.
Entrez l’URL du toolkit de restauration d’image: https://github.com/titsitits/open-image-restoration
Cliquez sur le notebook suivant: Colab_Notebooks/Demo_Image_Restoration.ipynb

Pour une plus grande facilité d’utilisation, Google Colab permet d’ajouter une surcouche au notebook, qui permet de créer une interface graphique simple avec des boutons de contrôle, tout en cachant le code. En double-cliquant sur une des cellules du notebook, vous devriez voir apparaître le code.

Etape 2 - Configuration de Google Colab (optionnel)

Dans cette étape, nous allons vérifier que Google colab est correctement configuré pour exécuter votre notebook de manière optimale. Il faut pour cela que le noyau Python auquel Google Colab vous donne accès dispose d’un GPU. Pour cela, allez au menu “Runtime > Change runtime type”, et sélectionnez l’accélérateur matériel “GPU”.

Bonus: En réalité, les machine virtuelles avec GPU mises à disposition gratuitement par Google Colab sont de qualité variable. Vous pouvez vérifier quel GPU vous a été mis à disposition, grâce à une simple ligne de commande linux. Pour cela, vous pouvez lancer une cellule de code volante via le raccourcis Ctrl+Alt+N, ou via le menu “Insert > Scratch code cell”. Vous devriez voir apparaître une cellule à droite de la fenêtre.

Vous pouvez y écrire la commande:

!nvidia-smi

Le symbole ! permet d’exécuter des commandes linux (du script shell) plutôt que du code python. La commande nvidia-smi permet de vérifier la configuration et l’utilisation du GPU installé sur une machine.

Appuyez ensuite sur le bouton start à gauche de la cellule pour l’exécuter (voir illustration ci-dessous).

A la première exécution d’une cellule du notebook, il vous sera peut-être demandé si vous voulez vraiment l’exécuter. Appuyez simplement sur “Run anyway”.

Vous devriez voir un résultat similaire à l’image ci-dessous.

Nous avons lors de cet essai eu droit à une VM disposant d’un GPU Tesla K80. C’est en réalité un GPU assez vieux, et avec un peu de chance vous devriez pouvoir bénéficier d’un GPU plus puissant (Tesla T4 ou P100 par exemple). La Tesla K80 devrait néanmoins suffire pour traiter décemment des images de petite taille.

Vous pouvez fermer à présent la cellule volante (scratch cell).

Etape 3 - Utilisation du toolkit

Grâce au notebook de démonstration, l’utilisation de base du toolkit de restauration d’images est très simple. Il vous suffit de suivre le notebook et d’exécuter une à une les cellules, en cliquant sur le bouton “start” apparaissant à gauche de celles-ci.

3.1 Sélection des images

Lancez la cellule 1. Upload images to restore. Sous la cellule, un bouton devrait apparaître, vous permettant de choisir des images à transférer.

Il est préférable d’utiliser des images de petite taille (de faible résolution) pour tester l’outil, non seulement parce que les modèles sont en principe plus efficaces sur ces images, mais aussi parce que le processus sera plus rapide. En outre, si les images utilisées sont trop grandes, vous risquez de rencontrer des erreurs d’allocation de mémoire dans le carte graphique (encore une fois, le traitement d’image par Deep Learning est généralement un processus gourmand en ressources computationnelles).

Pour la démonstration, nous utiliserons les deux images historiques ci-dessous

Ces images nous ont été fournies comme cas d’étude en restauration d’images par l’organisation culturelle Nivelloise le Rif Tout Dju

Il est possible que vous rencontriez une erreur lors de la première exécution de la première cellule. Si c’est le cas, relancez-la simplement. D’expérience, nous recommandons l’utilisation de Google Chrome (ou Chromium) comme navigateur pour Google Colab.

3.2 Sélection des techniques de restauration

La deuxième cellule permet de sélectionner les techniques de restaurations à appliquer aux images transférées. Quatre techniques sont actuellement disponibles (d’autres sont prévues dans les futures versions de l’outil) :

“Demoiring” : réduction de la moire. Cette technique permet d’éliminer les éventuelles rayures horizontales et verticales présentes dans l’image. Cette technique est particulièrement utile pour les deux images que nous avons sélectionnées pour la démonstration.
“Denoising” : réduction du bruit gaussien. Cette technique permet de réduire le grain d’une image. La méthode actuellement disponible dans notre toolkit est encore assez instable et lourde. C’est pourquoi elle n’est pas sélectionnée par défaut dans le notebook de démonstration. Celle-ci sera remplacée par un algorithme plus stable et plus performant dans une version future.
“Colorization” : inférence de couleurs. Cette technique permet de transformer une image monochrome en une image couleur, en générant les couleurs artificielle les plus réalistes possible.
“Superresolution” : augmentation de la résolution de l’image (multiple par 4 le nombre de pixels). Cette technique permet d’augmenter le degré de détails d’une image, en générant des détails artificiels les plus réalistes possible

Vous pourrez trouver plus de détails sur les algorithmes testés et sélectionnés dans l’outil de restauration d’images ici: http://www.mickaeltits.be/image_restoration/

Enfin, le paramètre initial_size permet de réduire si nécessaire la taille des images sélectionnées au cas où elles seraient trop grandes. Par défaut, celui-ci est défini à 400 pixels. Ainsi, la taille de vos images sera réduite de manière à ce que ni leur hauteur, ni leur largeur ne dépasse 400 pixels.

La première exécution de cette cellule peut prendre quelque minutes, en particulier si vous utilisez la technique de colorisation. Ceci est dû au fait qu’à la première utilisation, le modèle de Deep Learning utilisé par cette technique doit être téléchargé (243Mo). A la fin du processus, vous devriez voir apparaître vos images traitées, de manière séquentielle, selon les techniques sélectionnées.

3.3 Zoom sur les résultats

Les différences entre les résultats peuvent paraître parfois très subtiles, en particulier pour la super-résolution. La dernière cellule permet de zoomer sur une zone de l’image pour mieux analyser les différences.

Veuillez d’abord pour cela sélectionner l’image à visualiser (paramètre image_file). Vous devez pour cela entrer le nom entier du fichier. Attention : les images ont en principe été converties en .png. Veuillez donc renseigner cette extension dans le nom du fichier.

Les quatre paramètres suivants (left, right, bottom, upper) permettent de délimiter la zone de l’image à visualiser. Enfin, display_size permet d’agrandir le résultat.

Conclusion

Dans l’image utilisée pour la démonstration, vous pourrez remarquer que la dernière image paraît moins pixelisée que l’originale. Il faut néanmoins admettre que le résultat n’est pas optimal, et peut contenir certains artefacts qui rendent l’image peu réaliste. Ceux-ci peuvent apparaître lors de l’utilisation en séquence de plusieurs techniques de traitement de l’image (tel que le Demoiring et le Denoising). La super-résolution accroît alors non-seulement les détails de l’image, mais également les défauts insérés dans l’image par les techniques utilisées en amont. Cette problématique ne montre en fait qu’une partie du challenge de la restauration d’image, et de l’utilisation en chaîne de techniques de restauration d’image. C’est pour cette raison que nous sommes au CETIC en train de développer une solution, permettant de sélectionner automatiquement la meilleure configuration possible d’un pipeline de restauration d’image, afin de rendre le processus plus stable, et le plus accessible possible.

Par ailleurs, les couleurs de l’image testée ne sont pas non-plus très vives. Il existe pour cela également des méthodes, permettant d’augmenter l’éclat des couleurs et le contraste des images. L’intégration de telles techniques dans notre outil est actuellement en plein développement, et permettront d’aller plus loin dans la restauration et l’amélioration de vos images.

Enfin, nous n’avons abordé dans cette fiche qu’une manière simple et limitée d’utiliser notre outil de restauration d’image. Dans une deuxième fiche, nous présenterons l’outil plus en détail, et proposerons une solution permettant d’installer l’outil de manière pérenne sur votre poste de travail, vous permettant ainsi une utilisation et expérimentation plus intensive de l’outil.

TSorage : une plateforme de gestion de données (I)IoT

laurie — Fri, 13 Nov 2020 10:19:18 +0000

TSorage : une plateforme de gestion de données (I)IoT

Tags

laurie Fri, 11/13/2020 - 11:19

Télécharger le PDF

Fiche TSorage

Body

Vous êtes une entreprise à la recherche de technologies fiables, rapides et rentables concernant le déploiement d'applications basées sur des séries chronologiques à grande échelle? TSorage est la solution idéale pour gérer vos flux IoT!

Après la description de TSorage et de ses différents atouts, nous évoquons les concepts nécessaires à la compréhension de cette plateforme et expliquons son architecture. Nous terminons en vous présentant un cas d'étude.

Prérequis

Pour la lecture de ce document,

connaissance élémentaire de l’IIoT et de ses enjeux, de Kubernetes, de Cassandra.

Pour tester TSorage,

un cluster Kubernetes doit être installé, par exemple grâce à minikube.
Maîtrise de HTTP et/ou MQTT, JSON, PromQL, Docker.

Pour quoi faire?

À l’heure actuelle, les entreprises industrielles font face à une concurrence mondiale de plus en plus agressive. L'Internet industriel des objets (IIoT) est perçu comme une opportunité clé pour renforcer la position de ces entreprises ou pour gagner en compétitivité grâce à une meilleure productivité, à l’amélioration de la qualité des produits et à un meilleur contrôle des processus (voir notre fiche sur la gestion des réseaux de capteurs).

Cependant, la gestion de la vitesse et du volume des données de séries chronologiques fournies par ces IIoT représentent un défi dans lequel la valeur des solutions traditionnelles de gestion des données pour l'industrie tend à diminuer. Le monde industriel recherche des outils et des approches capables de répondre aux nouveaux besoins relatifs à l'évolutivité, à la disponibilité, au problèmes de réutilisation, d'intégration et de tarification, entre autres.

Afin de répondre à ces besoins, nous proposons une solution innovante pour la gestion des séries chronologiques appelée TSorage.

TSorage est une plateforme évolutive et résiliente, qui permet la collecte, l’ingestion, le traitement et le stockage de séries chronologiques (ou séries temporelles) générées par l'IoT (industriel ou non) comme les détecteurs, les sondes et autres capteurs au sens large du terme.

Cette plateforme propose une collection de services intégrés pour gérer les séries temporelles, à grande échelle, de tout type, avec un horodatage avec une résolution temporelle d’une milliseconde et avec aussi peu de contraintes techniques que possible.

Une série temporelle est définie comme une collection de valeurs, triées par un horodatage associé à chaque valeur. Dans TSorage, une valeur peut représenter n’importe quel concept tant que celui-ci peut être représenté sous forme d’un objet JSON.

Les atouts de TSorage

TSorage présente les avantages suivants :

Une disponibilité et un passage à l’échelle avant tout (évolutivité)!

TSorage s'appuie sur du matériel standard et moyen de gamme (commodity hardware) pour garantir un service évolutif et résilient aux pannes. Étant nativement une solution distribuée et décentralisée, ses capacités peuvent être étendues en ajoutant simplement plus de ressources sur un cluster TSorage. Lorsqu'il est déployé sur plusieurs sites, TSorage offre des performances de lecture et d'écriture locales tout en prenant en charge de manière transparente la réplication et la synchronisation entre sites, dans le monde entier. Lorsqu'un site se remet d'un problème de connexion, il se re-synchronise automatiquement avec les autres sites du groupe.

Pas de vendor lock-in mais des technologies standardisées, ouvertes, et pérennes

La technologie évolue extrêmement rapidement, surtout le domaine (I)IoT où de nouvelles façons de gérer et d'exploiter les capteurs émergent chaque année. Afin d'atténuer le risque de faire des choix technologiques qui s'avéreraient inappropriés à l'avenir, TSorage est composé de modules indépendants et basés sur des technologies open source. Avec une telle approche, les mises à jour sont beaucoup plus faciles lorsqu’une technologie vient en remplacer une autre. Tous les services de TSorage sont disponibles via une API REST qui offre un moyen standardisé de s’abstraire des technologies sous-jacentes. Cette plateforme favorise également l'intégration avec n'importe quelle source ou consommateur de données, faisant de TSorage une plateforme de choix pour vos applications IoT.

Une flexibilité des données

La plupart des capteurs mesurent un signal continu, tel qu’une température ou une pression. Cependant, les séries chronologiques couvrent également de nombreux autres types de données, tels que les positions géographiques, les transactions commerciales et pratiquement tous les événements répétitifs. TSorage gère nativement des types de données couramment utilisés et est conçu pour être facilement étendu afin de prendre en charge vos types de données spécifiques. Si vous pouvez représenter vos mesures sous forme d'objets JSON, TSorage peut les gérer!

Une adaptation rapide et de manière prévisible

L'ajout d'une nouvelle source de données (comme un capteur) doit être aussi simple et rapide que possible afin de ne pas étouffer toute innovation. Commencez simplement à alimenter TSorage avec un nouveau flux de données et administrez-le dans un second temps, soit via une application Web dédiée, soit par programmation. Chaque valeur peut être soumise avec des propriétés arbitraires (appelées “tags” dans la terminologie TSorage, nous détaillons cela dans la section suivante) qui permettent d'interroger et de gérer plus efficacement les sources de données. En fin de compte, les utilisateurs ne font plus référence à un identifiant de source unique, mais interrogent, comparent et agrègent les sources en fonction de leurs tags.

Au fur et à mesure que vous intégrez de plus en plus de sources de données à la solution, vos besoins de traitement augmentent. TSorage s'appuie sur une architecture élastique qui exploite efficacement les ressources de votre infrastructure. Commencez avec un petit nombre de services conteneurisés et étendez-les à volonté en exécutant simplement plus de nœuds de travail.

Une adaptation à votre infrastructure, prête pour le Cloud.

Lorsque TSorage est utilisé pour gérer des données sensibles, le déploiement sur site peut être préféré à l'utilisation d'une solution d'hébergement à distance. Pour d'autres cas d'utilisation, un déploiement sur un Cloud public ou privé est une meilleure option. Dans les deux cas, TSorage est fourni avec des scripts de déploiement et de surveillance qui réduisent la charge de déploiement et de maintenance de la solution.

Quelques concepts

Voici les différentes notions nécessaires à la bonne compréhension de la plateforme TSorage :

Une métrique

Concept fondamental de TSorage, une métrique est une entité abstraite associée à des mesures classées chronologiquement. Chaque mesure est également appelée un point de données ou une observation.

Dans TSorage, tous les points de données appartenant à une métrique représentent le même phénomène physique, numérique ou logique, et ont donc typiquement le même type de données (bien que ce ne soit pas une limitation technique de la plateforme). Le type de données d'une observation détermine la manière dont TSorage la stocke et la présente, ainsi que les transformations auxquelles cette observation peut être soumise.

Les tags

Les tags sont des propriétés associées aux points de données. Leur utilité est d'aider l'utilisateur à comprendre la signification d'une observation particulière ou à interroger des points de données ayant une signification particulière. Concrètement, un tag est un texte arbitraire (la clé), associé à une valeur textuelle arbitraire (la valeur). Il y a deux types de tags :

- les tags dynamiques : ils sont directement attachés à un point de données,

- les tags statiques : ils sont attachés à une métrique et sont automatiquement hérités de tous ses points de données.

Les tagsets

L'ensemble de tags associé à un point de données est appelé tagset. Un tagset combiné à une métrique constitue une série chronologique dans TSorage.

Il existe deux manières typiques d'utiliser les tagsets :

- Une métrique identifie un capteur (au sens large du terme), tandis que les tags clarifient le statut du capteur (nom du fabricant, position géographique, etc.) ou certains des points de données générés (qualité de la donnée, état de fonctionnement, etc.).
- La métrique fait référence à une propriété d'intérêt (utilisation du processeur, par exemple), tandis que les tags font référence à l'élément à l'origine des points de données (serveur numéro 5, par exemple).

Bien que mélanger ces deux approches soit techniquement possible, nous vous recommandons de choisir l'une d'entre elles et de vous y tenir.

Nous vous conseillons d’utiliser les tagsets pour appliquer une politique de sémantique, c’est-à-dire une ontologie. Au lieu de placer des informations dans le nom de la métrique, en utilisant certaines conventions spécifiques à l’entreprise qui sont peu respectées et qui souffrent donc de nombreuses exceptions, le nom de la métrique peut être dénué de sens et la sémantique peut être explicitée à l’aide du tagset.

Organisation hiérarchique

Veuillez noter que rien ne vous empêche d'organiser les métriques de manière hiérarchique, comme c’est souvent le cas avec les réseaux de capteurs industriels, car les clés de tag peuvent être utilisées pour définir les niveaux hiérarchiques de l'organisation (Vous en découvrirez davantage via la documentation officielle ou via cet article de blog).

Les séries chronologiques sont organisées de manière hiérarchique : les points de données et les valeurs agrégées des différentes séries chronologiques ayant la même métrique peuvent être combinés afin de produire une série chronologique plus générique. Bien que les technologies impliquées dans TSorage sont assez efficaces et passent bien à l’échelle, sachez que l'extraction et la fusion de plusieurs séries chronologiques peuvent mener à une consommation importante des ressources disponibles. Par conséquent, le nombre de séries chronologiques qui doivent être fusionnées pour satisfaire une requête de données doit rester raisonnable afin de maintenir la pression sur la base de données à un niveau acceptable.

Les messages

Afin d'offrir de meilleures performances, les communications TSorage sont basées sur le concept de message. Un message est essentiellement un ensemble de points de données liés à la même série chronologique. En d'autres termes, les messages sont un moyen de soumettre plusieurs points de données à la fois, tout en ne soumettant le nom de la métrique, le tagset dynamique et le type de données qu'une fois par message.

Chaque message doit contenir les éléments suivants :

- metric : l'identifiant de la métrique pour laquelle de nouveaux points de données sont fournis.
- tagset : l’ensemble de tags dynamiques associés à tous les points de données décrits dans le message.
- type : le type de tous les points de données décrits dans le message. Bien que l'utilisation du même type pour tous les points de données relatifs à une métrique soit généralement considérée comme une bonne pratique, le type associé à une métrique (ou à une série chronologique) peut changer d'un message à un autre.
- values : une liste de points de données. Chaque point de données est constitué de deux éléments : une représentation de l'horodatage associé au point de données et la valeur du point de données.

D'un point de vue technique, un message est représenté par un objet JSON (il peut également être représenté par un message Protobuf, cliquez ici pour plus d’infos).

Le schéma JSON d’un message TSorage est le suivant :

{

  "$id": "be.cetic.tsorage.messageschema.json",

  "type": "object",

  "properties": {

    "metric": {

      "type": "string"

    },

    "tagset": {

      "type": "object",

      "additionalProperties": {

        "type": "string"

      }

    },

    "type": {

      "type": "string"

    },

    "values": {

      "type": "array",

      "items": [

        {

          "type": "array",

          "items": [

            {

              "type": "string",

         "pattern" :"^(-?(?:[1-9][0-9]*)?[0-9]{4})-(1[0-2]|0[1-9])-(3[01]|0[1-9]|[12][0-9])T(2[0-3]|[01][0-9]):([0-5][0-9]):([0-5][0-9])(\\.[0-9]+)?(\\.([0-9]){1,3})?$"

            },

            {}

          ]

        }

      ]

    }

  },

  "required": [

    "metric",

    "type",

    "values"

  ]

}

Comme illustré ci-dessus, l'attribut tagset doit être un dictionnaire de chaînes de caractères. Chaque valeur (qui représente un point de données) est un tableau contenant l'horodatage et la valeur du point de donnée, dans cet ordre. L'horodatage est représenté par une chaîne de caractères au format ISO 8601.

La valeur elle-même peut être n'importe quel objet JSON valide. Son schéma réel dépend du type de donnée spécifié. Il existe plusieurs types de données proposés d’office par TSorage, et des types de données supplémentaires arbitrairement complexes peuvent être ajoutés à volonté.

L'extrait ci-dessous est un exemple de message valide décrit à l'aide du format JSON :

{

  "metric": "my-temperature-sensor",

  "tagset": {

    "quality": "good",

    "owner": "myself"

  },

  "type": "tdouble",

  "values": [

    [ "2020-01-02T03:04:05.678", 42.1337 ],

    [ "2020-01-02T03:04:06.123", 654.72 ]

  ]

}

Architecture

Le projet TSorage est basé sur une architecture modulaire, tous les modules étant conçus pour être exécutés dans des conteneurs Docker distincts. Cela fait de TSorage une solution portable, avec des étapes de déploiement simples et standardisées. Il offre également la possibilité de placer les composants sur différentes machines physiques et virtuelles, le rendant disponible sur une large gamme de plateformes et de services.

De plus, le (re)dimensionnement d'une architecture conteneurisée est plus facile, puisqu'un composant peut être déplacé vers une plateforme offrant plus de ressources. Sous certaines conditions, les conteneurs peuvent être dupliqués afin d'augmenter les performances des modules sous-jacents.

La figure ci-dessous donne un aperçu de l'architecture TSorage.

La passerelle (Gateway) : le traitement des séries temporelles commence par la couche Gateway, qui contient des composants ad hoc pour collecter ou extraire des valeurs de séries chronologiques à partir de diverses sources de données. Cette couche prend en charge diverses technologies de communication industrielles, y compris Modbus, OPC-UA et MQTT. Les bases de données distantes peuvent également être consultées pour la collecte de données historiques. Les valeurs de séries chronologiques collectées sont standardisées et temporairement stockées dans un tampon avant d’être finalement transmises à la couche d'ingestion à l'aide des protocoles HTTP ou MQTT.

La couche d’ingestion : le système d’ingestion des données est polyvalent et se base sur des technologies standardisées (HTTP, MQTT, etc.) afin de faciliter l’intégration de TSorage dans votre système informatique! Cette couche est celle du point d'entrée des valeurs de séries chronologiques : la conformité des messages reçus est vérifiée, les messages non autorisés sont rejetés. À partir de là, les entités décrites sont considérées comme des composants internes de TSorage, ce qui signifie essentiellement qu'elles sont gérées par le cluster TSorage. La couche d’ingestion est composée de différents modules d'interface, chacun d'entre eux fournissant un moyen spécifique pour une source de données de soumettre de nouvelles valeurs de séries chronologiques. Les messages acceptés sont poussés vers un topic Apache Kafka12, qui agit comme une file d'attente de messages pour les services internes de traitement de TSorage.

La couche de traitement (processing) : à ce stade, un ensemble d’applications de traitement gère le flux de messages Kafka. C’est le langage de requêtes de séries chronologiques de Prometheus, PromQL, qui a été implémenté afin d’exploiter les données collectées. Ce langage permet de réaliser des agrégations temporelles, des combinaisons de valeurs, et de filtrer des données tout en prenant en compte la sémantique associée aux capteurs." Il permet d’effectuer des agrégations et des transformations de données en temps réel.

- Les rollups de données (data rollups) sont des agrégations des valeurs au fil du temps. De cette façon, des analyses de haut niveau couvrant de longues périodes peuvent être effectuées plus facilement. Les rollups facilitent également l’analyse de séries chronologiques, car leurs valeurs sont alignées chronologiquement.
- Les transformations de données sont les modifications des valeurs, des noms et des tags des séries chronologiques, en temps réel et selon des fonctions métier, afin d’enrichir les informations traitées.

La couche de stockage (storage) : Apache Cassandra est utilisé pour stocker des valeurs de séries chronologiques de manière permanente. Cette base de données distribuée et décentralisée offre une évolutivité linéaire, tandis que la réplication automatique des données entre différents sites permet à la solution de rester opérationnelle et de se remettre automatiquement de la défaillance d’un nœud ou même d’un data center entier. De cette façon, la pérennité, la survie et la disponibilité des données sont assurées. TSorage offre également une résilience aux pannes grâce à un mécanisme qui assure la migration automatique des différentes fonctionnalités de la solution d’un serveur défaillant vers un autre fonctionnel, garantissant ainsi une haute disponibilité des différents services.

Le modèle de données conçu respecte la nature des données manipulées et des requêtes typiques qui se rapportent à une série chronologique ainsi qu’à un intervalle de temps précis. En plus des valeurs de séries chronologiques, la base de données stocke également les métadonnées qui aident à atteindre plus efficacement les données souhaitées. Par exemple, une liste de toutes les partitions associées à une métrique particulière, et ayant un tagset particulier, est tenue à jour afin d’améliorer le temps de réponses des requêtes.

La couche Hub : il s’agit des services qui aident l’utilisateur à interagir avec les autres couches. Les services déployés dépendent des besoins de l’utilisateur mais ils incluent généralement la gestion des tags, le requêtage de données et les représentations de ces dernières sous forme de tableaux de bord. Grafana est l’outil proposé pour concevoir et déployer facilement des tableaux de bord, alimentés par les valeurs de séries temporelles ingérées, sous la forme de visualisation SCADA. La couche Hub offre une implémentation de PromQL, le langage de requête de séries chronologiques de Prometheus. Les outils d’analyse et de visualisation supportant ce langage s’intègrent donc aisément avec TSorage.

Un exemple de cas d’étude

Le CETIC a évalué TSorage dans le cadre du projet de recherche industrielle SW-ARTEMTEC. L’objectif était de fournir des outils analytiques modernes et avancés issus des technologies liées au big data et à la réalité augmentée afin d’améliorer la maintenance des sites industriels répartis géographiquement dans le monde entier.

Le partenaire du CETIC, Safran Aero Boosters (SAB), a apporté des flux données provenant de divers capteurs mesurant l’activité d’équipement de test aérospatial. Ces flux de données ont été enregistrés et traités avec TSorage afin de détecter toute anomalie. Le résultat attendu de ce projet est le développement de services innovants répondant aux attentes du marché de SAB.

Pour aller plus loin...

La plateforme TSorage a été développée par le CETIC dans le cadre de l’Industrie 4.0, avec l’ambition de développer un portefeuille d’outils de gestion de données modernes et conformes aux enjeux introduits par l’Internet Industriels des Objets.

Vous trouverez la documentation technique ici, n’hésitez pas à contacter le CETIC pour plus d'informations.

Vous pouvez également générer des séries temporelles paramétrables grâce à TSimulus pour ensuite les stocker et les visualiser grâce à TSorage.

Notez que TSorage peut aussi être déployé à l’aide de FADI, une plateforme “cloud native” dédiée au Big Data.

DMWay, la communication IoT simplifiée

laurie — Thu, 12 Nov 2020 14:22:15 +0000

DMWay, la communication IoT simplifiée

Tags

laurie Thu, 11/12/2020 - 15:22

Télécharger le PDF

Fiche DMway

Body

Du smart building à l’Industrie 4.0 en passant par l’e-santé, de plus en plus d’appareils intelligents infiltrent notre quotidien. Que ce soit pour optimiser l’efficacité énergétique d’un bâtiment, faire de la maintenance prédictive, s’assurer un meilleur confort de vie,... Il existe désormais une pléthore d’objets connectés! Le hic ? Il existe également une multitude de protocoles IoT. Trouver un seul protocole de communication compatible avec tous les différents appareils connectés s’avère compliqué... sauf si vous avez DMWay!

Cette fiche vous explique plus en détails DMWay, la solution multi-protocoles de gestion de données pour l’IoT Gateways.

Pour qui ?

Vous êtes une entreprise utilisant de nombreux capteurs hétérogènes ? Une entreprise industrielle désirant commander sa chaîne de production ? Votre société propose des services de maintenance prédictive ? Vous implémentez des solutions de capture de données ? Vous devez certifier des installations ? Vous vendez des gateways industrielles et des solutions de data-lake ? Vous voulez simplement vous simplifier la vie quant à la collecte et à la gestion de vos données ?

DMWay est une solution logicielle qui va fortement vous intéresser !

Pour quoi faire ?

A l’heure actuelle, il existe une multitude d’objets connectés et tout autant de protocoles de communication IoT, propriétaires ou non. La gestion des sources et des formats de données hétérogènes est très compliquée : les backends ont besoin d’un connecteur adapté pour chaque protocole étant donné que de nombreux types de sources de données ont leurs propres caractéristiques et exigences. Les utilisateurs se retrouvent souvent bloqués soit par rapport à une marque de matériel soit avec un système de gestion qui ne répond pas complètement à leurs attentes.

DMWay (Dynamic Mapping Gateway) sert d’intermédiaire entre les objets connectés et les applications web. Son objectif est d’interconnecter des données hétérogènes en uniformisant les protocoles IoT reçus en entrée et en fournissant, en sortie, les différents protocoles dans le format souhaité.

On peut plus facilement résumer le rôle de DMWay à celui de traducteur !

Les atouts de DMWay

Se défaire du vendor lock in

Avec DMWay, vous êtes propriétaire de vos données et vous pouvez les gérer comme vous le souhaitez.

Le multiplexage de données

Grâce à DMWay, vous pourrez connecter vos différents capteurs/actionneurs et distribuer les données qui en résultent à des backends différents. Si vous disposez de 45 capteurs de marque X conçus pour communiquer avec le backend de cette même marque X, il est difficile d’apporter de l’évolutivité à vos données ... Or déployer DMWay comme intermédiaire, vous permet de communiquer les données avec des backends d’autres marques ou open-source.

La sémantique des données

La sémantique des données concerne la signification du message : elle assure la conservation du sens des données lors des échanges entre les différentes parties communicantes. Le rôle de la sémantique est vraiment d’assurer la cohérence des significations reçues (on parle d’interopérabilité sémantique).

DMway permet de détecter et conserver la sémantique initiale, et sous certaine configuration, il peut l’enrichir, surtout lorsque les couches de protocoles sous-jacentes sont faiblement structurées.

Le support built in des standards majeurs de l’IoT

DMway comprend les protocoles principaux, les standards majeurs de l’industrie IoT :

OCF/OneIOTA
OneM2M/HGI
OPC/UA
CoAP
CayenneLPP
ZWave
ModBus
MQTT
...

Les interfaces supportées

Afin de supporter les différents protocoles ci-dessus, DMway supporte diverses interfaces physiques, comme Ethernet, WiFi, GPRS, ou Serial, RS-485, . En effet, p… Par exemple, vous pouvez communiquer directement vers un équipement en CayenneLPP via Serial ou communiquer en ZWave, RF, LoRaWAN,... via leurs outils d’interfaçage MQTT.T au moyen d’une connexion Ethernet.

Support built in des backends les plus communs

La solution DMway permet d’intégrer très facilement un nouveau backend grâce à une configuration rapide !

Actuellement, elle vous permet de communiquer vers l’extérieur envia, entre autres, MQTT, CoAP, OneM2M et SerialM.,... DMway dispose également de connecteurs spécifiques pour MongoDB, RabbitMQT, Thingsboard et TSorage (et prochainement OPC/UA !).

Si vos plateformes intègrent du MQTT, comme Azure ou AWS par exemple, vous pouvez également les connecter directement à DMwWay.

Versatilité dans le déploiement

DMway est un logiciel léger que vous pouvez déployer à divers endroits de votre architecture :

Edge computing : vous pouvez réalisez une implémentation de DMWay directement dans votre gateway.
Cloud computing/ Fog server : vous pouvez installer DMWay a l’entrée d’une solution de stockage ou de votre plateforme web pour simplifier l’interconnexion de vos capteurs.
Hybride (Edge & Cloud) : vous pouvez déployer DMWay sur votre gateway et sur vos serveurs afin de simplifier et uniformiser votre architecture de déploiement.

Pourquoi choisir DMway plutôt qu’une autre solution ?

DMWay fait face à de nombreux concurrents sur le marché… Néanmoins, aucun ne couvre tous les aspects de DMWay !

Les cas d’utilisation de DMway

DMWay a déjà été mobilisé dans divers cas d’utilisation :

Le projet de recherche MAPIU

L’objectif de ce projet dans le domaine de la logistique était de voir, grâce au placement de capteurs à l’intérieur de camions, les chocs subis par les caisses lors du transport. DMWay a été implémenté entre les capteurs et le système de gestion situé dans le cloud.

Le projet de recherche KEY2SUCCESS4.0

Ce projet de démonstrateur industriel léger et polyvalent a pour but de démontrer l’usage de l’IoT dans l’industrie 4.0. DMWay a été implémenté localement en tant qu'interprète multiplexeur.

Le projet Build4Wal

Ce projet, aussi appelé Construction 4.0, a pour objectif de stimuler la transition numérique du secteur de la construction. DMWay facilite le déploiement des capteurs pour l’interconnexion à la plateforme Thingsboard.

Le système domotique du CETIC

Des capteurs hétérogènes ont été installés au sein du bâtiment. Ce cas d’application illustre la capacité d’ajout de capteurs à chaud ainsi que le multiplexage : de nouveaux capteurs ont été installés sans avoir besoin de modifier la configuration ou de faire quoi que ce soit d’autre. La communication s’est directement faite avec le système déjà en place et avec différents backends tels que Thingsboard et Grafana.

La démonstration en vidéo

Voici le replay du webinaire organisé par le Hub-C le 16 décembre 2021 afin de faire une démonstration de DMway La présentation est réalisée par Amel Achour, ingénieure de recherche Senior en Evolutivité des systèmes embarqués et réseaux IoT au sein du CETIC.

Pour aller plus loin...

DMway est un outil développé par le CETIC, n’hésitez pas à prendre contact si vous désirez des informations supplémentaires!

Si vous voulez en savoir plus sur les réseaux de capteurs et l’IoT, vous pouvez consulter nos fiches relatives à la gestion des réseaux de capteurs, à la plateforme IoT Thingsboard ou encore celles concernant la fabrication de son propre système domotique open source et de son propre moniteur de qualité d’air.

Besoin d’une aide supplémentaire ?

Vous avez une question spécifique à propos d’une fiche? Elles sont réalisées par les experts du CETIC (Centre d'Excellence en Technologies de l'Information et de la Communication), un centre de recherche appliquée en informatique situé à Charleroi. Vous trouverez toutes les coordonnées ici.

L'impression 3D

laurie — Wed, 11 Nov 2020 12:36:06 +0000

L'impression 3D

Tags

Logiciel

Prototypage

laurie Wed, 11/11/2020 - 13:36

Télécharger le PDF

Fiche L'impression 3D

Body

Cela ne peut vous avoir échappé, les techniques d’impression 3D se développent de plus en plus ces dernières années et viennent bouleverser nos modes de production : coeurs artificiels, équipements sportifs, tiny house, bâtiments de plusieurs niveaux,... Tout ce qui s’imagine aujourd’hui peut se construire dès demain!

Vous aussi vous souhaitez virtualiser et matérialiser tout ce que vous imaginez en 3D? Cette fiche vous présente un aperçu des différentes technologies de fabrication additive (dont une description plus détaillée du processus d’impression FDM), les étapes nécessaires à la conception de votre objet en trois dimensions ainsi que quelques logiciels pour vous y découvrir cette technologie disruptive.

Pour quoi faire ?

L’impression 3D vous permet de :

Réaliser des pièces introuvables dans le commerce, des pièces trop coûteuses,...
Personnaliser vos produits afin de répondre à des besoins spécifiques, chaque réalisation peut être unique!
Prototyper rapidement : avec l’impression 3D, vous gagnez du temps, de l’argent et de la précision. Plus besoin de créer plein de moules pour arriver à fabriquer la pièce tant désirée, vous gagnez en agilité et réduisez vos itérations. La méthode de fabrication est considérablement accélérée grâce à cette technologie!
Optimiser aisément le design de vos pièces : réduire le gaspillage de matière, les coûts de production, tenter des formes complexes,...

Pour qui ?

Une multitude de secteurs peut être intéressée par l’impression 3D! Voici quelques idées d’applications :

L’architecture et la construction : impression de maquettes, de bâtiments plus durables, (re)construction rapide,...
Le secteur médical : impression d’appareils médicaux, de prothèses et d’implants adaptés, d’organes,...
L’industrie chimique : impression d’assemblages moléculaires,...
La mécanique
L’agroalimentaire : impression de moules complexes, impressions alimentaires,...
L’éducation : les réalisations 3D servent comme supports d’apprentissage à de nombreux autres domaines
L’aéronautique et l’aérospatiale : impressions de pièces spécialisées, de structures complexes,....par exemple, Airbus a imprimé des pièces certifiées pour le vol et des structures de cabines, la Nasa a imprimé un système correcteur pour un moteur de fusée,...
La défense : impressions d’équipement, d’armes,...
Le retail et la distribution : c’est toute la chaîne de valeur qui peut être repensée grâce à l'impression 3D (distribution instantanée, personnalisation du produit, production à la demande,...)
L'énergie : impressions de panneaux solaires, d’hélices,... retrouvez plusieurs idées de projets pour ce secteur sur Sculpteo.
L’automobile : voici une liste de projets déjà réalisés, on peut citer la personnalisation des jantes ou de l’esthétisme complet du véhicule, la réduction de son poids, le développement de voitures moins polluantes,...
La mode et le textile : impressions directes sur les tissus, assemblage sans couture, mélanges de matières, innovation dans les fonctionnalités du vêtement,...
La robotique : amélioration de robots spécialisés.
L’optique
Les productions industrielles
L’audiovisuel et le cinéma : réalisations de décors, d’accessoires, de maquettes, de costumes et de figurines grâce à l’impression 3D.
La joaillerie : impressions rapides de bijoux personnalisés, avec des matériaux précieux et selon des formes complexes, l'impression 3D s’invite dans l’univers du luxe!
L'électronique : impression de composants et de circuits électroniques

De plus, cette technologie est de plus en plus accessible financièrement; elle ne s’adresse plus uniquement aux professionnels mais également aux particuliers qui veulent revisiter leurs hobbies!

Comment ?

L'impression 3D, ou fabrication additive (FA), regroupe l’ensemble des procédés de fabrication de pièces en volume par ajout ou agglomération de matière.

Dans la suite de cette fiche, nous vous décrivons très brièvement les trois différentes technologies d’impression additive et plus spécifiquement, les étapes du processus d’impression par dépôt de fil (FDM). Nous vous invitons également à découvrir le Fab-C qui vous permettra de vous initier ou de vous perfectionner dans l’impression 3D.

Les différentes technologies d’impression 3D

Nous présentons très succinctement les 3 grandes catégories de technologies de fabrication additive, quelques points forts et quelques points faibles,... Vous pouvez trouver davantage d’informations à ce sujet ici.

L’impression par dépôt de fil ou extrusion (FFF ou FDM)

Il s’agit de la technique d’impression 3D la plus populaire car elle est rapide, économe et accessible à Monsieur et Madame Tout-le-monde. Votre objet est modelé par un dépôt et une superposition de couches de filament thermoplastique en fusion (“Fused Filament Fabrication” ou “Fused Deposition Modeling” ).

Vous trouverez une large gamme de matériaux thermoplastiques disponibles (par exemple l’ABS, le PLA, le polycarbonate, le polyamide et le polystyrène) et dans de nombreuses couleurs.

Bien qu’il existe des machines professionnelles (Ultimaker, Zortrax,...) voire industrielles (Markforged notamment), ce n’est pas la technologie la plus utilisée pour cela car les modèles conceptuels sont assez basiques et la précision n’est pas très élevée.

La stéréolithographie (SLA en abrégé)

La technologie SLA utilise le principe de photopolymérisation où une lumière UV, provenant d’un laser ou d’un projecteur numérique (“Digital Light Processing”), solidifie une couche de résine liquide. De cette façon, l’objet est imprimé couche après couche.

Les avantages de cette technologie sont qu’elle est très précise et permet une très grande qualité des détails en termes de finition et de résolution des impressions car le laser est contrôlé et dirigé par des miroirs. Comme autre avantage, on peut également citer la bonne résistance inter-couches de l’objet.

Après traitement, les pièces imprimées doivent être nettoyées dans un bain de solvant, puis placées dans un four à ultraviolet afin de durcir. Attention, ce traitement peut légèrement déformer votre pièce.

La technologie SLA est assez coûteuse (surtout au niveau des exigences de maintenance) et demande une certaine expertise, elle est donc surtout privilégiée dans les secteurs industriels. Les avantages de cette technologie intéressent beaucoup les domaines de l’horlogerie, de la joaillerie, de la bijouterie, mais aussi les secteurs dentaires, médicaux et mécaniques (certaines résines sont d’ailleurs conçues spécifiquement pour ces secteurs!)... Ou encore le secteur de conception et de production d’instruments de musique!

Parmi les imprimantes 3D utilisant cette technologie, nous pouvons citer la Form 3 de FormLabs (ce sont d’ailleurs les pionniers de l’impression 3D personnelle par SLA!), l’imprimante 3D ProJet® 7000 HD de chez 3D Systems ou encore la Peopoly Phenom.

L’impression par liage de poudre (SLS, SLM, DMLS)

La troisième technologie d’impression 3D est celle du liage de poudre (aussi appelée “projection de lien”, ou “Binder jetting”) : un liant liquide est pulvérisé, grâce à une tête d’impression semblable à celle d’une imprimante 2D, sur un lit de poudre qui va ensuite se solidifier couche après couche pour former votre pièce finale.

Plusieurs méthodes utilisent cette technologie : la fusion sélective au laser (SLM), le frittage laser direct des métaux (DMLS), la fusion par faisceau d’électrons (EBM), la fusion multi-jets (MJF), l’impression en poudre à base de plastique, le frittage laser sélectif (SLS),...

Un post-traitement est nécessaire afin d’augmenter la résistance de votre objet imprimé; certaines pièces doivent être vernies (les céramiques par exemple) ou frittées dans un four spécifique (lorsqu’il y a un liant métallique).

Peu accessible aux amateurs et assez coûteuse, cette technologie ne dispose pas encore d’une communauté aussi développée que les imprimantes 3D utilisant des filaments en plastique (FDM) ou de la résine (SLA). La technique du liage de poudre est plutôt réservée au prototypage professionnel ou à la fabrication industrielle car elle permet un grand volume d’impression, la conception de pièces très complexes et d’avoir une meilleure prévisibilité du produit fini au niveau de ses propriétés mécaniques, ce qui est parfait pour le développement de pièces en série!

La polyvalence des types de matériaux qui peuvent être utilisés est un atout supplémentaire. En effet, une multitude de poudres peut servir de consommables : gypse, sable, céramiques, métaux (titane, aciers inoxydables, cuivre,...), polymères granulaires,... et il est également possible de faire des modèles en couleur!

Vous trouverez des imprimantes 3D à liage de poudre chez 3D systems, Concr3de, ExOne, Höganäs, FormLabs (avec l’imprimante Fuse 1),...

L'impression 3D FDM

Bien que cette partie décrit le processus d’impression d’un objet en trois dimensions à l’aide de la technologie FDM, les étapes sont presque identiques si vous utilisez les autres technologies décrites dans la section ci-dessus : vous aurez tout autant besoin du fichier de modélisation de votre objet et celui-ci devra passer par un logiciel de tranchage avant l’impression.

Illustration du processus d’impression d’un objet 3D

Matériel requis pour une impression FDM

– une imprimante 3D FDM,

– une bobine de filament,

– un fichier 3D (au format STL ou OBJ),

– un logiciel de slicing (ou logiciel de tranchage) pour trancher le fichier et transmettre les indications à l’imprimante,

– un ordinateur.

Les différentes étapes

1. La modélisation de votre objet

Pour pouvoir imprimer en 3D, il vous faut impérativement un fichier 3D de votre objet. Pour obtenir cela, vous avez 3 possibilités :

construire votre modèle 3D grâce à un logiciel CAO,
scanner votre objet en 3D,
télécharger des modèles tridimensionnels existants : vous pouvez en trouver des gratuits facilement sur de nombreux sites, par exemple Thingiverse, Cults3d, My mini factory, YouMagine,....

Quel que soit le moyen choisi, vous devez disposer à la fin de votre modélisation d’un fichier .stl ou .obj à importer et à ouvrir dans le logiciel d’impression 3D fourni avec votre imprimante 3D.

Illustration de l'étape de modélisation du projet

2. Préparation du fichier avant l’impression 3D

Pour pouvoir imprimer votre objet en 3D, vous devez transformer le fichier de modélisation numérique en un fichier adapté à l’imprimante 3D. Pour cela, vous devez utiliser un slicer, un logiciel de tranchage qui va “trancher” votre objet en une série de couches superposées et fournir les instructions nécessaires à l’imprimante, dans un fichier G-Code. Si vous désirez en savoir plus sur cette étape ou connaître les slicers open source et gratuits les plus courants, rendez-vous sur la fiche relatives aux slicers.

Illustration de la préparation du fichier avant impression

3. Transfert du fichier G-Code à l’imprimante

Ensuite, vous devez transmettre votre fichier G-Code à votre imprimante, vous avez 3 manières de faire possibles :

En connectant votre imprimante 3D directement à votre ordinateur à l’aide d’un câble USB (attention au mode “veille” qui peut interrompre le processus!).
En enregistrant votre fichier sur une carte SD et l’insérer dans votre imprimante 3D.
En utilisant la connectivité WiFi. Plusieurs applications et logiciels existent pour utiliser ce processus (OctoPrint, Repetier-Host, AstroPrint,...). Voici un tutoriel vous expliquant comment faire avec Octoprint.

Illustration du transfert de fichier vers l'imprimante

4. Les réglages et connexions de votre imprimantes 3D FDM

N’oubliez pas de vérifier vos différents branchements, la stabilité de votre imprimante (particulièrement au niveau de la tête d’impression) et de votre plateau d’impression ainsi que son niveau (il ne faut ni trop de jeu, ni trop de résistance).

5. Le processus d’impression FDM en tant que tel

Pour commencer l’impression de votre objet désiré, insérez votre bobine de filament (généralement à base de plastique, PLA ou ABS) sur son support.

Ensuite, on vous conseille de couper le bout de votre filament en biseau pour faciliter son insertion dans le tube qui sert de guide-filament et ensuite, son entrée dans l’extrudeur. Mais qu’est-ce que l’extrudeur ? Composé de différentes parties (moteur d'entraînement, bloc chauffant, buse,...), l’extrudeur est ce qui permet à votre imprimante 3D d’éjecter le matériau liquide afin de créer votre pièce en 3D par additions successives de couches.

Illustration d'une imprimante 3D FM

Votre imprimante va chauffer le plateau et la buse d’extrusion. Pendant ce temps-là, un moteur (l’alimenteur/feeder) entraîne directement des roues crantées qui vont entraîner à leur tour le filament pour le pousser vers la source de chaleur de l’extrudeur.

Le bloc chauffant va chauffer la buse d’extrusion et faire fondre le fil. L’imprimante va déplacer la tête d’impression en déposant le filament fondu à des endroits précis sur le plateau. Quand une couche est terminée, le processus se répète couche par couche. Le filament fondu va refroidir et se solidifier afin de former votre objet en trois dimensions.

La durée de l’impression 3D dépendra de la taille et des paramètres de votre modèle selon la configuration que vous avez effectuée avec le logiciel de tranchage lors de l’étape 2.

Une fois imprimée, votre pièce 3D n’est pourtant pas “prête à l’emploi”... un petit post-traitement s’impose. Si vous avez utilisé du PLA, il est conseillé de polir votre objet à la main avec du THF (tétrahydrofuranne) pour lisser vos surfaces alors que si vous avez utilisé de l’ABS, préférez utiliser des vapeurs d’acétone.

Pour aller plus loin… Découvrez le !

Vous avez une question? Vous désirez en savoir plus ou tout simplement vous mettre à l’impression 3D? Delphine et Sylvain du Fab-C (partenaire du Hub Créatif de Charleroi) sont là pour vous aider! N’hésitez pas à les contacter!

Saviez-vous que…

Le Fab-C dispose d’une imprimante Ultimaker 3 avec les caractéristiques suivantes ?

Volume d'impression : de 215 x 215 x 200 mm
Précision : jusqu'à 20 microns avec Print Core 0.4mm
Température d'impression : jusqu'à 280°C
Double extrusion : avec matériaux de support
Print Core : interchangeables
Plateau chauffant : avec ajustement de niveau automatique

Sylvain vous explique d’ailleurs dans ce tutoriel comment changer le filament sur ce type d’imprimante!

Le Fab-C dispose également d’une imprimante Form2 de FormLabs pour l’impression résine (rappelez-vous… C’est la technologie SLA)! Ses caractéristiques sont les suivantes :

Volume d'impression : 14,5 × 14,5 × 17,5 cm
Technologie : Stéréolithographie (SLA)
Taille du faisceau laser : 140 microns
Puissance du laser : 1 x Laser 250 mW
Épaisseur de couches : 25 - 300 microns
Plateau chauffant : avec ajustement de niveau automatique
Supports des pièces : générés automatiquement / Retrait avec outils

Besoin d’une aide supplémentaire ?

Vous avez une question spécifique à propos d’une fiche? Elles sont réalisées par les experts du CETIC (Centre d'Excellence en Technologies de l'Information et de la Communication), un centre de recherche appliquée en informatique situé à Charleroi. Vous trouverez toutes les coordonnées ici.

La conception assistée par ordinateur (CAO/CAD)

laurie — Tue, 10 Nov 2020 09:55:58 +0000

La conception assistée par ordinateur (CAO/CAD)

Tags

Logiciel

Prototypage

laurie Tue, 11/10/2020 - 10:55

Télécharger le PDF

La conception assistée par ordinateur (CAO/CAD)

Body

Vous êtes intéressés par le prototypage rapide sans pour autant être calé en dessin, calcul ou programmation? La conception assistée par ordinateur, ou CAO, est une solution qui va vous intéresser!

Si ces termes ne vous disent rien, pas de panique. Nous vous expliquons tout dans cette fiche : ce que c’est, son utilité, ses avantages,... et nous vous proposons également quelques logiciels libres et open source afin de découvrir cela par vous-mêmes!

Pour quoi faire ?

La CAO, c’est-à-dire la conception assistée par ordinateur (ou computer aided design - CAD en anglais), est une technologie de conception et de documentation techniques qui remplace le dessin manuel par un processus automatisé. Grâce à des logiciels et à des techniques de modélisation géométrique, vous pouvez organiser des fonctions techniques, concevoir et tester virtuellement des objets avant de le fabriquer véritablement. Un logiciel CAO facilite le design de votre pièce ou de votre série de pièces, que celles-ci soient complexes ou non.

Les différences entre la CAO et le DAO

Attention à ne pas confondre la CAO avec le DAO (Dessin Assisté par Ordinateur).

Le DAO est une composante de la CAO, il remplace les tables et planches à dessin d’autrefois. Il s’agit de logiciels spécifiques permettant la conception et l’édition de dessins techniques, de plans et modèles graphiques sur ordinateur. Les avantages du DAO sont

Une réalisation, une modification, un ajout ou une suppression rapide d’éléments. Faire cela sur un dessin réalisé à la main demande du temps et de nombreuses reproductions.
Une utilisation des données beaucoup plus facile : le DAO permet de gérer, transférer et reproduire les données beaucoup plus aisément.
Les données sont moins vulnérables qu’un dessin sur papier car elles peuvent être sauvegardées automatiquement.
Le risque d’erreurs est réduit : vous aurez beaucoup plus de précision avec une représentation 3D et les erreurs seront plus rapidement repérées.
L’association du dessin avec de nombreux outils vous permet d’obtenir de nombreux mélanges de couleurs et d’associer différents supports.

En résumé les logiciels CAO vous permettent de

rédiger plus facilement de la documentation de construction,
explorer des idées de conception,
visualiser des concepts grâce à des maquettes numériques et selon différents angles de vue,
simuler les performances d'une conception dans le monde réel.

Autrement dit, vous pouvez gérer l’intégralité du cycle d’une production industrielle avec un logiciel CAO.

Quels sont les avantages d’un logiciel CAO ?

Bien que certains logiciels CAO soient spécialisés selon un métier spécifique, il n’est pas nécessaire d’avoir des aptitudes particulières en dessin ou en programmation pour découvrir la CAO. Certains logiciels se trouvent à la portée de tous!

Les logiciels de Conception Assistée par Ordinateur augmentent grandement votre productivité grâce à l’automatisation de nombreuses tâches et à la réduction des délais d’exécution, mais également grâce à une planification exacte et à une grande précision de calculs : vous pouvez travailler de manière précise sur le design de votre produit sans craindre d’erreur dans le processus de conception.

Grâce à l’imagerie 2D et 3D, vous pouvez visualiser plus aisément votre objet, tant au niveau de son aspect, que de sa structure ou encore de son fonctionnement, avant même que celui-ci ne soit fabriqué. De cette façon, vous pouvez réaliser autant de simulations et de variations pour améliorer la qualité et l’esthétisme de vos produits sans que cela ne vous coûte un sous.

La CAO vous permet également d’accélérer votre prototypage en vous passant des moules et matrices traditionnellement réalisés pour les prototypes : il vous suffit de matérialiser vos fichiers CAO en objet grâce à l’impression 3D par exemple!

Répondre aux besoins et aux attentes de votre marché, surtout en termes de personnalisation de produits, n’aura jamais été aussi aisé et rapide!

Pour qui ?

L’architecture, l’ingénierie, la construction mécanique, l’urbanisme, la médecine, les transports, l’ameublement, la métallerie, l’énergie, l’électronique, la confection de vêtements, l’outillage,.... Les applications des logiciels CAO sont presque infinies. Il est plus simple de dire que la Conception Assistée par Ordinateur s’adresse à vous si, dans votre domaine, vous devez établir un prototype afin de vérifier la faisabilité et la correspondance avec votre cahier des charges.

Matériel requis :

Il vous faut un ordinateur et un logiciel CAO, tout simplement! Nous vous en présentons plusieurs dans cette fiche.

Quelques clarifications...

Y a-t-il une différence entre les expressions « logiciel open source » et « logiciel libre »?

Un logiciel open source, comme son nom l'indique, est “ouvert”, c’est-à-dire que tout le monde a la possibilité d'accéder à son code source avec la possibilité d'étudier le fonctionnement du programme et de l'adapter à ses besoins. On peut également redistribuer le code source et créer des produits logiciels dérivés.

Un logiciel libre est similaire à un logiciel open source mais la philosophie et l’éthique qui entourent ce concept vont plus loin. Avec un logiciel libre, vous avez la liberté d’exécuter le programme pour tous les usages que vous souhaitez, d’étudier le fonctionnement du programmes et de l’adapter à vos besoins, de redistribuer des copies (dans le but d’aider autrui) mais vous avez aussi la liberté d’améliorer le programme et d’en publier les améliorations dans le but d’en faire profiter la communauté.

En conclusion un logiciel est forcément open source s'il est libre mais l'inverse n'est pas vrai : un logiciel peut être open source sans être libre. Les logiciels open source correspondent plutôt à une méthodologie de développement qui met en avant les avantages du partage du code et de la collaboration pour les entreprises; alors que les logiciels libres tendent plutôt vers un mouvement social, avec une certaine philosophie et éthique propre.

Donc, vous aurez compris que « logiciel libre » et « open source » ne sont pas synonymes.

Pourquoi privilégier des logiciels libres et open source?

Les logiciels libres et open source sont privilégiés pour leurs aspects didactiques car ils sont toujours bien documentés. Le partage aussi est plus facile d’autant qu’ils sont souvent gratuits. Idéalement il faut choisir de travailler avec des logiciels accessibles à tous les systèmes : Microsoft Windows, iOS d’Apple, et les systèmes GNU/LINUX (critère multiplateforme) .

Logiciels de modélisation 3D

Il existe des logiciels CAO spécifiques à chaque domaine, ou presque. Nous vous proposons une liste (non exhaustive) d'une série de logiciels CAO 2D/3D qui vous seront utiles pour réaliser vos projets en impression 3D.

OpenSCAD – Logiciel de modélisation tridimensionnelle. Il a pour particularité de fonctionner de façon entièrement paramétrique, c’est-à-dire que la conception passe par la rédaction d’un script. Bien que ce logiciel soit intuitif, il n’est pas accessible à tout le monde : en effet, il faut quelques notions en codage. Vous trouverez la documentation et une série de tutoriels ici.

FreeCAD – Voici un logiciel accessible et flexible! Il convient vraiment à tous les utilisateurs de CAO, débutants ou non. FreeCAD dispose d’excellents outils de modélisation 3D CAO, IAO (Ingénierie assistée par ordinateur), PLM (Product Lifecycle Management ). Ce logiciel est orienté vers le génie mécanique et le design de produits, mais il peut également convenir pour d’autres disciplines, telles que l’architecture ou d’autres branches de l’ingénierie. FreeCAD permet aussi de faire des dessins (sketch) 2D contraints. Voici l'accès à la documentation.

Blender – Il s’agit d’un un logiciel bien connu mais qui n’est pas vraiment adapté aux débutants. Il dispose de fonctions avancées de modélisation et de sculpture 3D, de dépliage UV, de texturage, de squelettage (“rigging”), et de simulations physiques (les armatures,...). Ces fonctionnalités permettent de réparer vos maillages et d’éviter les mauvaises surprises lorsque des pièces sortent des imprimantes 3D. Un tutoriel est à votre disposition ici.

Tinkercad – Très facile à prendre en main et intuitif, ce logiciel de modélisation 3D est gratuit et parfait pour les débutants! Il se base sur la géométrie de construction de solides, mais même les plus aguerris pourront trouver leur bonheur en complexifiant les modèles par combinaisons d’objets pourtant simples. Vos modèles peuvent être enregistrés en 3 formats différents: SVG, OBJ et STL (ce dernier format est utile pour l’impression 3D!). Le Fab-C vous propose d’ailleurs un tuto pour modéliser votre projet avec ce logiciel!

Pour aller plus loin...

Après cette introduction aux logiciels CAO, vous pouvez maintenant vous lancer dans la réalisation de vos prototypes ou produits… et pourquoi pas vous intéresser à l’impression 3D ! En effet, cette technologie nécessite justement d’utiliser des fichiers 3D!

Illustration du processus de modélisation de votre idée

N'hésitez pas à contacter le HUB Créatif et à demander plus d’infos sur les services d’accompagnement numérique pour la réalisation de vos projets innovants. Vous pouvez aussi prendre contact avec le FAB LAB de Charleroi pour l'utilisation de machines comme l’imprimante 3D, la découpeuse laser, la fraiseuse numérique et autres.

Besoin d’une aide supplémentaire ?

Vous avez une question spécifique à propos d’une fiche? Elles sont réalisées par les experts du CETIC (Centre d'Excellence en Technologies de l'Information et de la Communication), un centre de recherche appliquée en informatique situé à Charleroi. Vous trouverez toutes les coordonnées ici.