Différences

Ci-dessous, les différences entre deux révisions de la page.

--- public:ncom:2.2_reseau_de_neurones [2017/04/06 20:51] – [Signal d'entrée et encodage] edauce
+++ public:ncom:2.2_reseau_de_neurones [2022/03/25 15:08] (Version actuelle) – edauce
@@ Ligne 1: / Ligne 1: @@
+===== 2.2 Réseau de neurones =====
+  * Plusieurs neurones connectés entre eux via des axones constituent un **réseau de neurones**.
+  * Le schéma de connexion, sous la forme d'un **graphe orienté**,  caractérise l'**organisation structurelle** du réseau.
+<note important>
+//Les messages transitant de neurone à neurone via les axones d'un réseau de neurones contiennent une succession d'états hauts et
+d'états bas qui présentent une ressemblance  avec les signaux digitaux produits par les calculateurs
+numériques. Cette analogie de forme n'implique cependant pas que les principes de traitement et
+de transformation de ces signaux soient les mêmes.//
+</note>
+====Graphe et fonction de couplage====
+Le réseau est décrit par une **fonction de couplage** :
+  * définie le plus souvent par un tableau à double entrée noté  $G$ .
+  * Chaque neurone se voit attribuer un indice  $i \in 1,...,N$
+  * où  $N$  est le nombre de neurones dans le réseau.
+  * Le tableau  $G[i,j]$  contient alors les caractéristiques du lien du neurone  $j$  vers le neurone  $i$ .
+  * Un exemple de paramètres associés au lien  $(i,j)$  est
+    * le temps de propagation  $\tau_{ij}$
+    * et poids synaptique  $J_{ij}$ .
+  * Lorsque le poids synaptique  $J_{ij}$  est non nul,
+    * on dit que les neurones  $i$  et  $j$  sont couplés.
+  * Si  $N$  est le nombre de neurones,
+      * le nombre de paramètres du réseau est en  $O(N^2)$ ,
+      * correspondant à un principe de transmission du signal //de plusieurs à plusieurs// (un neurone envoie son message de sortie vers plusieurs destinataires, un neurone reçoit des messages de plusieurs émetteurs).
+<note>
+**Notations:**
+  * Le **vecteur d'activité**  $\boldsymbol{s}(t)$  (ou activité de population) est un vecteur de taille  $n$  contenant l'ensemble des sorties à l'instant  $t$ ~:
+ $\boldsymbol{s}(t) = (s_1^\text{out}(t), ..., s_n^\text{out}(t))$
+  * Le **patron d'activité** est constituée de l'ensemble des signaux émis :
+    * entre l'instant initial  $t_0$
+    * et l'instant d'observation  $t$ ,
+    * soit:
+ $\boldsymbol{S}(t)=\{\boldsymbol{s}(t')\}_{t' \in [t_0, t[}$
+</note>
+==== Signal d'entrée et encodage ====
+Dans un réseau de neurones, la mise en œuvre d'un calcul :
+  * repose sur la présence de neurones d'**entrée** soumis à des données extérieures,
+    * qui sont donc les opérandes du calcul.
+    * C'est le cas chez l'animal des cellules **sensorielles**.
+    * On note  $\boldsymbol{I}(t) = \{I_i(t')\}_{i \in \{1,...,N\}, t' \in [t_0, t[}$  ce signal extérieur.
+        * Si le neurone  $i$  est un neurone d'entrée, on a :  $\exists t : I_i(t) \neq 0$  avec :
+\begin{align}
+	V_i(t) = g(s_{i,1}^\text{in}(t), ..., s_{i,n}^\text{in}(t),I_i(t))
+\end{align} où  $s_{i,1}^\text{in}, ..., s_{i,n}^\text{in}$  sont les  $n$  entrées synaptiques.
+        * Si le neurone  $i$  n'est pas un neurone d'entrée,  on a :
+ $\forall t : I_i (t) = 0$
+==== Fonction de réponse du réseau ====
+Les échanges de signaux entre les différentes neurones, via les liens du graphe, constituent le **calcul** du réseau de neurones.
+  * Les activités des différents neurones sont donc **inter**dépendantes du fait des couplages.
+  * La **fonction de réponse** du réseau  $f$  :
+    * est une fonction paramétrique
+    * décrite par le tableau de paramètres  $G$ ,
+    * telle que l'activité  $\boldsymbol{s}(t)$  est solution de~:
+\begin{align}
+\boldsymbol{s}(t) = f(\boldsymbol{S}(t), \boldsymbol{I}(t);G)
+\end{align}
+avec  $\boldsymbol{S}(t)$  l'activité développée dans le réseau jusqu'au temps  $t$ ,  $\boldsymbol{I}(t)$  le signal d'entrée et  $G$  le graphe.
+La **réponse** du réseau de neurones au signal d'entrée (la solution du calcul) est le patron d'activité induit
+par le signal d'entrée.
+On dit également que le réseau de neurones **transforme** le signal d'entrée.
+<note important>
+//Il faut ici préciser, dans la mesure où les temps de transport sont supposés strictement positifs, que l'activité du réseau au temps  $t$  est dépendante de l'historique des activités précédent strictement l'instant  $t$ . L'activité d'un neurone post-synaptique  $i$  au temps  $t$  est dépendante des signaux pré-synaptiques produits aux instants  $t' < t$ , en tenant compte du **temps de transport** de ces signaux sur les axones. Plus précisément, si  $j$  est le neurone pré-synaptique et  $i$  le neurone post-synaptique, on a://
+\begin{align}
+	s^\text{in}_{ij}(t) = s^\text{out}_{j}(t - \tau_{ij})
+\end{align}
+</note>
+==== Fonction de sortie du réseau ====
+Il est possible de définir une **fonction de sortie** qui **décode** ce patron d'activité.
+  * La sortie du réseau est alors  :
+ $\boldsymbol{u} = h(\boldsymbol{s})$
+  * avec  $h$  fonction de décodage (ou de "**read-out**").
+Plus globalement, la fonction d'entrée/sortie (fonction de transfert) du réseau de neurones est~:
+\begin{align}\label{eq:E/S}
+\boldsymbol{u} = h(f(\boldsymbol{S},\boldsymbol{I};G))
+\end{align}
+<note important>
+//La sortie  $\boldsymbol{u}$  peut ainsi être interprétée comme le résultat du calcul réalisé à partir des données d'entrée  $\boldsymbol{I}$ .
+Dans la mesure où ce résultat est le produit de
+l'activité conjointe (et parallèle) des neurones du réseau, on se situe dans un contexte de **calcul distribué**, par opposition au calcul
+séquentiel centralisé réalisé par les ordinateurs traditionnels.//
+</note>