Différences

Ci-dessous, les différences entre deux révisions de la page.

--- public:ncom:2.2_reseau_de_neurones [2017/04/06 20:58] – [Fonction de réponse du réseau] edauce
+++ public:ncom:2.2_reseau_de_neurones [2022/03/25 15:08] (Version actuelle) – edauce
@@ Ligne 1: / Ligne 1: @@
+===== 2.2 Réseau de neurones =====
+  * Plusieurs neurones connectés entre eux via des axones constituent un **réseau de neurones**.
+  * Le schéma de connexion, sous la forme d'un **graphe orienté**,  caractérise l'**organisation structurelle** du réseau.
+<note important>
+//Les messages transitant de neurone à neurone via les axones d'un réseau de neurones contiennent une succession d'états hauts et
+d'états bas qui présentent une ressemblance  avec les signaux digitaux produits par les calculateurs
+numériques. Cette analogie de forme n'implique cependant pas que les principes de traitement et
+de transformation de ces signaux soient les mêmes.//
+</note>
+====Graphe et fonction de couplage====
+Le réseau est décrit par une **fonction de couplage** :
+  * définie le plus souvent par un tableau à double entrée noté $G$.
+  * Chaque neurone se voit attribuer un indice $i \in 1,...,N$
+  * où $N$ est le nombre de neurones dans le réseau.
+  * Le tableau $G[i,j]$ contient alors les caractéristiques du lien du neurone $j$ vers le neurone $i$.
+  * Un exemple de paramètres associés au lien $(i,j)$ est
+    * le temps de propagation $\tau_{ij}$
+    * et poids synaptique $J_{ij}$.
+  * Lorsque le poids synaptique $J_{ij}$ est non nul,
+    * on dit que les neurones $i$ et $j$ sont couplés.
+  * Si $N$ est le nombre de neurones,
+      * le nombre de paramètres du réseau est en $O(N^2)$,
+      * correspondant à un principe de transmission du signal //de plusieurs à plusieurs// (un neurone envoie son message de sortie vers plusieurs destinataires, un neurone reçoit des messages de plusieurs émetteurs).
+<note>
+**Notations:**
+  * Le **vecteur d'activité** $\boldsymbol{s}(t)$ (ou activité de population) est un vecteur de taille $n$ contenant l'ensemble des sorties à l'instant $t$~:
+$$\boldsymbol{s}(t) = (s_1^\text{out}(t), ..., s_n^\text{out}(t))$$
+  * Le **patron d'activité** est constituée de l'ensemble des signaux émis :
+    * entre l'instant initial $t_0$
+    * et l'instant d'observation $t$,
+    * soit:
+$$\boldsymbol{S}(t)=\{\boldsymbol{s}(t')\}_{t' \in [t_0, t[}$$
+</note>
+==== Signal d'entrée et encodage ====
+Dans un réseau de neurones, la mise en œuvre d'un calcul :
+  * repose sur la présence de neurones d'**entrée** soumis à des données extérieures,
+    * qui sont donc les opérandes du calcul.
+    * C'est le cas chez l'animal des cellules **sensorielles**.
+    * On note $\boldsymbol{I}(t) = \{I_i(t')\}_{i \in \{1,...,N\}, t' \in [t_0, t[}$ ce signal extérieur.
+        * Si le neurone $i$ est un neurone d'entrée, on a : $$\exists t : I_i(t) \neq 0$$ avec :
+\begin{align}
+	V_i(t) = g(s_{i,1}^\text{in}(t), ..., s_{i,n}^\text{in}(t),I_i(t))
+\end{align} où $s_{i,1}^\text{in}, ..., s_{i,n}^\text{in}$ sont les $n$ entrées synaptiques.
+        * Si le neurone $i$ n'est pas un neurone d'entrée,  on a :
+$$\forall t : I_i (t) = 0$$
+==== Fonction de réponse du réseau ====
+Les échanges de signaux entre les différentes neurones, via les liens du graphe, constituent le **calcul** du réseau de neurones.
+  * Les activités des différents neurones sont donc **inter**dépendantes du fait des couplages.
+  * La **fonction de réponse** du réseau $f$ :
+    * est une fonction paramétrique
+    * décrite par le tableau de paramètres $G$,
+    * telle que l'activité $\boldsymbol{s}(t)$ est solution de~:
+\begin{align}
+\boldsymbol{s}(t) = f(\boldsymbol{S}(t), \boldsymbol{I}(t);G)
+\end{align}
+avec $\boldsymbol{S}(t)$ l'activité développée dans le réseau jusqu'au temps $t$, $\boldsymbol{I}(t)$ le signal d'entrée et $G$ le graphe.
+La **réponse** du réseau de neurones au signal d'entrée (la solution du calcul) est le patron d'activité induit
+par le signal d'entrée.
+On dit également que le réseau de neurones **transforme** le signal d'entrée.
+<note important>
+//Il faut ici préciser, dans la mesure où les temps de transport sont supposés strictement positifs, que l'activité du réseau au temps $t$ est dépendante de l'historique des activités précédent strictement l'instant $t$. L'activité d'un neurone post-synaptique $i$ au temps $t$ est dépendante des signaux pré-synaptiques produits aux instants $t' < t$, en tenant compte du **temps de transport** de ces signaux sur les axones. Plus précisément, si $j$ est le neurone pré-synaptique et $i$ le neurone post-synaptique, on a://
+\begin{align}
+	s^\text{in}_{ij}(t) = s^\text{out}_{j}(t - \tau_{ij})
+\end{align}
+</note>
+==== Fonction de sortie du réseau ====
+Il est possible de définir une **fonction de sortie** qui **décode** ce patron d'activité.
+  * La sortie du réseau est alors  :
+$$\boldsymbol{u} = h(\boldsymbol{s})$$
+  * avec $h$ fonction de décodage (ou de "**read-out**").
+Plus globalement, la fonction d'entrée/sortie (fonction de transfert) du réseau de neurones est~:
+\begin{align}\label{eq:E/S}
+\boldsymbol{u} = h(f(\boldsymbol{S},\boldsymbol{I};G))
+\end{align}
+<note important>
+//La sortie $\boldsymbol{u}$ peut ainsi être interprétée comme le résultat du calcul réalisé à partir des données d'entrée $\boldsymbol{I}$.
+Dans la mesure où ce résultat est le produit de
+l'activité conjointe (et parallèle) des neurones du réseau, on se situe dans un contexte de **calcul distribué**, par opposition au calcul
+séquentiel centralisé réalisé par les ordinateurs traditionnels.//
+</note>