Différences
Ci-dessous, les différences entre deux révisions de la page.
Les deux révisions précédentes Révision précédente Prochaine révision | Révision précédente | ||
public:ncom:2.4_traitement_recurrent [2017/04/06 22:26] – edauce | public:ncom:2.4_traitement_recurrent [2017/04/06 22:31] (Version actuelle) – [2.4.3 Mécanisme d'appariement dans les systèmes dynamiques] edauce | ||
---|---|---|---|
Ligne 1: | Ligne 1: | ||
+ | ===== 2.4 Traitement récurrent===== | ||
+ | |||
+ | Par opposition à ce traitement séquentiel, | ||
+ | une hypothèse alternative qui serait celle | ||
+ | * d'un branchement "non centralisé" | ||
+ | Cela revient à regarder des mécanismes de traitement | ||
+ | dans lesquels l' | ||
+ | * n'est pas réalisé au niveau des neurones, | ||
+ | * mais au niveau d'une population de neurones. | ||
+ | Pour qu'une décision soit réalisée par une population, | ||
+ | * il faut que les neurones échangent de l' | ||
+ | * Dans le langage des systèmes dynamiques, on parle de mécanisme de **relaxation** (voir plus bas). | ||
+ | |||
+ | L' | ||
+ | |||
+ | Le choix du mécanisme de relaxation, par opposition au produit scalaire, | ||
+ | * ne correspond pas uniquement à un niveau de description plus " | ||
+ | * Il correspond en effet | ||
+ | * à une architecture neuronale différente, | ||
+ | * dite architecture **récurrente**. | ||
+ | {{ : | ||
+ | Un réseau de neurones est dit récurrent : | ||
+ | * lorsque le graphe qui le décrit contient des cycles. | ||
+ | * Cela signifie concrètement que le signal produit par les neurones peut circuler à l' | ||
+ | * On parle d' | ||
+ | <note tip> | ||
+ | Le choix d' | ||
+ | * {{http:// | ||
+ | * {{http:// | ||
+ | </ | ||
+ | |||
+ | <note important> | ||
+ | //Les réseaux de neurones récurrents sont capables de maintenir une activité persistante en l' | ||
+ | Le cadre à considérer pour traiter l' | ||
+ | l' | ||
+ | </ | ||
+ | |||
+ | ==== 2.4.1 Systèmes dynamiques ==== | ||
+ | |||
+ | La théorie des **systèmes dynamiques** repose sur : | ||
+ | * un espace d' | ||
+ | * une trame temporelle $\mathcal{T}$ | ||
+ | * et un flot $\phi$ qui est une application de $\mathcal{X} \times \mathcal{T}$ dans $\mathcal{X}$ | ||
+ | * définissant pour tout couple $(\boldsymbol{x}, | ||
+ | * l' | ||
+ | \begin{align}\label{eq: | ||
+ | \dot{\boldsymbol{x}} = \phi(\boldsymbol{x}, | ||
+ | \end{align} | ||
+ | |||
+ | La **trajectoire** du système sur la plage temporelle $[t_0,t_f]$ est alors définie | ||
+ | par l' | ||
+ | |||
+ | * Dans le cas d'un système dit " | ||
+ | * et la trajectoire du système | ||
+ | $$\{\boldsymbol{x}(t)\}_{t \in [t_0,t_f], \boldsymbol{x}(t_0)= \boldsymbol{x}_0}$$ | ||
+ | * est entièrement définie par les conditions initiales. | ||
+ | * Dans le cas d'un système dit " | ||
+ | * la dépendance temporelle est souvent modélisée sous la forme d'un signal externe $\boldsymbol{I}(t)$, | ||
+ | $$\phi(\boldsymbol{x}, | ||
+ | * Ce signal peut être: | ||
+ | * une donnée d' | ||
+ | * un bruit externe dans le cas de modèles stochastiques | ||
+ | |||
+ | |||
+ | <note important> | ||
+ | //La plupart des réseaux de neurones peuvent se modéliser sous cette forme, à partir du moment où l' | ||
+ | du potentiel de membrane et des différents temps de transport sur les axones. // | ||
+ | </ | ||
+ | |||
+ | ==== 2.4.2 Attracteurs ==== | ||
+ | Dans le cas des systèmes autonomes dissipatifs, | ||
+ | |||
+ | <note important> | ||
+ | * Un attracteur est formellement défini comme une région de l' | ||
+ | * Un attracteur est dit stable s'il existe un voisinage de $\mathcal{A}$ tel que tout point de ce voisinage converge vers l' | ||
+ | * La trajectoire qui va de la condition initiale vers l' | ||
+ | * L' | ||
+ | </ | ||
+ | |||
+ | ==== 2.4.3 Mécanisme d' | ||
+ | Dans le cas des systèmes non-autonomes, | ||
+ | * entre les contraintes internes, exprimées par le graphe, | ||
+ | * et les contraintes externes, exprimées par le signal. | ||
+ | |||
+ | <note important> | ||
+ | On pourra également parler de dynamique de **relaxation** pour caractériser | ||
+ | * la convergence vers un attracteur lorsque le signal extérieur est stationnaire, | ||
+ | * ou encore lorsque les changements du signal extérieur sont suffisamment " | ||
+ | </ | ||
+ | |||
+ | La généralisation | ||
+ | d' | ||
+ | - que la dynamique de relaxation doit permettre de séparer l' | ||
+ | - Les attracteurs atteints pour certaines classes de signaux doivent être **qualitativement différents** de ceux obtenus pour d' | ||
+ | - qu'il existe des mécanismes de plasticité permettant | ||
+ | - de faire " | ||
+ | - voire d'en créer de nouvelles et d'en faire disparaître. | ||
+ | |||
+ | ===Séparation des signaux=== | ||
+ | |||
+ | La transformation des données d' | ||
+ | * Dans le cas des réseaux de neurones à couches, cette simplification correspond à une dimension de la couche de sortie plus faible que celle de la couche d' | ||
+ | * Dans le cas des réseaux récurrents, | ||
+ | * par une **réduction du nombre de degrés de liberté** sur lesquels évolue la dynamique des neurones. | ||
+ | * L' | ||
+ | |||
+ | <note tip> | ||
+ | L' | ||
+ | \begin{align} | ||
+ | \dot{\boldsymbol{x}} = \phi(\boldsymbol{x}(t), | ||
+ | \end{align} | ||
+ | permet de modéliser l' | ||
+ | </ | ||
+ | |||
+ | |||