Différences

Ci-dessous, les différences entre deux révisions de la page.

--- tc_info:2020_cm_textes [2023/11/29 23:56] – [3.1 Modèles probabilistes] edauce
+++ tc_info:2020_cm_textes [2023/11/30 10:21] (Version actuelle) – edauce
@@ Ligne 686: / Ligne 686: @@
 {{:tc_info:corr:alignement_glouton.png?600|}}
-===== 5. Modèles génératifs =====
+==== 5. Modèles génératifs ====
 Soit un document $d$ :
@@ Ligne 710: / Ligne 710: @@
 </note>
-=== 3.1 Modèles probabilistes ===
+=== 5.1 Modèles probabilistes ===
 Les modèles probabilistes interprètent les données de type texte comme étant générées par une distribution de probabilité $P$ inconnue.
@@ Ligne 820: / Ligne 820: @@
   * Exemple de pseudo-français (Utilisant une trace (mémoire) de 1 mot):
 <note tip>
-j'ai vu parfois des yeux, remonter vers toi bien fatiguée! n'est pas un appel de la terre– je hume à coups mutins les voiles la blafarde lumière puisée au delà les vieux flacon débouché rien ne puis la pourriture les forêts ou bien que vénus par des choses dans les forts des senteurs confondues de ma chère, prêtre orgueilleux danse amoureusement l'éphémère ébloui par ses couleurs du haut qu'avec effroi dans sa beauté où je puis, sans remord un fleuve invisible d'un rayon frais n'éclaira vos banquiers un parfait d'une girouette ou décor suborneur ce temps! n'est plus ma carcasse superbe pyrrhus auprès d'un ange enivré du souvenir pour moi même dans le tortu, il fée, dévotes et mange retrouve jamais enfanté au poète– cependant de minéraux charmants, horreur, plus t'enfourcher! folle, si bien loin des laves les amants nous lançant son sein palpitant les blessés ou sirène qu'importé le coin du vin des jongleurs sacrés au loin de ton bétail, embusqué, et ton juge que ce globe entier dans les temps et d'un mouvement qui m'accable sur moi hurlait longue misère toi sans pitié de pleurs aboutit dans l'or et ne vibre que le soleil d'un chemin bourbeux croyant par votre corps brûlé par mille labyrinthes c'est un etre maudit soit actif ou de l'antre taciturne je le regard m'a déjà flaire peut être n'importe où les vrais rois pour le frais n'éclaira vos riches cités dans son coeur racorni, au bazar ananas et les amoureux des conspirateurs o satan, sa mère épouvantée et de ta bouche où frémit l'éternelle chaleur dans ce noir ou frégate dont jadis des nuits chaudes soirées la terre polaire ni votre gorge triomphante est tombé c'est la vie et fredonnes tout, si tu passes ton courage et des ténèbres où mon coeur saignant, de mâts un solennel adieu donc l'aperçois tu compterais dans le front de nous dit au cri d'une égale, hélas! les miroirs, lac de ces monstres visqueux dont nous volons au bord d'un vieil ennemi des ténèbres futures l'homme et sur les gros de ta main distraite et dit: viens, mourante en se fortifie la tête se réfugiant dans tes sommeils m'invite ni sa beauté, langoureux aux brises passagères mais je pense à chanter sa plus pure lumière et vendre le coin de flamme écrite je sucerai, soit à l'aspect de ténèbres où l'ange sinistrement béante ainsi qu'en ton fouet seigneur! ma si, laissez moi, sur les boiteuses journées quand il est large et souvent, bois vert des mers elle croit beau chat viens tu donc tes noirs et je ne connaît les rouvrir dans l'épaisseur de pâles clairs comme un gazetier fumeux, reste t il te faut à moitié de la grève le vieil ennemi du coeur plein poing, comme des instruments qui tout le poète un occulte
+//j'ai vu parfois des yeux, remonter vers toi bien fatiguée! n'est pas un appel de la terre– je hume à coups mutins les voiles la blafarde lumière puisée au delà les vieux flacon débouché rien ne puis la pourriture les forêts ou bien que vénus par des choses dans les forts des senteurs confondues de ma chère, prêtre orgueilleux danse amoureusement l'éphémère ébloui par ses couleurs du haut qu'avec effroi dans sa beauté où je puis, sans remord un fleuve invisible d'un rayon frais n'éclaira vos banquiers un parfait d'une girouette ou décor suborneur ce temps! n'est plus ma carcasse superbe pyrrhus auprès d'un ange enivré du souvenir pour moi même dans le tortu, il fée, dévotes et mange retrouve jamais enfanté au poète– cependant de minéraux charmants, horreur, plus t'enfourcher! folle, si bien loin des laves les amants nous lançant son sein palpitant les blessés ou sirène qu'importé le coin du vin des jongleurs sacrés au loin de ton bétail, embusqué, et ton juge que ce globe entier dans les temps et d'un mouvement qui m'accable sur moi hurlait longue misère toi sans pitié de pleurs aboutit dans l'or et ne vibre que le soleil d'un chemin bourbeux croyant par votre corps brûlé par mille labyrinthes c'est un etre maudit soit actif ou de l'antre taciturne je le regard m'a déjà flaire peut être n'importe où les vrais rois pour le frais n'éclaira vos riches cités dans son coeur racorni, //
 </note>
+=== 5.2 Espaces de plongement (Word embedding) ===
+Le plongement des mots (word embedding)
+  * est une technique en traitement automatique du langage naturel (TALN)
+  * qui consiste à représenter les mots **sous forme de vecteurs de nombres réels dans un espace vectoriel**.
+  * L'idée est :
+    * de projeter les mots dans cet espace vectoriel
+    * où la proximité spatiale entre les vecteurs reflète la sémantique des mots.
+<note tip>
+Largement utilisés dans diverses tâches de traitement du langage naturel:
+  - classification de texte,
+  - la traduction automatique,
+  - l'analyse des sentiments,
+  - la recherche d'information, etc
 </note>
+**Word2Vec** est un algorithme d'apprentissage de représentations de mots (embeddings) développé par Tomas Mikolov et son équipe chez Google en 2013.
+  * L'idée fondamentale est que les mots ayant des contextes similaires ont tendance à avoir des significations similaires.
+  * Word2Vec utilise des modèles de **prédictions** pour apprendre des représentations vectorielles en analysant les contextes d'occurrence des mots dans un corpus de texte.
+Il existe deux architectures principales de Word2Vec : Skip-Gram et CBOW
+=== 1. Skip-Gram ===
+Dans l'approche Skip-Gram, le modèle tente de prédire les mots environnants (contexte) à partir d'un mot donné (mot central). Le processus d'apprentissage consiste à maximiser la probabilité d'observer les contextes donnés un mot central :
+\[ \max \sum_{t=1}^{T} \sum_{-c \leq j \leq c, j \neq 0} \log P(w_{t+j} \mid w_t) \]
+où \(T\) est la taille du corpus, \(w_t\) est le mot central, \(w_{t+j}\) est le mot contexte, et \(c\) est la taille de la fenêtre contextuelle.
+=== 2. CBOW (Continuous Bag of Words) ===
+Dans l'approche CBOW, le modèle tente de prédire le mot central à partir des mots contextuels (contexte). Le processus d'apprentissage consiste à maximiser la probabilité d'observer le mot central étant donnés les contextes:
+\[ \max \sum_{t=1}^{T} \log P(w_t \mid w_{t-c}, \ldots, w_{t-1}, w_{t+1}, \ldots, w_{t+c}) \]
+où \(T\) est la taille du corpus, \(w_t\) est le mot central, et \(w_{t-i}\) sont les mots contextuels dans la fenêtre de contexte.
+=== Fonctionnement Général ===
+Le processus d'apprentissage dans Word2Vec implique la création d'une matrice de co-occurrence, où chaque entrée représente la fréquence ou la probabilité d'occurrence conjointe de deux mots. À partir de cette matrice, le modèle ajuste les vecteurs de mots de manière itérative pour maximiser la probabilité d'observation du contexte étant donné le mot central.
+Une fois l'apprentissage terminé, les vecteurs de mots obtenus (les embeddings) capturent les relations sémantiques entre les mots dans l'espace vectoriel. Des mots similaires seront représentés par des vecteurs similaires, ce qui permet d'effectuer des opérations algébriques intéressantes telles que \( \text{"roi"} - \text{"homme"} + \text{"femme"} \approx \text{"reine"} \).
+Word2Vec a été révolutionnaire en raison de sa capacité à apprendre des représentations de mots utiles à partir de grands volumes de texte non annoté, et ses embeddings sont souvent utilisés comme points de départ pour de nombreuses tâches de traitement du langage naturel (NLP) et d'apprentissage automatique.