public:recherche_d_information [WiKi informatique]

Cette page est en lecture seule. Vous pouvez afficher le texte source, mais ne pourrez pas le modifier. Contactez votre administrateur si vous pensez qu'il s'agit d'une erreur.
===== Cours =====

[[public:OMI-5A-O-RECH:1. Recherche et indexation|1. Indexation]]

[[public:OMI-5A-O-RECH:2. Recommandation]]

[[public:OMI-5A-O-RECH:3. Découverte d'information|3. Analyse des données]]

[[public:OMI-5A-O-RECH:4. Travail final]]


===== Travaux dirigés =====

Ces travaux dirigés sont des "notebooks" fonctionnant sur l'interpréteur "jupyter". Les notebooks
permettent d'écrire et d'exécuter des scripts python à l'aide d'un simple navigateur web.
Les résultats d'exécution sont conservés et peuvent être retrouvés d'une session à l'autre.

Téléchargez les fichiers ''.ipynb'' dans un dossier. Ouvrez un terminal dans ce même dossier et tapez :
  jupyter-notebook
Ceci ouvre un onglet de l'interpréteur jupyter dans votre navigateur. Cliquez ensuite sur le notebook sur lequel vous souhaitez travailler.

Pour utiliser un notebook, voir :
<note tip>
  * {{http://nbviewer.jupyter.org/github/jupyter/notebook/blob/master/docs/source/examples/Notebook/What%20is%20the%20Jupyter%20Notebook.ipynb|1. What is the Jupyter notebook?}}
  * {{http://nbviewer.jupyter.org/github/jupyter/notebook/blob/master/docs/source/examples/Notebook/Notebook%20Basics.ipynb|2. Notebook basics}}
  * {{http://nbviewer.jupyter.org/github/jupyter/notebook/blob/master/docs/source/examples/Notebook/Running%20Code.ipynb|3. Running code}}
  * {{http://nbviewer.jupyter.org/github/jupyter/notebook/blob/master/docs/source/examples/Notebook/Working%20With%20Markdown%20Cells.ipynb|4. Working with Markdown cells}}

----
  * {{https://www.youtube.com/embed/lmoNmY-cmSI|Une vidéo en anglais}}
</note> 
=== La librairie numpy ====
Les exercices et problèmes seront réalisés à l'aide des librairies scientifiques de Python: {{http://docs.scipy.org/doc/numpy/reference|numpy}}, {{http://docs.scipy.org/doc/scipy/reference|scipy}} et {{http://matplotlib.org/gallery.html|matplotlib}}. Le lien suivant propose une introduction à la librairie numpy (manipulation de matrices et de vecteurs en Python) :
<note tip>
  * {{https://forge.centrale-marseille.fr/attachments/download/302/Tutoriel%20numpy.ipynb|Tutoriel Numpy}} (rapide) {{https://nbviewer.jupyter.org/urls/forge.centrale-marseille.fr/attachments/download/302/Tutoriel%20numpy.ipynb|Tutoriel Numpy (nbviewer)}}
  * {{https://forge.centrale-marseille.fr/attachments/download/263/Aide-m%C3%A9moire%20Numpy.ipynb|Aide-mémoire Numpy}} {{https://nbviewer.jupyter.org/urls/forge.centrale-marseille.fr/attachments/download/263/Aide-m%C3%A9moire%20Numpy.ipynb||Aide-mémoire Numpy (nbviewer)}}
  * {{https://openclassrooms.com/courses/la-programmation-scientifique-avec-python|Python scientifique}}  (plus détaillé)

----
  * **Matrices creuses** : 
     * {{https://docs.scipy.org/doc/scipy-0.14.0/reference/generated/scipy.sparse.coo_matrix.html|Format COO}}
     * {{https://docs.scipy.org/doc/scipy-0.14.0/reference/generated/scipy.sparse.csr_matrix.html|Format CSR}}
</note> 

=== La librairie scikit-learn ====
<note tip>
  * {{http://scikit-learn.org/stable/documentation.html|Documentation}}
  * {{http://scikit-learn.org/stable/tutorial/machine_learning_map/index.html|Flow Chart}}
  * {{http://scikit-learn.org/stable/tutorial/basic/tutorial.html|An introduction to machine learning with scikit-learn}}
  * {{http://scikit-learn.org/stable/tutorial/text_analytics/working_with_text_data.html|Working With Text Data}}
</note>

==== TD1 ====

Le but de ce premier TD est de développer un moteur de recherche  dans une base de textes. Nous utilisons une base constitués d'un peu plus de 11.000 messages postés sur des forums de discussion (anglophones), fréquemment utilisée en analyse des données.

Il s'agit de la base {{http://scikit-learn.org/stable/datasets/twenty_newsgroups.html|20newsgroups}}.

Le TD est constitué de plusieurs exercices ainsi que d'un problème. Les principales opérations sont réalisées à l'aide de la librairie {{http://scikit-learn.org/stable/index.html|scikit-learn}}.
  * indexation des fichiers et des termes
  * génération une matrice creuse comptant les fréquences d'occurrence des termes
  * vectorisation des messages et des requêtes
  * fichier inverse
  * calcul de similarité et tri de la liste des réponses 

<note tip>
 {{https://forge.centrale-marseille.fr/attachments/download/265/S9-TP1.ipynb|Enoncé du TD1 (notebook)}}
 {{https://nbviewer.jupyter.org/urls/forge.centrale-marseille.fr/attachments/download/265/S9-TP1.ipynb|Enoncé du TD1 (nbviewer)}} 
</note>

==== TD2 ====
<note tip>
{{https://forge.centrale-marseille.fr/attachments/download/160/S9-TP2.ipynb|Enoncé du TD2 (notebook)}}
{{https://nbviewer.jupyter.org/urls/forge.centrale-marseille.fr/attachments/download/160/S9-TP2.ipynb|Enoncé du TD2 (nbviewer)}}
</note>

==== TD3 ====

Calcul des scores de popularité sur un graphe social.

Base "Enron"

<note tip>
Téléchargez les fichiers suivants :
  * {{https://forge.centrale-marseille.fr/attachments/download/161/M.mtx|M.mtx}}
  * {{https://forge.centrale-marseille.fr/attachments/download/162/employe.npy|employe.npy}}
  * {{https://forge.centrale-marseille.fr/attachments/download/266/S9-TP3.ipynb|Enoncé du TD3 (notebook)}}
  * {{https://nbviewer.jupyter.org/urls/forge.centrale-marseille.fr/attachments/download/266/S9-TP3.ipynb|Enoncé du TD3 (nbviewer)}}
</note>

==== TD4 ====

Calcul de similarité et profilage sur la base "MovieLens"

<note tip>
Téléchargez le fichier suivant :
  * {{https://forge.centrale-marseille.fr/attachments/download/267/S9-TP4.ipynb|Enoncé du TD4 (notebook)}}
  * {{https://nbviewer.jupyter.org/urls/forge.centrale-marseille.fr/attachments/download/267/S9-TP4.ipynb|Enoncé du TD4 (nbviewer)}}
</note>

==== TD5 ====

Filtrage collaboratif sur la base "MovieLens"

<note tip>
Téléchargez le fichier suivant :
  * {{https://forge.centrale-marseille.fr/attachments/download/306/S9-TP5.ipynb|Enoncé du TD5 (notebook)}}
  * {{https://nbviewer.jupyter.org/urls/forge.centrale-marseille.fr/attachments/download/306/S9-TP5.ipynb|Enoncé du TD5 (nbviewer)}}
</note>

==== TD6 ====

Analyse des données

<note tip>
Téléchargez le fichier suivant :
  * {{https://forge.centrale-marseille.fr/attachments/download/268/S9-TP6.ipynb|Enoncé du TD6 (notebook)}}
  * {{https://nbviewer.jupyter.org/url/edauce.perso.centrale-marseille.fr/visible/S9-TP6.ipynb|Enoncé du TD6 (nbviewer)}}
  * {{http://edauce.perso.centrale-marseille.fr/visible/foodmart.db|Base de données}}
  * Cartographier les données :
    * {{http://www.xavierdupre.fr/app/ensae_teaching_cs/helpsphinx/notebooks/td1a_cenonce_session_12.html#cartographie|Cours ENSAE}}
    * {{http://geopandas.org/index.html|Geopandas}}
</note>