Loading [MathJax]/jax/output/CommonHTML/jax.js

Table des matières

Données et modélisation

1. Données persistantes

Les données numériques sont une des composantes essentielles des programmes informatiques.
  • Il s'agit par définition des informations qui doivent être conservées entre deux exécutions.
  • Avec l’augmentation des capacités de stockage et leur mise en réseau, les quantités de données conservées ont considérablement augmenté au cours des dernières décennies.
La conservation des données repose principalement sur la mémoire secondaire,
  • définissant la manière dont les données sont physiquement stockées sur le support,
  • autrement dit la méthode de rangement de la série de mesures :
    • fichiers,
    • répertoires,
    • index,
    • etc…
Persistance des données
  • Contrairement à la mémoire primaire (comme la RAM) rapide et volatile (utilisée pour exécuter les programmes en cours), la mémoire secondaire conserve les informations même en l'absence d'alimentation électrique.
  • Elle est généralement plus lente que la mémoire primaire, mais offre une capacité de stockage beaucoup plus importante.
  • Les exemples courants de mémoire secondaire incluent les disques durs (HDD), les disques SSD, les clés USB, et les supports optiques comme les CD ou DVD.

Fichiers et répertoires

La mémoire secondaire n’est pas directement accessible (les programmes n’ont pas la possibilité d’aller écrire directement sur le disque). Le système d’exploitation assure ainsi l’indépendance du programme par rapport à l’emplacement des données, au travers d’instructions d’entrée/sortie spécialisées.

Pour que les programmes puissent écrire sur le disque, on introduit des objets intermédiaires : les fichiers. Un fichier est caractérisé par (nom, emplacement (volume, arborescence), droit d’accès, taille,…). Il s’agit d’une entité logique. Tout programme utilisant un fichier passe par le système d’exploitation qui, à partir des informations, détermine la localisation des données sur le support.

A retenir :
  • Un fichier est une référence vers un ou plusieurs blocs de données, enregistrés sur un support physique.
  • Un fichier est caractérisé par son descripteur, constitué de son nom, son chemin d’accès, ses droits d’accès (lecture/écriture/exécution) selon les utilisateurs, sa position sur le support, sa taille, etc…
Opérations de base :
  • Ouverture : initialisation d'un flux en lecture ou en écriture
  • Lecture : consultation des lignes l'une après l'autre (à partir de la première ligne), dans l'ordre où elles ont été écrites sur le support
  • Ecriture : ajout de nouvelles données à la suite ou en remplacement des données existantes

Organisation hiérarchique :

Consultation des données : lecture d’un fichier (Read)

FileReader

La consultation des données nécessite d’ouvrir une “communication” entre le programme et les fichiers. Ce canal de communication permet de recevoir un flux de données.

Pour établir la communication, il faut connaître : le “chemin d’accès” aux données (disque dur local) l’”adresse” des données (lorsqu’il s’agit de données stockées sur un serveur distant)

L’opération d’ouverture de fichier initialise un descripteur de fichier, qui sert à désigner (dans le programme) le fichier sur lequel on travaille, et d’accéder au contenu du flux.

FileReader f = new FileReader("/chemin/vers/mon/fichier.txt");
BufferedReader

Les opérateurs de lecture et d'écriture ne travaillent pas directement sur les données du fichier. Les données du fichier sont dans une mémoire “tampon”. Lors des opération de lecture, la mémoire tampon est mise à jour au fur et à mesure qu’on avance dans la lecture du fichier par des opérations de lecture sur le disque.

BufferedReader br = new BufferedReader(f);
Gestion des Exceptions Il est important de vérifier que cette opération d’ouverture s’effectue correctement avant de poursuivre le programme (nombreuses possibilités d’erreur : fichier effacé, erreur de nom, pas de droits de lecture,…).

On utilise la gestion des exceptions permettant de prévoir une action de secours lorsqu’une une opération “risquée” échoue.

Lecture séquentielle

Lorsque l’opération d’ouverture est réalisée avec succès, le flux de données devient accessible en lecture (les premières lignes du fichier sont chargées en mémoire et une tête de lecture se positionne sur le premier caractère de la première ligne). Il ne reste plus qu’à lire les données.

La consultation des données s’effectue séquentiellement à l’aide de l’opérateur de lecture readLine. Chaque appel à cet opérateur charge les nouvelles données et déplace la tête de lecture vers les données suivantes. Cette opération peut être effectuée plusieurs fois jusqu’à atteindre la fin de fichier.

try (BufferedReader br = new BufferedReader(new FileReader("/chemin/vers/mon/fichier.txt"))) {
    String ligne;
    while ((ligne = br.readLine()) != null) {
        System.out.println(ligne);
    }
} catch (IOException e) {
    e.printStackTrace();
}

Voir aussi :

2. Données structurées

Une donnée structurée est une information :
  • organisée selon un format ou un schéma prédéfini
  • ce qui facilite son stockage, sa manipulation et son analyse.

Tout commence par une fiche à remplir…

Un formulaire se présente sous la forme d’un ensemble de rubriques à remplir.

On peut donc générer à partir d'un modèle de formulaire un grand nombre de données obéissant au même format*

Exemple: un schéma de données décrivant des informations sur des clients avec des colonnes pour le nom, l'adresse, et le numéro de téléphone

Ces données sont généralement stockées dans des formats tabulaires (comme les tableaux ou fichiers CSV) où chaque donnée est placée dans des champs ou colonnes clairement définis.

Un tableau de données est une liste (finie et ordonnée) de tuples, chaque tuple obéissant à un même schéma R.

Ce type de données est facilement lisible par les machines et exploitable grâce à des langages de requête.

Formats d'échange

Les principaux formats d'échange de données sont :

Le format csv - “Comma Separated Values”

Chaque enregistrement est codé sur une ligne, chaque valeur étant séparé par un caractère séparateur (virgule, point-virgule, tabulation,…).

Exemple :

Dubois,Martine,"28, rue des Lilas, 45000 Orléans",45

Remarques :

  • les données sont des chaînes de caractères
  • les guillemets sont nécessaires lorsque la valeur contient le caractère séparateur (ici la virgule)
  • les noms des attributs sont éventuellement indiqué sur une ligne séparée

Exemples :

Le format json - JavaScript Object Notation

Exemple :

{"nom" : "Dubois", "prénom" : "Martine", "adresse" : "28, rue des Lilas, 45000, Orléans", "âge" : 45}

Remarques :

  • reprend la syntaxe du dictionnaire Python
  • données numériques ou chaînes de caractères

* codes postaux

Pour les données organisées de manière hiérarchique. Des balises servent à séparer les différents attributs.

Formats xml, xhtml, json, …

Ex :

<nom> Dubois </nom>
<prénom> Martine </prénom>
<adresse>
  <num> 28 </num>
  <voie> rue des Lilas </voie>
  <code postal> 45000 </code postal>
  <ville> Orléans </ville>
</adresse>
<âge> 45 </âge>

remarque : le format json permet également de définir des hiérarchies

{
  "nom" : "Dubois",
  "prénom" : "Martine",
  "adresse" :
  {
    "numero" : 28,
    "voie" : "rue des Lilas",
    "code_postal" : 45000,
    "ville" : "Orléans"
  },
  "âge" : 45
}

Exemples :

Jeu de valeurs

Un jeu de valeurs sert à décrire :
  • une personne réelle : assuré, client, étudiant, auteur, plaignant, contribuable,…
  • une personne morale : fournisseur, prestataire, direction, section, promotion,…
  • un objet physique : article, véhicule, composant, ingrédient, pièce,…
  • un objet contractuel ou administratif : fiche de paye, contrat, procès verbal, billet, dossier…
  • un lieu : salle, local, manufacture, entrepôt, ligne de production,…
  • un événement : transaction, jugement, achat, vente, acte administratif, appel téléphonique,…
  • etc…

Tuple

Le Tuple est la structure de données de base servant pour le recueil, le transport et le stockage des données.

  • Un Tuple est une liste, finie, ordonnée et de taille fixe contenant une suite de valeurs.
  • Chaque valeur peut obéir à un format différent
  • On note m la taille du tuple (nombre de valeurs)

t=(a1,...,am) Exemple :

("Dubois", "Martine", 22, "29/10/1994", "Orléans")

3. Indexation

Pour une gestion efficace des données, il est nécessaire de pouvoir identifier chaque jeu de valeurs (tuple) de façon unique.

L'indexation des données repose sur un principe simple d'étiquetage consistant à attribuer une étiquette différente à chaque enregistrement.

  1. Cette étiquette peut être une suite de caractères arbitraires, un entier, ou un descripteur explicite. On parle en général de clé ou d'identifiant pour désigner cette étiquette.
  2. Il existe un ordre total dans le domaine de valeurs des clés, permettant d'effectuer des opérations de tri sur les données a partie de la valeur de leur clé.

Définitions et propriétés

On peut représenter l'opération d'indexation sous la forme d'une fonction. Si d est le jeu de valeurs, k(d) désigne l'identifiant de ce jeu de valeurs.

Unicité/spécificité

L'indexation suppose l'existence d'une bijection entre l'ensemble des données et l'ensemble des clés, permettant d'assurer l'unité et la spécificité de la clé

  • soient d1 et d2 deux enregistrements,
  • Unicité :
    • si d1=d2, alors k(d1)=k(d2).
  • Spécificité:
    • si k(d1)=k(d2), alors d1=d2.

Compacité

L'identifiant doit en pratique tenir sur un nombre d'octets le plus petit possible pour que la liste L puisse être manipulée en mémoire centrale. Autrement dit, il faut que :

pour que :

Un identifiant entier, codé sur 4 octets, permet d'indexer jusqu'à 24×84×109 données différentes.

Efficacité

L'existence d'un identifiant unique pour chaque jeu de valeurs d permet la mise en œuvre d'une recherche par identifiant (ou recherche par clé).

La recherche par identifiant repose sur une fonction d'adressage I (dite "Index") qui à tout identifiant k associe sa position (entrée) i dans un tableau de données: I:ki. Ainsi si k est l'identifiant servant à la recherche, l'extraction des informations se fait en 2 étapes:

La fonction d'indexation repose en pratique sur
  • une liste ordonnée de clés (ou toute autre structure ordonnée)

L=(k1,k2,...,kN) telle que k1<k2<...<kN, de telle sorte que la recherche dans cette liste s'effectue en O(log N) (recherche dichotomique).

  • une table de correspondances qui associe à chaque k l'adresse i correspondante.

Utilisation

Définir un ordre sur les données

La présence d'un identifiant permet de définir un ordre total sur les données :

Lier les données

Dans le cas des bases de données, l'identifiant constitue une référence vers les jeux de valeurs des tableaux de données. Une référence permet de lier les données d'une table aux données d'une autre table.

Exemple :

Exercice : donner le nom du groupe qui interprète la piste 'Paradise City'.

Structure d'ensemble

L'index définit l'appartenance d'une donnée à un ensemble.

Soit E un ensemble de données indexées : E={d1,d2,...,dK} On a l'équivalence : dEk(d)I

Ainsi, il ne peut y avoir de doublon car d :

4. Modèle Relationnel

On introduit dans ce chapitre le modèle relationnel qui sert de fondation à la conception de bases de données.

Les différents modèles utiles en représentation des connaissances reposent sur des notions de base de la théorie des ensembles :

4.1. Schéma et relation

2 approches en modélisation :

Le Modèle relationnel sert à représenter logiquement les tableaux de données.
Tableau de données

Un tableau de données est une liste (finie et ordonnée) de tuples, chaque tuple obéissant à un même schéma R.

Rappel:

Définition

Soit R=(A1,...,Am) un schéma de données

Une relation r obéissant au schéma R est un sous-ensemble du produit cartésien dom(A1)×...×dom(Am)

Corollaire : une relation est un ensemble de tuples : r={t1,...,tn}={(a11,...,a1m),...,(an1,...,anm)}
  • avec :
    • (i,j),aijdom(Aj),
    • i,tidom(A1)×...×dom(Am)
    • n : nombre de tuples
    • m : nombre d'attributs par tuple
Remarque :
  • Le schéma R représente le niveau abstrait (modélisation)
  • La relation r représente un cas concret de réalisaton (à un schéma R peuvent correspondre une infinité de réalisations possibles : r, r, r, etc. )
Diverses représentations :

Entité/association :

UML :

Schéma relationnel :

Client(nom, prénom, adresse, âge)

Exemples de schémas relationnels :

Étudiant(nom, prénom, adresse, INE)

Ouvrage(titre, auteur, éditeur, prix, date_édition)

Véhicule(immatriculation, marque, modèle, couleur)

4.2. Dépendances fonctionnelles

Rappels d’algèbre élémentaire:
  • Relation binaire : une relation binaire r portant sur deux domaines dom(A) et dom(B):
    • est un sous-ensemble du produit cartésien dom(A)×dom(B).
    • si (a,b)r, on note parfois arb ce qui signifie “a est en relation avec b”.
  • Fonction : une fonction f:dom(A)dom(B) est une relation binaire sur dom(A)×dom(B) telle que
    • pour tout adom(A),
    • il existe un unique b tel que (a,b)f.
    • On note b=f(a) ,
      • ce qui signifie qu'au sein de la relation f, b est déterminé de façon unique par le choix de a (autrement dit : “b dépend de a”)
Dépendance fonctionnelle
  • Soit r une relation définie selon R(A1,...,Am)
  • Soient X et Y deux sous-ensembles de R
  • On dit que la relation r définit une dépendance fonctionnelle de X vers Y,
    • notée XrY
    • si les valeurs de r permettent de définir une fonction de dom(X) vers dom(Y).
Exemple 1 :

Soit la relation r:

A B C
1 a e
2 b f
2 c f
3 d k
4 d k
  • On a les dépendances suivantes :
    • AC
    • BC
    • mais pas : AB, BA, ni CA
  • On a aussi :
    • A,BC
    • mais pas : B,CA, ni A,CB, etc.
Exemple 2 :
  • Soit le schéma :
    • Commande (num_client, quantité, prix, date, num_article)
  • et l’ensemble de contraintes

F={num_client, datenum_article, quantité, prixnum_article, quantitéprix}

  • La première contrainte indique qu'il ne peut y avoir deux factures émises pour un même client à une date donnée.
  • La seconde contrainte indique que le prix payé dépend de l’article et de la quantité commandée.
Exemple 3 :
  • Soit le schéma :
    • Ouvrage (titre, auteur, éditeur, prix, date_edition)
  • et la contrainte :
    • {titre, auteur, éditeur → prix, date_édition}

La contrainte signifie :

  • pour une oeuvre chez un certain éditeur, une seule édition est possible (pas de réédition à une date ultérieure)
  • politique du prix unique
Exercice : Soit le schéma :
  • Réservation(code_appareil, date, heure, salle)

Exprimer la dépendance fonctionnelle :

  • « Un appareil ne peut pas être utilisé dans deux locaux différents au même moment »
Exercice

Soit le schéma relationnel suivant :

Billet(num_train, type_train, num_voiture, num_place, date, id_passager, nom_passager, prénom_passager, date_naissance, gare_départ , horaire_départ, gare_arrivée, horaire_arrivée, classe, tarif)

Définir des dépendances fonctionnelles sur cet ensemble d'attributs

4.3 Clé d'une relation

Définitions

Clé
  • Une clé K :
    • est un ensemble minimal d'attributs inclus dans R,
    • tel que toute relation r de schéma R définit une dépendance fonctionnelle de dom(K) dans dom(R),
  • cette dépendance est notée KR.
  • Remarques :
    • Si un schéma R possède une clé K, alors tous les éléments d’une relation r de schéma R sont discernables : la valeur de la clé permet d’identifier de façon unique chaque élément de l’ensemble.
    • Au sein d'un schéma, il est souvent possible de définir plusieurs clés à partir des attributs. Le concepteur du modèle choisit une clé parmi les clés possibles. Cette clé est appelée clé primaire.
    • Graphiquement, les attributs constituant la clé sont soulignés:

Exemple 1 :

Exemple 2 :

  • Pour certains schémas,
    • il est courant de définir comme clé un entier identifiant de façon unique chaque élément de l'ensemble (appelé identifiant ou “Id”).
    • La clé est alors constituée de cet attribut unique.

Représentation UML :

Axiomes d'Amstrong

Soit K une clé candidate. On démontre que KR à l'aide des axiomes d'Amstrong à partir d'un ensemble de DF connues:

Axiomes d'Amstrong
  1. Réflexivité : YXXY
  2. Augmentation : XYX,ZY,Z
  3. Transitivité : XY et YZXZ
  4. Pseudo-transitivité : XY et Y,WZX,WZ
  5. Union : XY et XZXY,Z
  6. Décomposition : XY,ZXY et X>Z
Exercice

Soit le schéma relationnel suivant :

Billet(num_train, type_train, num_voiture, num_place, date, id_passager, nom_passager, prénom_passager, date_naissance, gare_départ , horaire_départ, gare_arrivée, horaire_arrivée, classe, tarif)

Montrer que l'ensemble {num_train, num_voiture, num_place, date, gare_départ} est une clé primaire du schéma?

4.4 Normalisation d'un schéma

Tables mal construites

Exemple : fournisseurs de composants électroniques:

Fournisseur(nom_f, composant_,adresse_f, prix)

  • Problèmes :
    • Redondance : l’adresse des fournisseurs est répétée plusieurs fois
    • Inconsistance : mauvaise mise à jour ⇒ adresses différentes pour un même fournisseur.
    • Problème Insertion : on ne peut pas insérer dans la table un fournisseur qui ne fournit rien
    • Problème suppression : si un fournisseur ne fournit plus rien, on perd son adresse
  • Solution?
  • Couper la table en 2?
Fournisseurs(nom_f, adresse_f) Catalogue(composant, prix)

–> Impossible de retrouver les prix pratiqués par les différents fournisseurs.

  • Nouveau Schéma :
Fournisseurs(nom_f, adresse_f) Catalogue(nom_f, composant, prix)

–> Il est possible de reconstruire la table initiale en effectuant une jointure entre ces 2 tables sur l’attribut nom_f.

Exercice : Les tables suivantes sont-elles bien ou mal construites?
  • Enseignement (id_enseignant, nom_enseignant, matière, id_élève, nom_élève)
  • Arrêt (num_train, horaire, nom_gare, ville)
  • Facture (id_client, date, article, montant)

Formes Normales

Les Formes normales

2ème forme normale (2FN)

Dépendance fonctionnelle élémentaire (DFE)
  • Soit R un schéma relationnel
  • Soit X un ensemble d’attributs ⊆ R
  • Soit A un attribut de R
  • Il existe une DFE entre X et A ssi :
    • XA
    • Il n’existe aucun sous-ensemble YX tel que YA
2ème forme normale (2FN)
  • Un schéma R est en 2FN :
    • ssi la clé primaire de R est en DFE avec tous les autres attributs.
    • Donc : il n’y a pas d’attributs qui ne dépendent que d’une partie de la clé.
Exemple : Fournisseur(nom_f,composant_,adresse_f,prix) nom_fadresse_f nom_f,composantprix ⇒ Pas 2FN!!

Normalisation 2FN

Normalisation 2FN :
  • Pour obtenir un schéma 2FN:
    • on “découpe” la table selon les DFE trouvées entre les attributs de la clé et ceux qui ne sont pas dans la clé.
  • La normalisation consiste:
    • à créer une nouvelle table pour chaque DFE ainsi trouvée.
  • Soit :

R(A1,...,Ai,...,An_,B1,...,Bj,...,Bm)

  • avec :

AiDFEBj A1,...,Ai,...,AnDFEB1,...,Bj1,Bj+1...,Bm

  • Alors le schéma de table doit être modifié comme suit :

R1(A1,...,Ai,...,An_,B1,...,Bj1,Bj+1...,Bm) R2(Ai_,Bj)

Attention

Même si aucun attribut ne dépend plus de la clé primaire initiale, il est important de la conserver dans une table spécifique (elle sert à “lier” les valeurs dispersées dans les différentes tables).

Exemple
  • Avant:

Fournisseur(nom_f,composant_,adresse_f, prix) nom_fadresse_f nom_f, composantprix

  • Après:

Catalogue(nom_f,composant_,prix) Fournisseur(nom_f_,adresse_f)

Remarque : le schéma est maintenant constitué de deux tables.
  • Les tables ont un attribut commun : nom_f (clé primaire de la table Fournisseur).
  • La clé primaire de la table des Fournisseurs est dupliquée dans la table des prix (appelée ici Catalogue).
  • On dit que nom_f est une clé étrangère de la table des prix (l’attribut fait référence à la clé primaire d’une autre table, en l’occurrence la table des fournisseurs - voir 3.1.1).

3ème forme normale (3FN)

Dépendance Fonctionnelle Directe (DFD) :

La dépendance fonctionnelle entre 2 attributs Ai et Aj est directe s’il n’existe pas de Ak tel que : AiAkAj

3ème Forme Normale (3FN)

Un schéma est 3FN :

  • S’il est 2FN
  • Si tous les attributs sont en DFD avec la clé.
Exemple :

Commande(num_commande_,nom_f, adresse_f, composant, quantité) num_commandenom_f, composant, quantité nom_fadresse_f

Le schéma n’est pas 3FN!! (dépendance transitive entre num_commande et adresse)

Normalisation 3FN

* Lorsqu’un schéma relationnel n’est pas en troisième forme normale, il doit être normalisé:

Normalisation 3FN
  • On crée une table pour chaque DFD trouvée au sein des attributs n'appartenant pas à la clé.

Soit : R(A1,...,Am_,B1,...,Bi,...,Bj,...,Bn) avec : A1,...,AmDFDB1,...,Bi,...,Bj1,Bj+1,...,Bn BiDFDBj Alors : R1(A1,...,Am_,B1,...,Bi,...,Bj1,Bj+1,...,Bn) R2(Bi_,Bj)

Attention

Comme précédemment, il est important de conserver la clé primaire de la table initiale si elle permet d'associer les valeurs dispersées dans les tables.

Exemple :

Avant :

  • Commande (num_commande, nom_f, adresse_f, composant, quantité)
  • avec :
    • num_commande → nom_f, composant, quantité
    • nom_f → adresse_f

Après :

  • Commande (num_commande, nom_f, composant, quantité)
  • Client (nom_f, adresse_f)

L’attribut nom_f est maintenant clé primaire de la table Client et clé étrangère de la table Commande.