Cours de bases de données documentaires et distribuées

• Introduction
  • Sujet du cours
  • Contenu et objectifs du cours
  • Organisation
• Préliminaires: Docker
  • Introduction à Docker
    • Docker et ses conteneurs
    • Les images Docker
  • Docker en pratique
    • Lancement du Docker Desktop (Mac OS, Windows)
    • Installons des serveurs Web
    • Le tableau de bord (dashboard)
    • Un serveur c’est bien, mais où est le client?
  • Nos systèmes NoSQL
    • CouchDB
    • Cassandra
    • ElasticSearch
    • MongoDB
    • Quiz
  • Exercices
• Modélisation de bases NoSQL
  • S1: documents structurés
    • Modèle des documents structurés
    • Sérialisation des documents structurés
    • Abrégé de la syntaxe JSON
    • Quiz
    • Mise en pratique (optionnel)
  • S2. Modélisation des collections
    • Conception d’une base relationnelle
      • Schémas relationnels
      • Ce qu’il faut retenir
    • Conception NoSQL avec documents structurés
      • Documents et collections
      • Le pouvoir de l’imbrication des structures
      • Les inconvénients
      • Et le schéma?
    • Ma conclusion: Relationnel ou NoSQL?
    • Quiz
  • Exercices
    • Pour aller plus loin (optionnel)
• Recherche exacte
  • S1: HTTP, REST, et CouchDB
    • Web = ressources + URL + HTTP
      • Ressources
      • URLs
      • Le protocole HTTP
    • L’architecture REST
    • L’API REST de CouchDB
    • Quiz
    • Mise en pratique
  • S2: ElasticSearch
    • Architecture du système d’information avec un moteur de recherche
    • Interrogation
      • Termes
      • Connecteurs booléens
      • Requêtes structurées
    • Quiz
    • Mise en pratique ElasticSearch
  • S3: le langage d’interrogation de MongoDB
    • Sélections
      • Critères de recherche
      • Projections
      • Opérateurs ensemblistes
      • Opérateurs Booléens
    • Jointures
    • Mise en pratique
• Etude de cas: Cassandra
  • S1: Cassandra, une base relationnelle étendue
    • Le modèle de données
    • Paires clé/valeur (columns) et documents (rows)
    • Les tables (column families)
    • Bases (Keyspaces)
    • Créons notre base
      • Données relationnelles (à plat)
      • Documents structurés (avec imbrication)
  • S2: requêtes Cassandra
    • CQL, un sous-ensemble de SQL
    • Pourquoi CQL n’est pas SQL
  • S3: étude de cas: conception d’un schéma
    • Les principes
    • Les besoins
    • Schéma et requêtes
  • Exercices
• Cassandra - Travaux Pratiques
  • Partie 1: Approche relationnelle
    • Création de la base de données
      • Tables
        • Import des données
    • Interrogation
      • Requêtes CQL simples
      • CQL Avancé
  • Partie 2: modélisation spécifique NoSQL
• Recherche approchée
  • S1: introduction à la recherche d’information
    • Qu’est ce que la recherche d’information
    • Précision et rappel
    • La recherche plein texte
    • Les index inversés
    • Opérations de recherche
    • Quiz
  • S2: L’analyse de documents
    • Tokenisation et normalisation
    • Stemming (racine), lemmatisation
    • Mots vides et autres filtres
    • Quiz
  • S3: recherche avec classement
    • Notions de base: espace métrique, distance et similarité
    • Application à la recherche plein texte
    • Quiz
  • S4: recherche plein texte
    • Le poids des mots
      • La fréquence des termes
      • Normalisation des tf
      • La fréquence inverse dans les documents
      • Le poids tf.idf
    • La similarité cosinus
    • Quiz
  • Exercices
• ElasticSearch - Travaux pratiques
  • S1: recherche plein texte avec ElasticSearch
    • Les recherches plein-texte
    • Combinaison de recherches
      • La clause must
    • À vous de jouer
  • S2 : Agrégats
    • Syntaxe
    • À vous de jouer
  • S3: Le classement dans Elasticsearch
    • Le score
    • Le boosting
• Traitements par lot
  • S1: MapReduce démystifié
    • Un jus de pomme MapReduce
    • Beaucoup de jus de pomme
    • Jus de fruits MapReduce
    • Le modèle MapReduce
    • Concevoir un traitement MapReduce
      • Les questions à se poser
      • Un peu de rigueur
    • Quiz
  • S2: MapReduce et CouchDB
    • La notion de vue dans CouchDB
    • Les fonctions Map et Reduce
    • Mise en pratique
  • S3: Spécification de traitements distribués avec Pig
    • Une session illustrative
    • Les opérateurs
  • Exercices
• Pig : Travaux pratiques
  • Première partie : analyse de flux multiples
  • Deuxième partie : analyse de requêtes
    • Aparté sur l’utilisation de Pig
    • Première analyse
      • Nettoyage des données
      • Extraction de l’heure
      • Récupération des nGrams
      • Agrégation par heure
      • Heures anormales pour un mot
    • Aller plus loin
      • Tri
      • Visualisation
      • Deuxième analyse
• Le cloud, une nouvelle machine de calcul
  • S1: cloud et données massives
    • Vision générale
      • La couche matérielle
      • Gare à la panne
    • Systèmes distribués
      • Messages et protocole
      • Clients, maîtres et esclaves
      • Gestion des pannes, ou failover
    • Les systèmes de stockage distribués, dits NoSQL
    • Les systèmes de calcul distribués
    • La hiérarchie des mémoires
    • Performances
    • Quiz
  • S2: La scalabilité
    • Une définition
    • Exemple: comptons les documents
    • Autre exemple: cherchons les doublons
    • Quelques conclusions
    • Quiz
  • 3: Calculs distribués
    • Le principe de localité des données
    • Exécution distribuée d’un traitement MapReduce
    • La reprise sur panne
      • Panne en phase de Reduce
      • Panne en phase Map
      • Et le maître?
    • Quiz
  • Exercices
• Systèmes NoSQL: la réplication
  • S1: réplication et reprise sur panne
    • La réplication, pourquoi
    • La réplication, comment
    • Cohérence des données
    • Equilibrage entre cohérence et latence: le principe du quorum
    • Réplication et reprise sur panne
    • Culture: le théorème CAP
    • Quiz
  • S2: ElasticSearch
    • Lancement du cluster
    • Gérer un cluster avec ElasticVue
    • Le jeu de données
    • Changeons la réplication
    • Reprise sur panne
    • Quiz
    • Mise en pratique
  • S4: Cassandra
    • Ecriture et cohérence des données
      • Mécanisme d’écriture
      • Paramétrage de la cohérence (écritures)
    • Lecture et cohérence des données
      • Mécanisme de lecture
      • Paramétrage de la cohérence des lectures
    • Mise en pratique
      • Notre cluster
      • Keyspace et données
      • Cohérence des lectures
    • Quiz
  • S4: réplication dans MongoDB
    • Les replica set
    • La reprise sur panne dans MongoDB
    • À l’action: créons notre replica set
    • Testons la reprise sur panne
    • Quiz
    • Mise en pratique
  • Exercices
• Systèmes NoSQL: le partitionnement
  • S1: les bases
    • Principes généraux
      • Clé de partitionnement
      • Structures
    • Et en distribué ?
    • Etude de cas: ElasticSearch
      • Lancement des serveurs
      • Ajout / suppression de nœuds
    • Quiz
    • Mise en pratique
  • S2: partitionnement par intervalle
    • Structures et opérations
      • Dynamicité
    • Etude de cas: MongoDB
      • Architecture
      • Configuration du système
      • Partitionnement des collections
    • Quiz
    • Mise en pratique
  • S3: partitionnement par hachage
    • Structure et opérations
      • Dynamicité
    • Le hachage cohérent (consistent hashing)
      • L’anneau et la règle d’affectation
      • En pratique
      • Ajout/suppression de serveurs
    • Cassandra en mode distribué
      • Le Hash-Ring
      • Routage des requêtes
      • Stratégies de réplication
      • Mise en pratique
      • Notre cluster
      • Keyspace et données
      • Cohérence des lectures
      • Cassandra & données massives
    • Quiz
  • Exercices
• Etude de cas: Apache Spark
  • S1: Introduction à Spark
    • Architecture système
    • Architecture applicative
      • L’innovation des RDDs
      • Actions et transformations : la chaîne de traitement Spark
      • RDDs, Dataset et DataFrame
    • Exemple: analyse de fichiers log
    • Reprise sur panne
    • Quiz
  • S2: Mise en pratique
    • Transformations et actions
      • Compteur de termes, en DataFrames
    • Spark SQL, gestion de données structurées
    • Mise en pratique
  • S3: Traitement de données structurées avec Cassandra et Spark
    • Préliminaires
    • Traitements Spark/Cassandra
    • L’interface de contrôle Spark
      • L’onglet jobs
      • L’onglet Stages
      • L’onglet Storage
      • L’onglet SQL/Dataframe
    • Mise en pratique
  • Exercices
    • Et pour aller plus loin
• Annales des examens
  • Examen du 3 février 2015
    • Première partie : recherche d’information (8 pts)
    • Seconde partie : Pig et MapReduce (6 pts)
    • Troisième partie : questions de cours (6 pts)
  • Examen du 14 avril 2015
    • Première partie : recherche d’information (8 pts)
    • Seconde partie : Pig et MapReduce (6 pts)
    • Troisième partie : questions de cours (6 pts)
  • Examen du 15 juin 2015
    • Première partie : documents structurés (6 pts)
    • Deuxième partie : recherche d’information (6 pts)
    • Troisième partie : MapReduce (4 pts)
    • Quatrième partie : questions de cours (6 pts)
  • Examen du 1er juillet 2016 (FOD)
    • Exercice corrigé: documents structurés et MapReduce (8 pts)
    • Question 1: documents et base relationnelle
    • Question 2: restructuration de documents
    • Question 3: MapReduce et la notion de document « autonome »
    • Question 4: MapReduce, outil de restructuration/regroupement
      • La fonction de Map
    • Question 5: MapReduce = group-by SQL
  • Examen du 1er février 2017 (Présentiel)
    • Première partie : documents structurés (5 pts)
    • Deuxième partie : recherche d’information (4 pts)
    • Troisième partie : systèmes distribués (3 pts)
    • Quatrième partie : MapReduce (4 pts)
    • Cinquième partie : questions de cours (4 pts)
  • Examen du 6 février 2018 (Présentiel)
    • Première partie : modélisation NoSQL (7 pts)
    • Deuxième partie : recherche d’information (5 pts)
    • Troisième partie : Comprendre MapReduce tu devras (5 pts)
  • Examen du 30 juin 2020
    • Première partie : modélisation NoSQL (8 pts)
    • Deuxième partie : recherche d’information (5 pts)
    • Troisième partie : analyse à grande échelle (5 pts)
  • Examen du 5 septembre 2020
    • Première partie : modélisation NoSQL (8 pts)
    • Seconde partie : MapReduce (10 pts)
  • Examen du 28 juin 2023
    • Première partie : modélisation NoSQL (7 pts)
    • Deuxième partie : recherche d’information (7 pts)
    • Troisième partie : systèmes distribués (5 pts)
    • Quatrième partie : questions de cours (2 pts)
  • Examen du 22 juin 2024
    • Première partie : documents structurés (6 pts)
    • Deuxième partie : recherche d’information (6 pts)
    • Troisième partie : MapReduce (3 pts)
    • Quatrième partie : systèmes distribués (3 pts)
    • Cinquième partie : question de cours (2 pts)

Indices and tables

• Index

• Index du module

• Page de recherche