Cours de bases de données - Modèles et langages

Contents:

• Introduction
  • Sujet du cours
  • Contenu et objectifs du cours
  • Organisation
• Préliminaires: Docker
  • Docker en quelques mots
    • Docker et ses conteneurs
    • Les images Docker
  • Docker en ligne de commande
    • Lancement de la Docker VM (Mac OS, Windows)
    • Notre première image
    • Gérer mon conteneur
    • Quiz
  • Installons MySQL
    • Choisir une image et l’instancier
    • Accéder à mon serveur MySQL
  • Kitematic
    • Installer un nouveau conteneur
    • Gestion d’un conteneur
    • Exercices
• Modélisation de bases NoSQL
  • S1: documents structurés
    • Représentation de documents structurés
    • Les documents sont des graphes
    • Abrégé de la syntaxe JSON
      • Valeurs simples
      • Valeurs complexes
    • Exercices
  • S2. Modélisation
    • Conception d’une base relationnelle
      • Méthode informelle
      • Le modèle entité/association
      • Schémas relationnels
      • Ce qu’il faut retenir
    • Conception NoSQL avec documents structurés
      • Documents et collections
      • Le pouvoir de l’imbrication des structures
      • Les inconvénients
      • Et le schéma?
    • Ma conclusion: Relationnel ou NoSQL?
    • Exercices
  • S3: Cassandra, une base relationnelle étendue
    • Installation
      • Le serveur
      • Le client
    • Le modèle de données
    • Paires clé/valeur (columns) et documents (rows)
    • Les tables (column families)
    • Bases (Keyspaces)
    • Conception d’un schéma
    • Créons notre base
      • Le keyspace
      • Données relationnelles (à plat)
      • Documents structurés (avec imbrication)
    • Exercices
  • S4: MongoDB, une base JSON
    • Installation de MongoDB
      • L’interpréteur de commandes mongo
      • Le client Studio3T
    • Création de notre base
    • Exercices
  • Quiz
  • Exercices
• Interrogation de bases NoSQL
  • S1: HTTP, REST, et CouchDB
    • Web = ressources + URL + HTTP
      • Ressources
      • URLs
      • Le protocole HTTP
    • L’architecture REST
    • L’API REST de CouchDB
    • Exercices
  • S2: requêtes Cassandra
    • CQL, un sous-ensemble de SQL
    • Pourquoi CQL n’est pas SQL
    • Exercices
  • S3: requêtes avec MongoDB
    • Sélections
      • Critères de recherche
      • Projections
      • Opérateurs ensemblistes
      • Opérateurs Booléens
    • Jointures
    • Exercices
• MapReduce, premiers pas
  • S1: MapReduce démystifié
    • Un jus de pomme MapReduce
    • Beaucoup de jus de pomme
    • Jus de fruits MapReduce
    • Le modèle MapReduce
    • Concevoir un traitement MapReduce
      • Les questions à se poser
      • Un peu de rigueur
    • Exercices
  • S2: MapReduce et CouchB
    • La notion de vue dans CouchDB
    • Les fonctions Map et Reduce
    • Exercices
  • S3: Frameworks MapReduce: MongoDB
    • Frameworks MapReduce
    • Mon premier traitement MapReduce/MongoDB
    • Jointures avec MapReduce
    • Exercices
• Cassandra - Travaux Pratiques
  • Partie 1: Approche relationnelle
    • Création de la base de données
      • Tables
        • Import des données
    • Interrogation
      • Requêtes CQL simples
      • CQL Avancé
  • Partie 2: modélisation spécifique NoSQL
    • Premier besoin
    • Second besoin
    • Bonus
• MongoDB - Travaux Pratiques
  • Manipulation de base
    • Gestion de collection
    • Interrogation simple
    • Indexation (optionnel)
  • Pratique de Map/Reduce
    • Commandes pour retrouver l’environnement de travail complet
    • Quelques rappels
    • Mappez et réducez
  • Bonus / Pour aller plus loin
    • Mises à jour
    • Indexation 2Dsphere
• Introduction à la recherche d’information
  • S1: les principes
    • Qu’est ce que la recherche d’information
    • Précision et rappel
    • La recherche plein texte
    • Les index inversés
    • Opérations de recherche
    • Quiz
    • Exercices
  • S2: Bases documentaires et moteur de recherche
    • Architecture du système d’information avec un moteur de recherche
    • Mise en place d’ElasticSearch
      • Première indexation
      • Indexer davantage de documents
    • Quiz
    • Exercices
  • S3: la pratique: requêtes booléennes
    • Le langage de base
    • Termes
    • Connecteurs booléens
    • Quiz
    • Exercices
• Recherche d’information : l’indexation
  • S1: L’analyse de documents
    • Tokenisation et normalisation
    • Stemming (racine), lemmatisation
    • Mots vides et autres filtres
    • Quiz
  • S2: L’indexation dans ElasticSearch
    • Le schéma
      • Méta-champs
      • Champs
      • Champs créés dynamiquement
      • Importer le schéma dans ElasticSearch
    • Analyse avec ElasticSearch
    • Une chaîne d’analyse personnalisée avec Elasticsearch
    • Conclusion
    • Quiz
    • Exercices
• Recherche avec classement
  • S1: recherche avec classement
    • Notions de base: espace métrique, distance et similarité
    • Application à la recherche plein texte
    • Quiz
    • Exercices
  • S2: recherche plein texte
    • Le poids des mots
      • La fréquence des termes
      • Normalisation des tf
      • La fréquence inverse dans les documents
      • Le poids tf.idf
    • La similarité cosinus
    • Quiz
    • Exercices
  • S3: l’algorithme PageRank
    • Un cas simple
    • Généralisons
    • Le vrai score de Google
    • Exercices
  • Implémenter le classement dans un moteur de recherche
• Recherche d’information - TP ElasticSearch
  • Mise en place d’ElasticSearch
    • Installation du jeu de données
    • Les documents
  • Interrogation
  • Agrégats
  • Bonus : Agrégats via mapping spécifique
• Recherche d’information - TP ElasticSearch : pertinence
  • Elasticsearch et la pertinence
    • Une première notion de score
    • Boosting
  • À vous de jouer
• Le cloud, une nouvelle machine de calcul
  • S1: cloud et données massives
    • Vision générale
      • La couche matérielle
      • Gare à la panne
    • Systèmes distribués
      • Messages et protocole
      • Clients, maîtres et esclaves
      • Gestion des pannes, ou failover
    • Les systèmes de stockage distribués, dits NoSQL
    • Les systèmes de calcul distribués
    • Quiz
    • Exercices
  • S2: La scalabilité
    • Une définition
    • Exemple: comptons les documents
    • Autre exemple: cherchons les doublons
    • Quelques conclusions
    • Quiz
    • Exercices
  • S3: anatomie d’une grappe de serveurs
    • La hiérarchie des mémoires
    • Performances
    • Le principe de localité des données
    • Quelques conclusions
      • Systèmes analytiques
      • Systèmes temps réel
    • Quiz
    • Exercices
• Systèmes NoSQL: la réplication
  • S1: réplication et reprise sur panne
    • La réplication, pourquoi
    • La réplication, comment
    • Cohérence des données
    • Réplication et reprise sur panne
    • Culture: le théorème CAP
    • Exercices
  • S2: réplication dans MongoDB
    • Les replica set
    • La reprise sur panne dans MongoDB
    • À l’action: créons notre replica set
    • Testons la reprise sur panne
    • Exercices
  • S3: ElasticSearch
    • Installation
    • Reprise sur panne
    • Exercices
  • S4: Cassandra
    • Ecriture et cohérence des données
      • Mécanisme d’écriture
      • Paramétrage de la cohérence (écritures)
    • Lecture et cohérence des données
      • Mécanisme de lecture
      • Paramétrage de la cohérence des lectures
    • Mise en pratique
      • Notre cluster
      • Keyspace et données
      • Cohérence des lectures
  • Quiz
• Systèmes NoSQL: le partitionnement
  • S1: les bases
    • Principes généraux
      • Clé de partitionnement
      • Structures
    • Et en distribué ?
    • Etude de cas: ElasticSearch
      • Lancement des serveurs
      • Ajout / suppression de nœuds
    • Exercices
  • S2: partitionnement par intervalle
    • Structures et opérations
      • Dynamicité
    • Etude de cas: MongoDB
      • Architecture
      • Configuration du système
      • Partitionnement des collections
    • Exercices
  • S3: partitionnement par hachage
    • Structure et opérations
      • Dynamicité
    • Le hachage cohérent (consistent hashing)
      • L’anneau et la règle d’affectation
      • En pratique
      • Ajout/suppression de serveurs
    • Cassandra en mode distribué
      • Le Hash-Ring
      • Routage des requêtes
      • Stratégies de réplication
      • Mise en pratique
      • Notre cluster
      • Keyspace et données
      • Cohérence des lectures
      • Cassandra & données massives
    • Exercices
  • Quiz
• Calcul distribué: Hadoop et MapReduce
  • S1: MapReduce
    • Le principe de localité des données
    • Exécution distribuée d’un traitement MapReduce
    • La reprise sur panne
      • Panne en phase de Reduce
      • Panne en phase Map
      • Et le maître?
    • Exercices
  • S2: Une brève introduction à Hadoop
    • Systèmes de fichiers distribués
    • Architecture HDFS
    • Mise en œuvre avec Hadoop
      • Installation et configuration
      • Premières manipulations
    • MapReduce, le calcul distribué avec Hadoop
      • Installation et configuration
      • Notre programme MapReduce
      • Compilation, exécution
  • S3: langages de traitement: Pig
    • Une session illustrative
    • Les opérateurs
    • Exercices
  • Quiz
• Traitement de données massives avec Apache Spark
  • S1: Introduction à Spark
    • Les Resilient Data Sets
    • Exemple: analyse de fichiers log
    • Reprise sur panne
    • Dataset et Dataframe
  • S2: Spark en pratique
    • Transformations et actions
    • L’interface de contrôle Spark
      • L’onglet jobs
      • L’onglet Stages
      • L’onglet Storage
    • Exercices
  • S3: Traitement de données structurées avec Cassandra et Spark
    • Préliminaires
    • Traitements basés sur les Datasets
    • Exercices
  • Quiz
• Traitement de flux massifs avec Apache Flink
  • S1: Apache Flink
    • Architecture applicative
    • Architecture système
    • Tolérance aux pannes
    • Prise en mains de Flink
      • Installation et lancement
      • Quelques commandes interactives
      • Un programme de suivi de flux
      • Déploiement
  • S2: l’API de streaming Flink
    • Modèle de données et de programmation
    • Les transformations
    • Quelques exemples
    • Exercices
  • S3: Le fenêtrage
    • Définition d’une fenêtre
    • Opérations sur les fenêtres
    • Quelques exemples
    • Exercices
• Pig : Travaux pratiques
  • Première partie : analyse de flux multiples
  • Deuxième partie : analyse de requêtes
    • Aparté sur l’utilisation de Pig
    • Première analyse
      • Nettoyage des données
      • Extraction de l’heure
      • Récupération des nGrams
      • Agrégation par heure
      • Heures anormales pour un mot
    • Aller plus loin
      • Tri
      • Visualisation
      • Deuxième analyse
• Hackathon NFE204
  • Sujet 1: gestion de flux Twitter, avec Kafka/Spark
    • Architecture
    • Tâches et compétences
  • Sujet 2: réalisation d’une BlockChain avec un système NoSQL
• Projets NFE204
  • Les étapes
  • Les données
  • Le système NoSQL
  • Le rapport
• Annexe: Bases XML
  • S1: codage en XML
    • Introduction à XML
    • Formalisme XML
      • Éléments et texte
      • Attributs et Document
      • Sections littérales
    • Exercices
  • S2: XPath, trouver son chemin XML
    • Un exemple commenté
    • Formalisme XPath
    • Tests et prédicats
    • Exercices
  • S3: une pincée de XQuery
    • Valeurs et construction de valeurs: let et return
    • Séquences: la clause for
    • Filtrons et trions: les clauses where et order
    • Résumons: le pouvoir des FLOWR
    • Exercices
  • S4: BaseX, une base XML
    • L’interface graphique de BaseX
    • Bases de données et collection
    • Exploration interactive
    • Interrogation, recherche
    • Autres documents
    • Exercices
    • Travaux pratiques XPath
• Annexe: CouchBase
  • Installation
  • Architecture
    • Le gestionnaire de données
      • La gestion du cache des métadonnées
      • Le gestionnaire de cluster
      • Le moteur de requêtes
      • La réplication
    • Interrogation
  • Données JSON et import
    • La source de données
    • Description du document
    • Création du jeu de données
    • Automatisation des exports et intégration
    • Insertion des données JSON
    • Requêtes sur la base
    • Exploiter les données sous forme de carte GPS
  • Le système de vues
    • La phase de Reduce
    • Nombre d’accidents mortels par quartiers
    • Etude et discussion des résultats
  • Indexation Elasticsearch
    • Installation Elasticsearch
    • Réplication
    • Requêtes de recherche par l’interface
    • Etude et discussion des résultats
    • Mapping Elasticsearch
    • Création d’un analyseur
      • Stemming
      • Mise en place de l’analyseur
    • Annexes
      • 1. Références
        • Couchbase
        • Socrata
        • Elasticsearch
      • 2. Compléments
        • Requêtes N1QL avec curl
• Annexe: Présentation de Redis
  • Le client Redis
    • Structures de données
      • a – Les valeurs simples
      • b – Les listes
      • c – Les sets
      • d – Les hashes
      • e – Expire
    • 2 – Interfaces graphiques
    • 3 – Jeu de données
    • 4 – Problématique d’importation des données
    • 5 – Mise en place du serveur Redis avec Docker et importation des données
      • a – Serveur Redis avec docker-compose
      • b – Scripts d’importation python
      • c – Persistance des données
  • II – Réplication et passage à l’échelle
    • 1 – Réplication
      • a – Test simple
      • b – Comment fonctionne la réplication
    • 2 – Reprise sur panne avec Sentinel
      • a – Mise en place avec docker-compose
      • b – Tests de reprise sur panne
      • c – Que se passe-t-il en coulisses ?
    • 3 – Partitionnement avec Redis Cluster
    • a – Mise en place du cluster
    • b – Importation de données dans le cluster
    • c – Resharding du cluster
    • d – Ajout et suppression de nœuds
    • e – Limitations
    • f – Disponibilité et communication entre les nœuds
  • III – Quelques utilisations possibles de Redis
    • 1 – Redis comme système de cache
    • 2 – Redis comme système de compteur de valeurs uniques
    • 3 – Redis comme agent de messages (message broker)
    • 4 – Redis et les traitements analytiques
  • Le mot de la fin
• Annexe: Solr, un moteur de recherche
  • S1: installation, mise en route
    • Installation
    • Insertion de documents
    • Interroger un index avec Solr
    • Exercices
  • S2: construisons notre moteur de recherche
    • Le schéma de l’index
      • Définition des types et de la clé
      • Définition des champs
      • Recharger le schéma
    • Consulter l’index
    • Exercices
  • S3: L’analyse de documents avec Solr
    • Tokenisation et normalisation
    • Stemming (racine), lemmatization
    • Mots vides et autres filtres
    • Les analyseurs Solr
    • Tester votre configuration
    • Exercices
  • S4: Classement avec Solr
    • Mise en place de la base
    • Comprendre le classement Solr
    • Regroupements (clustering)
    • Exercices
  • Quiz
• Annales des examens
  • Examen du 3 février 2015
    • Première partie : recherche d’information (8 pts)
    • Seconde partie : Pig et MapReduce (6 pts)
    • Troisième partie : questions de cours (6 pts)
  • Examen du 14 avril 2015
    • Première partie : recherche d’information (8 pts)
    • Seconde partie : Pig et MapReduce (6 pts)
    • Troisième partie : questions de cours (6 pts)
  • Examen du 15 juin 2015
    • Première partie : documents structurés (6 pts)
    • Deuxième partie : recherche d’information (6 pts)
    • Troisième partie : MapReduce (4 pts)
    • Quatrième partie : questions de cours (6 pts)
  • Examen du 1er juillet 2016 (FOD)
    • Exercice corrigé: documents structurés et MapReduce (8 pts)
    • Question 1: documents et base relationnelle
    • Question 2: restructuration de documents
    • Question 3: MapReduce et la notion de document « autonome »
    • Question 4: MapReduce, outil de restructuration/regroupement
      • La fonction de Map
    • Question 5: MapReduce = group-by SQL
  • Examen du 1er février 2017 (Présentiel)
    • Première partie : documents structurés (5 pts)
    • Deuxième partie : recherche d’information (4 pts)
    • Troisième partie : systèmes distribués (3 pts)
    • Quatrième partie : MapReduce (4 pts)
    • Cinquième partie : questions de cours (4 pts)
  • Examen du 6 février 2018 (Présentiel)
    • Première partie : modélisation NoSQL (7 pts)
    • Deuxième partie : recherche d’information (5 pts)
    • Troisième partie : Comprendre MapReduce tu devras (5 pts)
• Références et liens
  • Les MOOC

Indices and tables

• Index
• Index du module
• Page de recherche