# [Mettons nos élu‧e‧s sur Wikidata !](https://frama.link/cff-wikidata) :::success Venez découvrir et contribuer à la base de données ouverte Wikidata. **Une initiative [Code for France](http://codefor.fr/)** en soutien au projet [EveryPolitician](https://www.mysociety.org/democracy/everypolitician/) de [mySociety](https://www.mysociety.org/). [Suivez les dernières infos sur notre chat](https://chat.codefor.fr) (salon #wikidata) ::: :::info ## Wikidata + RNE = :heart: * **[Wikidata](http://wikidata.org/)** = la base de données de Wikipédia. * **RNE** = [Répertoire national des élus](https://www.data.gouv.fr/fr/datasets/5c34c4d1634f4173183a64f1/), qui vient tout juste d'être publié en open data. ### Pour quoi faire ? * Avec le [RNE](https://www.data.gouv.fr/fr/datasets/5c34c4d1634f4173183a64f1/) on peut faire des statistiques exhaustives sur nos élu‧e‧s (genre et parité, âge, prénoms, CSP...) * Avec [Wikidata](http://wikidata.org/) on pourra croiser le RNE avec plein d'autres données (localisation des communes pour faire des cartes, population, données historiques...) et les rendre accessibles sur Wikipédia, dans les moteurs de recherche, et [poser des questions à Siri ou Alexa](https://www.wired.com/story/inside-the-alexa-friendly-world-of-wikidata/)... * On soutient le projet [EveryPolicitian](https://www.mysociety.org/democracy/everypolitician/) de mySociety qui fait la même chose au niveau international : on pourra faire des comparaisons entre pays ! et plein d'autres trucs chouettes * Wikidata c'est comme [OpenStreetMap](http://osm.org/) : plus on enrichit, plus les usages potentiels se multiplient et une fois que c'est dans la base, c'est utilisable par toutes et tous et **pour toujours** ! ### Chronologie * 2018 : lancement du partenariat entre mySociety et Code for France sur le projet EveryPolitician. Discussions avec les acteurs intéressés (wikimédiens, politistes, Etalab, communauté open data...). * Début janvier 2019 : publication du RNE en open data par le Ministère de l'intérieur. * Janvier-Février 2019 : poursuite des échanges, analyse des différents fichiers, réflexion sur la faisabilité, les premières étapes, les objectifs, l'outillage... * Début Mars 2019 : décision de participer à la Nuit du code citoyen (NCC) pour lancer la dynamique collective. Préparation de l'événement. * 15 et 16 mars 2019 : participation à la NCC. Utilisation d'OpenRefine, ajout des maires d'Ile-de-France dans Wikidata. Plus de 1000 maires ajoutés ([exemple](https://www.wikidata.org/wiki/Q62077324)) * Fin mars 2019 : début de la campagne de contributions sur les maires (France entière). ::: ## Campagne de contributions Venez nous donner un coup de main ! * [ ] 1er objectif : ajout des maires de la France entière ### Mode d'emploi * :wave: Venez sur [notre chat](https://chat.codefor.fr/) (salon #wikidata). * :1234: Consultez [le tableau des contributions](https://lite.framacalc.org/rne_wikidata) : l'idée est de se répartir les départements en travaillant collaborativement pour aller plus vite sans se marcher sur les pieds. * :speech_balloon: Avancez en coordination avec les autres contributrices et contributeurs (en signalant sur le chat et sur le tableau). **N'hésitez pas à poser des questions à n'importe quelle étape !** * :ballot_box_with_check: [Créez un compte Wikidata](https://www.wikidata.org/w/index.php?title=Special:CreateAccount) si vous n'en avez pas encore. * :arrow_down_small: Téléchargez et installez [OpenRefine](http://openrefine.org/) (3.2 beta). * :arrow_down_small: Téléchargez [ce fichier](https://drive.codefor.fr/s/FNLCfqMer5L36R5) déjà préparé pour la contribution (il s'agit du fichier des maires du RNE avec un peu de nettoyage préalable). * :arrow_up_small: Importez-le dans OpenRefine (choisir *import* pas *open*). * :black_square_button: Activez les filtres en cliquant sur la flèche dans l'en-tête de la colonne. Par exemple "Code du département" > Facet > Text facet puis choisissez le département de votre choix. Ca y est, vous êtes prêt.e à contribuer ! **Le processus se déroule en trois étapes : :one: Reconciling :two: Matching :three: Editing (upload)** * :one: Sur le fichier que vous avez importé, une étape de "réconciliation" a déjà été réalisée sur 3 champs : Code sexe, Libellé de la commune et Libellé du maire, en appelant via OpenRefine [une API](https://tools.wmflabs.org/openrefine-wikidata/) qui permet d'aligner automatiquement notre fichier avec ce qui existe déjà dans Wikidata. Les matchs sont affichés comme des liens cliquables dans OpenRefine. **Tout le travail consiste donc à matcher les éléments restants.** * Vous pouvez tenter une nouvelle réconciliation sur chaque champ (il est possible que les données sur Wikidata aient évolué depuis la précédente tentative). * Pour les communes : Libellé de la commune > Reconcile > Start reconciling... > Choisissez le service Wikidata Reconciliation for OpenRefine (en) > Dans la colonne de droite cochez Code Sexe et Date de naissance et mettez respectivement "sex or gender" et "date of birth". Cliquez ensuite sur Start Reconciling. * Pour les maires : Libellé du maire > Reconcile > Start reconciling... > Choisissez le service Wikidata Reconciliation for OpenRefine (en) > Dans la colonne de droite cochez INSEE municipality code et mettez "INSEE municipality code". Cliquez ensuite sur Start Reconciling. * Isolez les lignes à matcher dans le champ Libellé de la commune : Reconcile > Facets > By judgement. Cliquez sur "none" pour afficher les communes non-matchées. Si le nombre de "matched" est égal au nombre de communes, passez à l'étape suivante (matching des maires). * Isolez les lignes à matcher dans le champ Libellé du maire : Reconcile > Facets > By judgement et cliquez sur "none". * :two: Le filtre ("facet") Libellé du maire: best candidate's score vous permet de faire un bon tri : * "Numeric" affiche les éléments avec un matching à plus ou moins forte probabilité, en pourcentage (sachant aussi que les éléments avec très forte probabilité ont été matchés automatiquement lors du processus de réconciliation). Regardez un par un les éléments, enquêtez (vérifier les dates de naissance et de mort...) et le cas échéant cochez le match ou, si aucun candidat proposé ne matche, cochez "Create new item" ("for this cell"). :warning: **Faites très attention aux homonymes !** * "Blank" affiche les éléments du fichier où l'API n'a rien trouvé dans Wikidata et pour lesquels il y a donc une très forte probabilité qu'il n'y a rien à matcher. Il s'agira donc d'un import simple : à côté de "Create new item", cochez la deuxième case "Create a new item for this and all identical cells". * :three: Une fois que vous avez fait votre matching, il s'agit de le répercuter comme autant d'éditions d'éléments Wikidata. Le cas échéant, les éléments existants se verront ajouter des infos ("statements") manquantes. L'onglet Schema montre la forme que prendra l'édition pour un élément d'une commune et pour un élément d'un.e maire. * Si c'est votre première fois, nous vous recommendons de tester l'édition d'un petit nombre d'éléments à la fois (filtrez pour qu'il n'en reste qu'une dizaine). * Cliquez sur Export (bouton en haut à droite) > Upload edits to Wikidata. Le nombre d'éditions total est affiché, il correspond à 2 fois le nombre de lignes filtrées (une édition pour l'élément maire, une autre pour la commune). * Ajoutez un commentaire dans Edit summary (perso je mets "EveryPolitician (with support from Code for France frama.link/cff-wikidata)") * Laissez tourner ! Une fois terminé, si tout s'est bien passé, allez vérifier les éditions sur votre page Contributions. Problèmes classiques : homonymie, dates en double, statements en double, etc. :warning: **En cas de problème ou au moindre doute, faites-en part aux autres sur chat.** * :recycle: Rince. Repeat.  _[Maires d'Ile-de-France](http://tinyurl.com/y4myudzp)_ --- # _PREVIOUSLY..._ ## Nuit du code citoyen 15 et 16 mars 2019 au LLL à Paris ## Objectifs - [ ] :one: Député‧e‧s et sénateurs‧rices de la mandature actuelle - [ ] :two: Maires des communes de plus de 50 000 habitant en cours de mandat - [ ] :three: Maires des communes de plus de 3 000 habitants - [ ] :four: ??? - [ ] :five: Profit. ## Comment ? Venez comme vous êtes, aucune connaissance préalable n'est requise. C'est du *crowdsourcing* citoyen, la même dynamique qui a fait le succès de Wikipédia et OpenStreetMap. Plus on sera nombreux, plus ça ira vite ! L'idée c'est de faire contribuer les participants par du rapprochement (*matching*) entre les données sources (RNE) et celles qui sont (ou pas) dans Wikidata. Il existe des outils pour cela, qui seront paramétrés et préparés en amont pour que tout soit prêt clé en main quand vous arriverez :wink: : - [Mix'n'match](https://tools.wmflabs.org/mix-n-match/) - [Quickstatements](https://tools.wmflabs.org/quickstatements/) - [OpenRefine](http://openrefine.org/) ([guide](https://www.slideshare.net/lespetitescases/aligner-vos-donnes-avec-wikidata-grce-loutil-open-refine)) - ? ### Participant‧e‧s * Cécile * Guy * Johan * Pierre-Louis ### On se lance ! * On commence par [les données sur les maires](https://www.data.gouv.fr/fr/datasets/5c34c4d1634f4173183a64f1/) * On le modifie pour concaténer certains champs (Code INSEE, Nom et Prénom) : [9-rne-maires-20190314.csv](https://drive.codefor.fr/s/5snxakSZmZiPeq7) * On compte **35297 communes** en France ! d'après le fichier des maires. * Première requête SPARQL de la soirée : seulement **720 éléments** Wikidata correspondant à des communes ont la propriété P6 (notion de maire) [query](http://tinyurl.com/y6rp3dof). Beaucoup de travail nous attend. ``` # Commune of France with mayors SELECT ?commune ?communeLabel ?mayor ?mayorLabel WHERE { ?commune wdt:P31 wd:Q484170. ?commune wdt:P6 ?mayor. SERVICE wikibase:label { bd:serviceParam wikibase:language "[AUTO_LANGUAGE],en". } } ``` * Une belle carte des maires déjà dans Wikidata : [query](http://tinyurl.com/y6og7mdp) ``` #defaultView:Map # Commune of France with mayors SELECT ?commune ?communeLabel ?mayor ?mayorLabel ?coord WHERE { ?commune wdt:P31 wd:Q484170. ?commune wdt:P6 ?mayor. ?commune wdt:P625 ?coord. SERVICE wikibase:label { bd:serviceParam wikibase:language "[AUTO_LANGUAGE],en". } } ``` * carte des maires avec des couleurs différentes selon leur genre : [query](http://tinyurl.com/y4otv8hx) * Ville : P6 : Maire ; P580 date de début * Maire : fonction : Maire ; Q de Ville ; Q date de début * si création : ajouter prénom (à réconcilier), nom (idem), date de naissance, * Ville + Code INSEE + Maire [lien](https://query.wikidata.org/#%23%20Commune%20of%20France%20with%20mayors%0ASELECT%20%3Fcommune%20%3FcommuneLabel%20%3Finsee%20%3Fmayor%20%3FmayorLabel%20WHERE%20%7B%0A%20%20%3Fcommune%20wdt%3AP31%20wd%3AQ484170.%0A%20%20%3Fcommune%20wdt%3AP374%20%3Finsee.%0A%20%20%3Fcommune%20wdt%3AP6%20%3Fmayor.%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22%5BAUTO_LANGUAGE%5D%2Cen%22.%20%7D%0A%7D%0AORDER%20BY%20%3Finsee%0A%0A) * Cécile nous apprend à utiliser OpenRefine et la fonction de réconciliation avec Wikidata * Requête pour les correspondances INSEE/Nom de commune/item Wikidata : [ici](http://tinyurl.com/y2shcdgp) * Requête sur les maires sans sexe ou genre (P21) [lien](http://tinyurl.com/y4jnzzt2) * Maires de communes de France qui n’ont pas de fonction "Maire" : [lien](http://tinyurl.com/y4myzqmk) * stats/groupements par prénoms : [lien](http://tinyurl.com/yxcpkh52) * Process pour utiliser le fichier data.gouv.fr sur OpenRefine : * préparation (python ou LibreOffice ou autre…) * concaténer code de département et code de commune pour avoir le code INSEE * concaténer prénom et nom pour avoir le futur label * création du projet OpenRefine * penser à prendre les noms de colonnes dans la *2e* ligne (à cause du titre du fichier en l1) * réconciliations * nom de commune avec type "commune de France" + l’aide du code INSEE P374 * nom des maires avec type "humain" + détrompage sur date de naissance et/ou genre * confection du schéma (insérer ici un export du schéma !) * outils utiles * OpenRefine * Colonne > Reconcile > Facet > By candidate score > décocher "Numeric" : pour avoir toutes les cellules sans candidats à la réconciliation * puis Colonne > Reconcile > Actions > Create a new item for each cell : pour automatiser la création de nouveaux items --- Présentation --- * Intro : Wikidata + RNE = :heart: , Code for France * données (capture du tableur + page data.gouv.fr) * outils (captures de SPARQL + OpenRefine) * but ? renseigner les maires + utiliser la puissance de wikidata pour la gestion de données structurées (plus sympa que les tableurs + tirer parti des données déjà en place) * Carte des maires  * et + si affinités :  * suivi de l’import :  * stats diverses et variées :  --- # _ENCORE PREVIOUSLY..._ ## Contexte - Code for France (ex-f0rk) + EveryPolitician :::info ## Ressources https://www.mysociety.org/democracy/everypolitician/ https://www.wikidata.org/wiki/Wikidata:WikiProject_France/Politicians https://tools.wmflabs.org/mix-n-match/ https://www.data.gouv.fr/fr/posts/les-donnees-des-elections/ https://github.com/alexis-thual/parsing-journal-officiel https://www.wikidata.org/wiki/Wikidata:Events/Paris Dossier partagé : https://drive.codefor.fr/s/mZL5RrR5fc8RPDw ::: **Un évènement pour contribuer à Wikidata, organisé par Code for France en soutien au projet EveryPolitician de mySociety.** > Venez découvrir et contribuer à la base de donnée ouverte Wikidata ! En soutien au projet EveryPolitician de mySociety > > Wikidata c'est la base de données derrière Wikipédia. Votre contribution à ce véritable bien commun numérique servira à enrichir les informations dont nous disposons sur nos élus, afin de mieux connaître notre démocratie. > > Quelle parité dans les conseils municipaux ? Quelle est la moyenne d'âge à l'Assemblée nationale ? Quelle est la profession la plus pratiquée par nos élus ? > Voici quelques questions auxquelles Wikidata pourra répondre... quand nous aurons des données plus exhaustives ! ### En préparation de l'événement : - Fixer des besoins finaux (statistiques sur la parité, ajouter des listes pour les européennes, lien avec [404](https://404.codefor.fr/), ...) - Ajouter des données sur mix'n'match pour les participants (par exemple [fichier des maires](https://www.data.gouv.fr/fr/posts/les-donnees-des-elections/)) - Utiliser OpenRefine ? --- ## Atelier du 11 octobre 2018 ([à l'occasion de notre réunion de rentrée](https://pad.codefor.fr/FuJLtFUcTyqm5counqJYKQ)) - vérifier quelles données existent sur le web, si la licence permet qu'on les ajoute dans Wikidata - mapper l'existant sur wikidata Process wikidata pour ajouter des données - mixandmatch - valider les matchs manuellement - importer le reste Priorisation - quelles données en premier ? Outils: - query - mix and match Cas d'usage pour la donnée qu'on va récolter : - Question d'exhaustivité pour que ce soit pertinent Atelier wikidata : - tous les 3e vendredi du mois - pour se former