dimanche 27 septembre 2015

Télécharger les contours des zones touristiques internationales (en format SIG)

La loi Macron (août 2015) autorise l'ouverture des magasins le dimanche à Paris sur une dizaine de zones à très forte fréquentation commerciale et touristique.

Lien vers la carte interactive des ZTI (source OSM)

Open Street Map a édité ces zones et je les communique ici en téléchargement avec différents formats : KML, GeoJson, MapInfo et Shape.

La terminologie "zones touristiques internationales" est "politique". La carte ne correspond pas exactement à une notion de fréquentation touristique : l'île de la Cité (Notre Dame) et la tour Eiffel sont oubliées...

Il y a de multiples façons d'approcher les flux touristiques et j'espère revenir préciser ce sujet passionant lors d'un prochain post.

samedi 19 septembre 2015

Des courbes isochrones à moindre coût (gratuit)

Un contour isochrone est un objet polygone qui délimite les points accessibles par un véhicule quelconque en un temps donné.  Les applications des courbes isochrones sont nombreuses avec par exemple :
  • Définir la zone de proximité des usagers d’un équipement public, la zone de chalandise des clients d’un commerce ou d’un supermarché ;
  • Tracer la zone de livraison à 15mn en deux roues (motorisés ou non) d’un restaurant rapide ;
  • Connaitre la zone accessible en transport en commun autour de mon lieu de travail;
  • Délimiter la zone de desserte d’un point relais, un lieu physique auquel des marchandises achetées en ligne sont livrées par les services postaux et récupérées par la population des clients particuliers résidents dans cette zone...
Le calcul des zones isochrones reste le domaine réservé de sociétés spécialisées dans les  Systèmes d’Information Géographique. Il nécessite en effet une infrastructure lourde de données vectorielles routières (et de transports en commun) avec une bonne connaissance des réseaux (sens de circulation, vitesses limites, spécificité de limitations pour certains véhicules…) ainsi qu’un algorithme de calculs intelligents (rapides) et réalistes des iso-itinéraires autour d’un point. Cependant le développement de la cartographie collaborative Open Street Map et l’ouverture de divers calculs d’itinéraires offre de nouvelles opportunités pour ce type de calculs avec des coûts réduits. Voici quatre exemples :

1/ Calcul d’isochrones inter-frontaliers sur grandes distances

Récemment un collègue m’a demandé de lui transmettre une zone isochrone de 4 heures autour de Paris. Je me suis enquis d’utiliser mes outils « Pro » traditionnels. Cependant 240 minutes autour de Paris, cela déborde de nos frontières et je disposais seulement du réseau France.  Les manipulations d’installation d’un réseau Europe sur mon maigre PC étant dissuasives, j’ai donc fait un petit tour sur le web où l’on trouve tout.

Sur le site freemaptools.com j’ai utilisé un utilitaire « how far can I travel ».  En paramétrant une adresse parisienne de départ, les 4 heures de mon périmètre isochrone, le mode véhicule DRIVING avec un véhicule roulant en moyenne à 105 km/h, j’obtiens la courbe isochrone :

Paris à moins de 4 h de route
Détail suivre ce lien

Je crois que cette application mobilise la très précise API de calculs d’itinéraires de Google Map sur un réseau allégé des plus grandes routes (Major roads) en mode "précision intermédiaire".

Le résultat est assez réaliste excepté deux points :
  •  La pointe du Cotentin devrait être complétement intégrée dans le périmètre (Cherbourg est à 3h45 de Paris).  Le réseau routier « Major » (autoroute et Nationale 4 voies) s’arrête à Valognes en amont de Cherbourg, le calcul est donc tronqué à ce niveau ;
  • L’Angleterre est à plus de 4h en voiture de Paris. Au Nord, la courbe devrait s’arrêter à Douvres, le temps de traversée du tunnel de la manche semble sous-évalué. De fait, Londres est à 5h30/6h de Paris en voiture…

En adaptant la vitesse de déplacement moyenne, l’utilitaire permet aussi de calculer des isochrones piétons, vélos (en évitant les autoroutes) sur un réseau plus précis, les temps de calculs sont alors très longs.

2/ Calcul d’isochrones « courts » (<2h en France)

Un internaute anonyme m’a communiqué l’adresse de son site de calcul et de caractérisation de zones de chalandise. Pour la définition de la zone isochrone autour d’un point, ce site propose un calcul isochrone sur réseau Open Street Map en France métropolitaine qui me semble très précis. On a la possibilité de superposer plusieurs zones isochrones et de multiples autres options très utiles pour les études d’implantation de sites commerciaux.   

Isochrone 15, 30 et 45 mn à partir d'Auray (56)
http://www.owlapps.net/application-geomarketing
  
Les deux sites  freemaptools.com et owlapps.net  proposent le stockage de la zone calculée en format  KML. Pour tous les utilisateurs de SIG, c’est bien pratique : on passe par le convertisseur  Kml2shp pour  convertir le fichier KML généré par chacune de ces applications en format SIG (Shp). Utilisez cet utilitaire pour récupérer votre polygone isochrone sous MapInfo, ArcGis ou Qgis et effectuer d’éventuelles modifications manuelles sur vos isochrones.

3/  Calcul d’isochrones en temps de transport en région parisienne

Pour les usagers des transports en commun parisiens, le SDIS a mis au point cette application http://www.atelier01.net/metro/paris/isochrone en béta qui utilise un graphe de réseau des métros RER, SNCF et bus pour tracer des isochrones. 

En partant par exemple du centre de Paris, cela dessine une jolie pieuvre à bulles multicolores autour des points d’arrêts. C’est beau et surtout très réaliste !

Isochrones en transport en commun au départ de la place du Chatelet (Paris centre)

4/ Isochrones multi-modaux en France métropolitaine (à moins de 60mn du point de départ):


Je garde le meilleur et le plus prometteur pour la fin. Des barbus spécialistes d'OSM basés à Postdam ont développé Route 360°. C'est une API de routing et d'isochonie sur réseau OSM. Elle comprend aussi la possibilité de construire des isochrones en transports en commun pour Paris, Toulouse, Rennes, Strasbourg sur données GTFS. Les temps de calculs sont exceptionnels. Les calculs d’isochronies et d'itinéraires sont a priori d'un très bon niveau de précision.


Cette application http://france.route360.net/ est très pratique et illustrative des capacités et performances de l'API. 

Isochrones 10, 20 et 30 mn à partir de la place Chatelet (Paris)

A pied
En vélo
En Transports en commun
En voiture




Avec ces applications, on peut donc monter des analyses locale ad-hoc au coup par coup sans équipement logiciel et sans données graphes lourdes : tout est dans le nuage. Mais cela ne marche pas pour des applications plus industrielles où il faut par exemple générer des isochones et distances routières en masse, ou encore utiliser des webs services d'isochronie dans des systémes logistiques front end opérationels. Les composants d'isochronies peuvent rester dans le nuage, mais deviennent payants.

La communauté des spécialistes d’Open Street Map se mobilise cependant sur les exploitations possibles des données libres en matière de transport. Les logiciels et API autour des calculs d’itinéraires sont en effervescence (Voir par exemple les projets Open Source Routing Machine ou PG routing). La qualité des calculs de routing sur les données libres OSM se rapproche de celle des grands editeurs de cartes : GoogleMap, Here, TomTom.

A suivre ...

Le trompe l’œil de Mercator

La terre est ronde, nos écrans sont plats. C’est le casse-tête de la géodésie et il faut déambuler dans la jungle des systèmes de projections pour représenter le globe sur nos terminaux numériques. Mercator nous guide parfaitement sur les mers grâce à un système de projection qui conserve les angles. Mais sur terre et sur nos globes virtuels, Mercator nous dessine des cartes peu conformes, qui ne respectent pas les distances et surfaces, pleines de distorsions azimutales ! Les déformations sont d’autant plus fortes que l’on se rapproche des pôles.

Un site Internet tente avec brio de rétablir les faits : http://thetruesize.com/. On y déplace à loisir nos frontières en longitude et en latitude avec quelques résultats insolites. En voici un échantillon :

  • Rétablissons une vérité physique, la France au 70° parallèle prend du relief, c’est un grand pays !
  • Mais le logiciel est « con sur les bords » ; aux pôles les rapports de surfaces ne sont pas respectés. La France au 80° parallèle Nord est énorme !
  • Bien sûr, la solution est de placer le Groenland au  45° parallèle :


  • Dernier constat mal connu : l’Afrique est plus vaste que toutes les grandes puissances réunies !
 


Conclusion ; Mercator : menteur à la carte.
Plus de détail, voir aussi cet article du Monde






jeudi 3 septembre 2015

DataShine : le recensement anglais à la carte

Vous vous intéressez à notre voisin anglais ; ses us et coutumes qui nous semblent parfois étranges ? Vous êtes curieux de la géographie de sa population, de sa démographie, de la pratique de la langue de Shakespeare  ?

DataShine est un site de webmapping qu'il faut absolument visiter. L'objectif est de présenter au grand public les données locales du dernier recensement anglais (2011). Deux universitaires anglais ont relevé ce defi avec maestria. DataShine est une carte interactive avec une sémiologie très bien travaillée, facile d'accès et qui permet rapidement de visualiser les diversités locales de la société anglaise sous de multiples aspects :  caractéristiques sociodémographiques, culturelles (origine ethnique, religions, langues), santé, logement, éducation, activité/emploi, flux et déplacements...

Allez donc faire un tour sur DataShine en suivant ce lien. Le site et l'interface sont beaux, simples, pratiques et bien réfléchis. Sur une base d'informations importantes, les auteurs du site ont trouvé un juste compromis entre fluidité et richesses fonctionnelles. Les cartes détaillent des informations au niveau geographique fin des "census output area" (equivallent des iris de l'Insee).


Pour les professionels du "webMapping" souvent assimilés au mot valise "geek", j'attire l'attention sur deux fonctions novatrices, bien utiles et bluffantes:

1/ Integration dans l'analyse thématique d'un arrière fond du bâti

Par défaut l'analyse thématique de données censitaires couvre l'ensemble des zones bâties et non bâties. C'est une représentation biaisée et imprécise de la réalité. DataShine propose de montrer l'analyse thématique uniquement sur les polygones de description des bâtiments. Sur le complément des zones non bâties non habitées, il n'y a pas de raison de montrer l'analyse thématique.

Les vélomans : part des actifs se rendant au travail à vélo
version sans batis moche :

version avec couche des bâtiments, bien plus claire :



2/ Légende de l'analyse thématique automatiquement recalibrée sur la vue en cours

Par défaut la légende est calibrée automatiquement sur les données de l'ensemble de l'Angleterre. En fonction de la répartition de l'indicateur sélectionné, DataShine arbitre entre le calibrage en classes d'équi-amplitudes et le calibrage par la méthode de jenks (dite des "ruptures naturelles") basée sur la décomposition de la variance de l'indicateur (maximisation des variances interclasses et minimisation des variances intraclasses).

Pour les indicateurs avec une forte dispersion et une forte concentration sur certaines zones, la légende automatique n'est pas adaptée. DataShine propose une option "rescale on current view" qui recalcule automatiquement la légende sur les seuls quartiers de la vue écran.

Prenons l'exemple du français parlé à Londres.

Français comme langue principale en % de la population 
version avec une légende calibrée sur l'ensemble de l'Angleterre 
Cette carte est peu informative. On sait bien que Londres est cosmopolite et accueille une population d'origine française importante par rapport au reste de l'Angleterre. Partout dans Londres, on peut demander l'heure à au moins une personne sur 100 dans la langue de Molière.

Français comme langue principale en % de la population 
Version avec légende recalibrée sur la vue 

C'est beaucoup plus clair maintenant : le quartier huppé de South Kensington est colonisé par des francophones. Une personne sur cinq peut vous indiquer votre chemin en français dans Fulham Road ou devant chez Harrods.


Bravo à James Chesshire et Oliver o'Brien pour ce travail  "so inspiring". Merci à Paul Thompson pour m'avoir passé l'information.


Les bonnes sources libres pour les bonnes analyses géomarketing

A l'attention des analystes des territoires français et en géomarketing, voici une liste des données de base à intégrer dans votre système d'information géographique pour vos chères études. Les sources ouvertes sont foisonnantes et j'ai restreint la liste à l'essentiel.

1/ Le géocodage facile et gratuit :

Vous avez des données clients fournisseurs etc...  avec leurs adresses et vous souhaitez les géolocaliser pour des représentations cartographiques. Voici les deux sources incontournables : 


2/ Contours administratifs et des quartiers (Ilots Regroupés pour l'Information Statistiques, IRIS) :

  • Les contours Iris sur le site de l'IGN:  http://professionnels.ign.fr/contoursiris
    Ces contours sont lissés pour simplification d'usage et une meilleure fluidité informatique d'affichage de carte. Ils sont donc parfaits pour les représentations cartographiques. Ils ne sont pas calés avec les contours communaux OSM. Ils ne sont guère exploitables si vous devez "iriser" vos bases d'adresses car les limites des rues ne coïncident pas avec celles de ces contours (les cartes iris calés sur les contours communaux cadastraux et calées sur les rues pour l’irisation en complément du géocodage sont payantes). 
  • La table de correspondance administrative des communes (le code commune correspond aux 5 premiers caractères du code Iris) : http://www.insee.fr/fr/methodes/default.asp?page=zonages/table-appartenance-geo-communes.htm
    Cette table, appelée aussi Code Officiel Géographique (COG), est exploitée lorsque l'on souhaite agréger des analyses et données à des niveaux supra-communaux : bassins de vie, cantons, zones d'emploi, agglomérations, aires urbaines... 


3/ Données "attributaires" IRIS 

Voici pour l’année pivot[1] du recensement une série de données sociodémographique et d'activité pour caractériser la population résidentielle de chaque iris :




De multiples sources complémentaires sont accessibles sur le site des données censitaires locales infra communales de l'INSEE, sur le site des statistiques de la DGI on peut télécharger des données fiscales communales, ou encore à l'IGN avec par exemple le fichier vectoriel  "Route 500" des principales routes françaises. Le site "officiel" des données ouvertes  open data gouv comprend aussi un foutoir de données produits par divers organismes publics.
Allez fouiller ces sources, vous trouverez certainement les indicateurs locaux pertinents pour éclairer vos problématiques.    





[1] Ces sources sont réactualisées annuellement par l’INSEE. Le millésime pivot disponible au moment où j’écris ce post est 2011.   

mercredi 2 septembre 2015

Extraire des données Google Trends

Google Trend est un outil de suivi des tendances des recherches des internautes sur le fort populaire site et moteur de recherche du même nom. Les analystes utilisent cette source pour détecter les derniers "potins" en vogue sur le web. Les traces des recherches de tous les internautes sont compilées dans une grande base de données depuis plus de 10 ans. Les demandes de recherche sur Google sont qualifiées par théme, dans le temps et dans l'espace. Des recoupements sont faits pour identifier les associations de recherches fréquentes. Google a contruit un requeteur très facile d'emploi pour interroger cette base de données. Les résultats sont présentés sous la forme d'un indice de popularité de chaque recherche, que l'on peut comparer dans le temps et l'espace. La méthode de construction de cet indice de popularité n'est cependant pas transparente, c'est un secret statistique de Google.

https://www.google.fr/trends/?hl=fr


L'API google trends n'est pas documentée et il faut faire un travail de devinettes pour comprendre la structure des requêtes Http. Le mode d'interrogation par commande est cependant assez bien documenté en anglais dans cet article.

J'ai approfondi l'aspect géographique de ces requêtes. Voici quelques trucs pour les extractions. En "bidouillant" la syntaxe des requetes Google Trends, on peut faire des recherches géographiques par pays et région.

Je prends un exemple de mesure de la popularité web de certaines banques françaises.

Rapport de base France métropolitaine :
Requete web : http://www.google.com/trends/explore?hl=en-US#q=BNP,LCL,HSBC,Credit Agricole&geo=FR

Détail pour afficher des données carte régionale  pour LCL :
Carte : http://www.google.com/trends/fetchComponent?hl=en-US&q=LCL,BNP,HSBC,Credit%20Agricole&cid=GEO_MAP_0_0&export=5&w=500&h=300&geo=FR
Données au format  JSON : http://www.google.com/trends/fetchComponent?hl=en-US&q=LCL,BNP,HSBC,Credit%20Agricole&cid=GEO_MAP_0_0&export=3&w=500&h=300&geo=FR
Carte des villes BNP: http://www.google.com/trends/fetchComponent?hl=en-US&q=LCL,BNP,HSBC,Credit%20Agricole&cid=GEO_MAP_1_1&export=5&w=500&h=300&geo=FR

Le rapport de base mais avec zoom sur la région Ile de France :
http://www.google.com/trends/explore?hl=en-US&geo=FR-J&q=LCL,BNP,HSBC,Credit+Agricole

On peut parcourir l'ensemble des régions métropolitaine FR-A à FR-V
Si l'on veut les DOM et TOM préciser &geo=GF (Guyanne fse) ou GP (guadeloupe) MQ (Martinique)  BL (saint Bartelemy) RE (la réunion) MF (Saint Martin), DJ (Djibouti) MC (Monaco)


Extraire un fichier en format CSV avec tous les résultats de la recherche (temporel, géographique, recherches en vogue et associées) pour une lisibilité facile et des retraitements par exemple sous Excel.

Les données banques au format CSV pour la région Ile de France :
http://www.google.com/trends/trendsReport?hl=en-US&geo=FR-J&cmpt=q&q=LCL,BNP,HSBC,Credit%20Agricole&tz=Etc%2FGMT-2&content=1&export=2
ou une variante :
http://www.google.com/trends/viz?&graph=all_csv&hl=en-US&q=LCL,BNP,HSBC,Credit%20Agricole&geo=FR-J

Google précise diverses règles d'écriture des mots clefs pour affiner la recherche dans cet article
Exemple : sortie d'un fichier csv qui propose les comptages pour "Credit Lyonnais" et  sa nouvelle appelation LCL et les deux appelations cumulées Credit Lyonnais + lcl (attention pas d'accents dans les recherches...)
http://www.google.com/trends/trendsReport?hl=en-US&geo=FR-J&cmpt=q&q=credit%20lyonnais%2C%20LCL%2C%20Credit%20Lyonnais%20%2B%20LCL&cmpt=q&tz=Etc%2FGMT-2&content=1&export=2


Pour finir je renvoie le lecteur vers une représentation animée des derniers"hot trend" français :

 Hot trend français
http://hawttrends.appspot.com/?r=5&c=5&p=16