jeudi 14 août 2014

Où trouver un fichier localisé des codes postaux du monde ?

Les fichiers référentiels géo localisés de codes postaux sont très précieux pour les activités de géomarketing et de datamining de données clients. Presque partout où l’on se trouve dans le monde, les bases d’adresses comprennent l’information du code postal. Pour toutes les opérations de géocodage simple où nous n’avons pas besoin d’une précision de localisation très fine à la rue, il suffit de faire un rapprochement entre le code postal de chaque adresse et le référentiel géo localisé de codes postaux. On peut ainsi positionner/localiser des données clients sur une carte, faire des calculs de distance à vol d’oiseau entre l’adresse d’un client, déterminer le point de vente le plus accessible, etc…  

La base Open data Geonames propose une collecte mondiale de code postaux. Ce référentiel est gratuit mais il n’est pas très précis, propre et riche. Voici une carte et quelques tableaux interactifs qui illustrent la qualité et la couverture de ce référentiel.

 Vers l'application interactive


Le site geopostcodes.com propose des données ponctuelles mondiales de meilleure qualité et pas trop cheres (2000$ pour l’intégralité de la base mondiale).

Pour les bases mondiales de contours postaux intégrant des données minimales, je recommande Michael Bauer International (MBI) moins cher et plus efficace que son concurrent GFK.

Les fonds de cartes de codes postaux en format SIG sont cependant de plus en plus disponibles en open data. Pour la France métropolitaine, EMC3 a publié la très utile et complète base des contours des 6048 codes postaux en format MapInfo et Shape. Bravo pour cette initiative.     




mercredi 13 août 2014

Les différences géographiques de la mobilité sociale aux Etat-Unis ("in Climbing Income Ladder, Location Matters")



Les Etats Unis ont une culture de société libérale : inégalitaire mais équitable. Selon cette tradition du self made man (ou women), le statut social d'un individu n'est pas pré déterminé par celui de ses parents et famille. Il n'y a pas d'héritier, le statut la richesse s'acquiert tout au long de la vie par le travail, l'ingéniosité, le sens des affaires ou encore les talents artistiques… 

Dans la société démocratique moderne de Tocqueville, la mobilité sociale (ascendante ou descendante) est la règle. La transmission de l'héritage et des rentes est proscrit et la possibilité de s'enrichir se présente à tous. La société démocratique redistribue les positions sociales. A contrario des anciennes sociétés de rente où les positions sociales sont héréditaires et où chaque classe développe des traits communs suffisamment marqués pour lui permettre d'affirmer des valeurs propres et d'assurer sa reproduction. Dans la société démocratique, les traits culturels de chaque classe s'estompent au profit d'un goût commun pour le bien-être. Le matérialisme s'affirme lorsque l'accès à la richesse devient possible pour les classes moyennes et populaires et que l'appauvrissement menace les riches. Les Etats Unis sont imprégnés par ce modèle de société libérale matérialiste. 

Dans cette tradition, le New York Times a relayé une étude très intéressante qui renouvelle le débat aux Etats Unis sur un aspect du sujet à ma connaissance inexploré jusqu'alors : les différences géographiques de la mobilité sociale. Cette étude montre que le vaste territoire américain n’est pas une terre libérale homogène. La mobilité sociale ascendante est à plusieurs vitesses : très faible dans les états du Sud-Est alors que le Centre et l’Ouest du pays sont beaucoup plus mobiles.

L'un des dataViz dz l'étude du NYT : In Climbing Income Ladder, Location Matters

Les résultats de l'étude sont assez complexes mais elle est illustrée par 3 cartes et graphiques interactifs vraiment stupéfiants : des dataViz pédagogiques et clairs pour une synthèse de données complexes. Il s'agit vraiment d'un travail de "data journalisme" remarquable. Les très nombreux commentaires des lecteurs sont aussi très instructifs et montrent l'enthousiasme du grand public américain pour les études de géographie sociale "lisibles".  

Allez donc lire ce surprenant et excellent article : 

jeudi 10 juillet 2014

Les langues parlées dans les quartiers de Londres

Près de 7000 langues sont parlées dans le monde, seules 200 sont écrites.  30% des langues sont parlées Afrique, 33 % en Asie et seulement 3% en Europe. Il y a peu de langues parlées en Europe, car ce sont là où se trouvent les États les plus anciens qui ont mené des politiques de centralisation linguistique.

Dans le monde anglo-saxon, la collecte des recensements est plus fouillée et plus intéressante que celle du recensement français. En France, CNIL oblige, il y a un consensus pour la censure de la collecte d'informations culturelles ou dites "éthiques" dans les enquêtes de recensement. Au Etats Unis et en Angleterre, on considère à juste titre que la langue parlée au sein des foyers ou des communautés, est un élément culturel fondamental. Les anglo-saxon  ont bien compris qu'il faut suivre l'évolution et la géographie des langues. C'est essentiel pour comprendre les assemblages communautaires, la ghettoïsation territoriale. Le suivi du poids géographique des idiomes permet de comprendre les logiques de migration, les volontés de s'unir et s'organiser autour d'une culture commune, etc... La cartographie des langues parlées est un des éléments constitutifs de la géographie humaine.    

Londres est une grande métropole carrefour d'immigration, de forces de travail en provenance des quatre coins du Monde et surtout des "Dominions" (le Commonwealth).  GeoLytix, une startup anglaise spécialiste de l'analyse de l'information géographique, a exploité les données locales du dernier recensement anglais (2011) désormais publiques et accessibles en open data. 

Voici pour le français, le bengali et le turc, trois représentations saisissantes des logiques de concentrations linguistiques dans le grand Londres :











Pour en savoir plus :


Merci à Blair Freebairn qui nous tient régulièrement au parfum des développements de la cartographie analytique et de l’open data over the channel.


mercredi 18 juin 2014

Premières rencontres géomarketing le 3 juillet à Paris



Le géomarketing est un micromarché. Traditionnellement les acteurs défendent leur pré-carré avec une forte concurrence qui ne favorise pas les partages de bonnes pratiques/expériences.
C'est nouveau, les professionnels du géomarketing s'associent et proposent une rencontrent avec un panel très représentatif de ce secteur (qui inclut le rédacteur de ce post). Cela se passe le 3 juillet après midi et nous sommes hébergés par La Poste sur son site de Paris/Montparnasse.

C'est une très bonne initiative. Nous promettons d'éviter la langue de bois, l'autopromotion et nous serons transparents. Si vous avez un projet dans ce domaine, c'est aussi un moyen de rencontrer tous les acteurs d'un seul tenant.

Pour voir le programme détaillé de cette rencontre et vous inscrire :

dimanche 25 mai 2014

Comment ajouter des fonds de cartes tuilés dans Tableau Software ?


Les fonctions cartographiques du logiciel de DataViz Tableau Software sont interessantes car directement couplées à un moteur de Business Inteligence. Avec ce type de logiciel, nous avons la possibilité de construire des cartes avec des possibilités de filtres interactifs.  Les fonctions cartographiques du logiciel livrées en standard sont cependant assez pauvres. J'ai déjà expliqué ici comment charger des contours vectoriels dans Tableau.

Le fond cartographique fournit par Tableau en standard est agréable, mais il est peu précis et beaucoup trop allégé si l'on souhaite voir des détails dans les zones urbaines (les rues par exemple). Il est possible d'alimenter tableau via des services WMS, mais les tests que j'ai pu réaliser sur ce format ne sont pas satisfaisants, car Tableau 8.1 déforme les fonds de cartes avec un système de projection mal adapté. C'est donc vers le format des tuiles qu'il faut encore porter notre attention (Voir aussi un premier post sur le tuilage dans MapInfo ici). J'explique plus bas comment alimenter Tableau avec les fonds cartographiques tuilés publics mise à disposition par Stamen, MapBox ou encore Esri.

Comment donc ajouter des fonds de cartes tuilés sans Tableau Software ? La réponse à cette question importante (pour les utilisateurs Tableau uniquement !) est une sorte de hack qui figure dans un récent post d'Allan Walker.

Utilisation de fonds tuilés dans tableau desktop

Vous devez d'abord ajouter des fichiers d'extension .tms de caractérisation des serveurs de tuiles dans votre dossier "mapsources" du répertoire "My Tableau Repository". Vous pouvez télécharger ici differents fichiers tms correspondant aux tuiles ESRI et Stamen, déziper ce document et recopier le au bon endroit. Sur mon ordinateur, il s'agit du dossier C:\Users\Paul\Documents\My Tableau Repository\Mapsources.

Utilisation du fond de carte tuilée Stamen WaterColor dans Tableau Software
Je pense que vous pouvez très facilement décrire un nouveau fichier .tms pour des tuiles MapBox ou n'importe quel autre serveur de tuiles : il suffit de bidouiller le fichier TMS avec le bloc-notes.
Dans Tableau, vous pouvez alors manipuler librement les fonds de carte, en allant choisir le fond souhaité comme carte d'arrière-plan et en sélectionant la couche correspondante dans les options de la carte.

Bon plan : cette étape marche parfaitement sur ma version de Tableau 8.1 Desktop.

Publication d'un document avec un fonds tuilé


Pour publier sur tableau public, Alan Walker détaille la procédure :
Télécharger l'éditeur XMLNotePad ici.
Puis faites les bidouilles d'annule et remplace sur les éléments de type MapSource décrites dans le post d' Allan Walker ici.
Attention à convertir votre fichier .twbx en . Twb sinon vous ne pourrez pas éditer le code source de votre document tableau avec l'éditeur XML. Une fois la manip effectuée, vous publiez normalement votre document sur Tableau Public.

Mais là, mauvaise pioche : JE N'AI PAS REUSSI A FAIRE FONCTIONNER LE TRUC sur mon répertoire tableau public. Cela marche parfaitement par exemple avec un fond Esri pour le document d'Altic sur le trafic dans le métro parisien ici mais pas pour mes documents personnels ou même le document de référence d'Allan Walker. Si vous trouvez mon erreur, merci de m'en faire part !

lundi 19 mai 2014

Comment ajouter des fonds de cartes vectorielles personalisés à Tableau Software ?


Après avoir cherché un petit moment, j’ai réussi à charger des fonds cartographiques vectoriels sur le logiciel de DataViz Tableau Software. Vous pouvez voir ici un exemple d'une carte des contours des bassins de vie chargée avec Tableau desktop et distribuée par Tableau Public. Il s'agit en France de 2300 contours de bassin de vie que j'ai lissé en amont avec MapInfo  pour obtenir un rendu de cartographie interactive assez fluide sur Tableau.  

Voir cette carte interactive  

Le tutoriel très complet et clair pour faire cela est écrit en anglais :
C’est un peu casse pied à mettre au point au début, mais cela marche bien pour convertir des fichiers vectoriels d'origine SIG MapInfo .tab et Esri .shp au format Tableau.

Je renvoie aussi vers un autre post similaire http://vss-tableautips.blogspot.fr/ et une discussion plus approfondie initiée par Richard Leeke le concepteur de cette méthode/hack http://community.tableausoftware.com/message/173304#173304)

Pour les utilisateurs réguliers d'un SIG et Tableau, je pense que ces renvois devraient suffire. Si j'ai le temps et l'énergie, je détaillerai ce billet et surtout je publierai bientôt des exemples plus intéressants... Le point important est la volumétrie des cartes de contours vectoriels que vous souhaitez transposer dans Tableau. Par exemple, j'ai simplifié les 2300 contours de bassins de vie français par lissage des alignements de points proches sur 300 mètres. Au total, Tableau charge un fichier de plus de 650000 points qui dans un graphique cartographique décrivent bien les 2300 bassins. Cette volumétrie est donc acceptable. Je pense que le chargement des contours des 6000 codes postaux français devrait être possible, mais j'ai des doutes pour les contours des 36600 communes et des 51000 quartiers censitaires IRIS. Cela reste à tester.  

J'ai aussi trouvé comment ajouter un fond de carte tuilée de notre choix dans une carte Tableau ; le fond de carte fourni par l’éditeur est trop léger : voir mon post sur ce sujet. Tableau constitue donc un vraiment très bon instrument de rendu, visualisation interactive, distribution de données locales par couplage des technologies de Business Intelligence et de cartographie numérique. 





vendredi 9 mai 2014

Toner de Brest ou comment intégrer des "tuiles" dans nos cartes

Ce message explique différents modes d'accès aux fonds raster tuilés avec les Systèmes d'Information Géographique (SIG). Mais pour commencer, un court rappel sur le principe des tuiles cartographiques.

Qu'est-ce qu'une tuile cartographique ?

Depuis la révolution GoogleMap (2005), les fonds de cartes d'assemblage de tuiles cartographiques sont un standard. Le terme tuile désigne une petite image, carrée, contenant un morceau de carte. La grande taille d'une carte à grande échelle est alors un assemblage, un puzzle damier de tuiles. D'autres couches, photographiques, cadastrales, sont souvent édités dans les systèmes d'information géographique sous forme de tuiles. L'avantage du format tuilé est la rapidité de chargement de la carte, ce qui est essentiel pour la fluidité des applications Internet ou mobiles. Pour en savoir plus allez lire l'article intéressant de néogeo sur le tuilage.

Avec la maturité de la carte libre et collaborative OpenStreetmap (OSM), les sites de distributions de fonds de cartes en format raster de tuiles cartographiques fleurissent. Tous ces sites utilisent principalement les données libres d'OSM et créent des fonds de cartes pour des usages spécifiques ou génériques, en particulier à destination des applications pour téléphones mobiles.

J'exploite régulièrement les fonds produits par des spécialistes du design de fonds cartographiques : Stamen, MapBox, CloudMade. Miracle c'est simple, gratuit pour des usages non massifs et cela marche. J'explique plus bas comment faire.

Voici quelques exemples de cartes tuilées à Brest :


 Ici un lien vers un comparateur de différents fonds de cartes sur la zone de votre choix :

Vers le comparateur


L'utilisation de fonds tuilés avec un SIG 

Avec MapInfo, on peut très facilement intégrer ces fonds tuilés dans un document, ce qui permet de contextualiser simplement une analyse thématique, une carte de points etc... Avec une connexion internet, en chargeant des fichiers MapInfo .tab qui pointent sur un serveur de tuiles cartographiques (via un fichier XML attaché au fichier .tab), on ajoute très facilement des fonds très variés qui complètent les fonds Bing livrés en version de base. Il faut jouer avec la transparence de chaque couche pour obtenir une carte agréable à lire.

Voici un exemple d'usage du fond Toner à Brest sous MapInfo avec d'autres couches :




Ici le lien de téléchargement des fichiers MapInfo qui pointent vers une dizaine de cartes tuilées que j'utilise fréquemment. Vous chargez et manipulez chacun de ces fichiers .tab comme une couche raster normale. Il faut en particulier bien gérer la transparence du fond pour un bel assemblage dans le document cartographique avec d'autres couches vectorielles, analyse thématique, etc...

Vous pouvez aussi très facilement adapter ces fichiers pour utiliser un autre service de tuilage et/ou éventuellement votre propre service de tuilage. Il suffit de dupliquer et éditer le couple de fichiers .tab et .xml associés avec un bloc-notes et :
  • donner un même préfixe pour le fichier Tab et Xml de votre fonds ;
  • modifier le fichier Tab pour qu'il appelle le fichier Xml de même nom ;
  • modifier l'url avec l'adresse de votre nouveau service de tuilage (balise <Url> en laissant inchangé les paramètres d'appel de la bonne tuile directement gérés par MapInfo /{LEVEL}/{ROW}/{COL}) ;
  • le cas échéant modifier aussi le copyright en balise <AttributionText> du fichier Xml.
Pour les utilisateurs d'ArcGIS, un post du blog d'Arcorama explique des choses similaires: lien vers ce post


Merci à Etienne Come de nous avoir ouvert les yeux sur ces divers sites de tuiles.
Merci à Eric Hubert, Remi Bizet et David Poutier pour la mise au point de ces appels de tuiles avec MapInfo.