Rapport Fouille de Données ========================== Par Nicolas Dossou-Gbété et Théo Dubourg Axe d'étude et données utilisées -------------------------------- Nous avons décidé de nous intéresser à la répartition des différents types d’établissements dans les communes de la région Rhône-Alpes. Principalement, nous avons cherché à voir quelle était l’influence de la superficie de la commune sur les différents types d’établissements. Puisque la répartition des communes par superficie est à peu près homogène, nous avons constitué 5 groupes de communes de taille égale, pour avoir des classes de superficie. Le noeud KNIME utilisé est un **Auto-Binner** (dans le meta-node Grp Superf.) Les répartitions des établissements ont été obtenues grâce à des composants **Math Formula** (dans le meta node Init/Repartition Ets). On se contente de calculer le pourcentage d'établissements d'un type donné par rapport au nombre total d'établissements. Ainsi, pour les commerces, la formule est: `$ETCOM06$ x 100 / $ETTOT06$` Avant d'analyser les données de ces groupes, nous avons identifiés des outliers qui ont été retirés des données. Ce sont Lyon et Villeurbanne, qui ont tous les deux une population et un nombre d'entreprise hors normes par rapport au reste des données. En effet, en les enlevant, le nombre d'entreprise maximum est de 2645, et la population maximale est de 56061 (PSDC99). Les valeurs des attributs utilisés pour les deux outliers sont les suivantes:

Commune	ETTOT06	PSDC99	% Construction	% Commerces	% Services	% Industries
Lyon	43473	445452	3.853	19.642	70.977	5.528
Villeurbanne	7868	124215	9.494	22.903	60.142	7.461

Analyse globale --------------- Voici les groupes obtenus et la répartition des différents types d'entreprises pour chacun (**Interactive Histogram View**, les valeurs en ordonnée sont des moyennes): ![histo](http://img849.imageshack.us/img849/3307/grapherepartitionentrep.png) Même si les répartitions apparaissent de manière générale assez uniformes, on remarque tout de même certaines tendances. Notamment, la proportion d'industries augmente de manière systématique avec la superficie, cela peut s'expliquer de deux façons: - Les très grandes communes peu peuplées disposent d'espace qu'elles peuvent mettre à disposition des industries ne pouvant pas s'installer à proximité d'habitations par exemples. Celles-ci ont donc plus de probabilité de se retrouver dans une très grande commune que dans une petite. - Les grandes villes constituent souvent des hubs/noeuds de transports ce qui permet aux industries de faire livrer leurs matières premières plus facilement ainsi que d'être à proximité potentiellement de partenaires industriels de leur secteurs (comme c'est le cas notamment sur le port de Lyon où KDI et ArcelorMittal sont à proximité l'un de l'autre ainsi que juste à côté d'une entreprise de traitement des déchats industriels, ainsi qu'une entreprise de transports). Pour autant, cela peut paraître surprenant car les grandes villes ont aussi une très forte tendance à attirer les bureaux et administrations des grandes entreprises nationales et multi-nationales et on pourrait donc s'attendre en conséquence à plutôt une augmentation de la proportion des services dans ces grandes villes. Et pourtant, c'est exactement le contraire qui se produit, si l'on fait abstraction de la transition entre "très grandes" et "grandes", on remarque que plus la superficie diminue plus la proportion de services augmente. Ce genre d'information pourrait servir à une commune par exemple à fixer la fiscalité locle comme la CET pour l'adapter au public potentiel qu'elle peut attirer ou alors éviter l'installation d'infrastructures non désirées. La proportion de commerce quant à elle, est d'une constance exemplaire sur l'ensemble des groupes formés ici. Outliers ---------- Un petit mot sur les outliers : Lyon et Villeurbanne. Il est intéressant de remarquer que ces outliers, au-delà de ne pas correspondre en terme de superficie et de nombre d'entreprises, Lyon et Villeurbanne ne respectent pas non plus les schémas mis en lumière ici comme la présence de plus d'industries dans les "très grandes" communes et la baisse de la proportions de services. En effet, dans les cas de Villeurbanne et surtout Lyon, c'est même l'inverse qui se produit, nous pouvons observer une proportion de services plus élevée que la moyenne et une proportion d'industrie faible. Cet exemple tend à montrer que l'exclusion d'un outlier sur un critère donné uniquement n'est pas nécessairement une perte d'information lors de l'analyses d'autres critères, nous voyons bien ici que les outliers sont confirmés sur plusieurs autres les critères. Variations internes ------------------- Il s'agit maintenant de savoir à quel point cette répartition est respectée à l'intérieur des groupes constitués. Pour cela, nous avons affiché les statistiques de ces attributs pour chaque groupe grâce à des **Conditional Box Plot** (dans EtsProp Box Plots) ### Construction ![histo](https://dl.dropbox.com/u/17763963/img_data_mining/prop-construction.png) ### Commerces ![histo](https://dl.dropbox.com/u/17763963/img_data_mining/prop-commerces.png) ### Services ![histo](https://dl.dropbox.com/u/17763963/img_data_mining/prop-services.png) ### Industries ![histo](https://dl.dropbox.com/u/17763963/img_data_mining/prop-industries.png) Dans l'ensemble, les boxplots confirment ce que l'histogramme nous permettait de dire sans apporter d'informations détaillées supplémentaires flagrantes. Cependant on remarquera que systématiquement, sur les 4 diagrammes, les données pour les "très grandes" communes varient nettement moins que pour la plupart des autres groupes. Une conclusion intéressante à cela pourrait être qu'à partir des données d'une ville de très grande taille, il est assez facile de prédire (au sein du Rhône en tout cas) les caractéristiques d'une autre ville à condition que celle-ci soit dans le même groupe de superficie. C'est une conclusion assez forte car cela permet un gain de temps non-négligeable en approximant avec une erreur relativement faible plutôt qu'en effectuant une étude longue et coûteuse. Clustering ---------- Nous avons donc pu remarquer que les différences de répartition des entreprises ne semblent pas avoir de lien fort avec la superficie de la commune. Pour vérifier cela, nous avons essayé une seconde approche, en tentant de retrouver des clusters de communes à partir des répartitions des entreprises. Pour cela, nous avons commencé par chercher des composantes principales à partir des quatre attributs précédemment utilisés. Un noeud **PCA** nous a permis d'obtenir un attribut censé représenter les 4 précédents, à partir duquel nous avons effectué notre clustering. Ce clustering a été effectué avec **k-Means**, en recherchant 5 clusters (pour essayer de retomber sur les 5 groupes de départ). Pour tester la qualité du clustering, nous avons utilisé comme clustering de référence pour le test d'entropie le résultat d'un premier **k-Means** effectué avant la boucle avec les mêmes paramètres. Ce clustering n'a pas été concluant, avec des scores de qualité très variés, allant de 0.6 à 0.9 La raison principale de cet échec doit être la faible qualité de l'attribut sur lequel est fait le clustering. En effet, les 4 attributs utilisés pour le calcul de PCA ne sont pas suffisamment liés pour pouvoir conserver suffisamment d'informations avec une seule composante. La perte d'informations subie est estimée à un peu plus de 40% Conclusions ----------- Nous n'avons pas été capables de trouver de réel lien entre la répartition des différents types d'entreprises et la taille des communes. Nous avons également envisagé d'autres attributs mais nous n'avons pas vraiment pu les tester. Ce sont notamment la proportion de naissances, la population, le nombre total de salariés. D'après le diagramme ci dessous, il est possible qu'ils n'aient pas non plus de lien avec la répartition des entreprises: ![sm](https://dl.dropbox.com/u/17763963/img_data_mining/scatter-matrix.png) Annexe: Workflow KNIME ---------------------- ### Vue globale du workflow ![workflow](https://dl.dropbox.com/u/17763963/img_data_mining/workflow.png) ### Méta-noeud init: traitements systématiques ![mn-init](https://dl.dropbox.com/u/17763963/img_data_mining/mn-init.png) ### Méta-noeud Prop Démo: calcul de proportions démographiques ![mn-prop-demo](https://dl.dropbox.com/u/17763963/img_data_mining/mn-prop-demo.png) ### Méta-noeud Repartition Ets: calcul des pourcentages de chaque type d'entreprise ![mn-repartition-ets](https://dl.dropbox.com/u/17763963/img_data_mining/mn-repartition-ets.png) ### Méta-noeud Grp Superf: constitution des groupes de communes ![mn-grp-superf](https://dl.dropbox.com/u/17763963/img_data_mining/mn-grp-superf.png) ### Méta-noeud EtsProp Box Plots: affichage des stats par type d'entreprise ![mn-etsprop-box-plots](https://dl.dropbox.com/u/17763963/img_data_mining/mn-etsprop-box-plots.png) ### Méta-neoud Loop X Times: Test de qualité du clustering ![mn-loopxtimes](https://dl.dropbox.com/u/17763963/img_data_mining/mn-loopxtimes.png)