Évaluation du modèle
Depuis mars 2009, le modèle de prédiction utilisé par Mixture.fr est évalué (en interne) au moyen d'outils automatiques.
 
Panel
Huit villes ont été choisies, en variant les zones (urbaine, plaine, montagne) : Aussois (73), Carnac (56), Colmar (68), Dreux (28), Grenoble (38), Huppy (80), Paris (75), Peypin (13). Pour chacune de ces villes a été effectué un relevé précis sur place (par nos soins ou par les visiteurs de ce site). Ce relevé constitue la référence que nous cherchons à atteindre.
 
Évaluation
L'évaluation repose sur la comparaison des listes générées par le moteur avec les listes de « référence » réalisées précédemment. Les résultats sont évalués en terme de rappel (taux de bonnes réponses par rapport aux réponses attendues) et de précision (taux de bonnes réponses parmi les réponses générées), deux mesures habituellement utilisées dans l'évaluation des systèmes d'information.
 
Résultats
Le tableau suivant donne les résultats de l'évaluation du 28 mars 2009 :
Ville Aussois Carnac Colmar Dreux Grenoble Huppy Paris Peypin
Rappel 0.86 0.96 0.94 0.83 0.96 0.83 0.88 0.65
Précision 0.92 0.93 0.78 0.89 0.98 0.83 0.58 0.85
Plus le rappel se rapproche de 1,00 plus la liste générée est proche de la référence (autrement dit, plus la liste correspond à la réalité). Plus la précision se rapproche de 1,00 moins il y a de bruit dans les résultats générés (autrement dit, les radios affichées sont effectivement reçues sur place). Les listes les plus justes sont celles qui maximisent le rappel et la précision (Carnac par exemple).
Une macro-moyenne a été calculée sur l'ensemble des résultats précédents : rappel global = 0.86, précision globale = 0.84
 
Bilan
  • En zone urbaine (Paris, Colmar), le modèle affiche trop de radios par rapport à ce qu'il est possible de recevoir en réalité (précision moyenne) mais les radios que l'on peut réellement recevoir sont généralement affichées (bon rappel).
  • En milieu montagneux (Aussois, Grenoble, Peypin), les radios listées sont correctes (bonne précision) mais il manque des radios par rapport aux possibilités réelles de réception (rappel moyen).
  • En zone de plaine (Carnac, Huppy), le modèle est assez équilibré : il manque quelques radios par rapport à la réalité (bon rappel) et certaines radios affichées ne sont en fait pas reçues (bonne précision).
 
Évolution des résultats générés
Afin de mesurer l'évolution des modifications apportées au moteur de prédiction, nous avons lancé l'évaluation sur les résultats générés par les différentes versions archivées de l'algorithme utilisé. Les listes de références de même que la base de données utilisées sont celles de mars 2009 (autrement dit, si des fréquences ont été mises en service en 2009, les algorithmes antérieurs les affichent pour les besoins de l'évaluation) ; en conséquence, nous mesurons bien l'évolution des résultats générés par chaque algorithme sur la même référence.
Année 2007 2008 2009
Date 30 avril 13 juin 27 janvier 26 août 15 novembre 28 mars
Rappel 0.72 0.72 0.86 0.87 0.85 0.86
Précision 0.59 0.58 0.70 0.76 0.81 0.84
Le graphique ci-dessous met en évidence les rappel et précision calculés sur les macro-moyennes de chaque période.
Globalement, les résultats ont gagné en précision depuis juin 2007 et en rappel jusqu'en août 2008 ; cela signifie que les listes contiennent de moins en moins de bruit (radios listées non reçues) et qu'elles se rapprochent de plus en plus de la réalité (les radios attendues sont affichées). Depuis août 2008, le rappel diminue légèrement mais la précision continue d'augmenter ; en conséquence, il y a toujours moins de bruit mais en même temps, quelques radios reçues qui étaient précédemment affichées ne le sont désormais plus...
Nous donnons ci-dessous quelques éléments d'amélioration dans l'algorithme au cours du temps :
  • Juin 2006 : lancement du site (l'algorithme repose sur des observations empiriques pour chaque puissance : 1 kW porte jusqu'à 20 km avec une réception 5/5, 35 km pour une réception 4/5, 50 km pour une réception 3/5, etc.) ;
  • Octobre 2006 : prise en compte de l'azimut (permet de traiter les secteurs de contraintes des émetteurs) ;
  • Janvier 2007 : pour les villes de montagne, indications de distance maximale et d'altitude minimale pour éliminer de l'affichage les radios ne correspondant pas à ces critères (suppose une étude empirique des possibilités de réception réelle) ;
  • Mars 2007 : abandon des degrés minutes au profit des degrés décimaux pour les coordonnées géographiques (élimine une étape de conversion) ;
  • Mai 2007 : augmentation de la portée des émetteurs de forte puissance ainsi que des émetteurs d'altitude (telle puissance porte jusqu'à telle distance avec tel niveau de réception) ;
  • Juin 2007 : pour les villes de montagne, prise en compte de la vallée d'appartenance (les villes de la Maurienne reçoivent les radios de Maurienne et pas celles de la vallée voisine) ;
  • Janvier 2008 : extension de la zone géographique interrogée (permet d'afficher des radios plus lointaines pour chaque ville) ;
  • Août 2008 : modification radicale de l'algorithme utilisé (le niveau de réception repose sur l'atténuation du signal en espace libre calculée en dBµV) ;
  • Septembre 2008 : la table des villes de France intègre désormais l'altitude moyenne de chaque ville ;
  • Octobre 2008 : prise en compte du relief (supprime l'affichage d'une radio si un point de relief se situe sur la trajectoire émetteur/récepteur) ;
  • Mars 2009 : intégration d'une atténuation supplémentaire fondée sur le rapport distance/atténuation moyenne fondée sur l'environnement (élimine ou réduit la puissance du signal de radios distantes de forte puissance) ;
© 2009 Mixture