Data

Comment Évaluer la Qualité de la Prévision ?

L’évaluation de la qualité d’une prévision est essentielle pour s’assurer que les modèles de prévision sont fiables et pour les améliorer si nécessaire. Plusieurs méthodes et mesures permettent de déterminer à quel point une prévision est précise par rapport aux données réelles. Voici les principales techniques utilisées pour évaluer la qualité des prévisions :

1. Erreur Absolue Moyenne (EAM)

L’Erreur Absolue Moyenne (ou Mean Absolute Error en anglais, MAE) est la moyenne des écarts absolus entre les prévisions et les valeurs réelles. Cette mesure indique à quel point, en moyenne, les prévisions s’écartent des valeurs réelles, en éliminant les signes négatifs.

Formule :

EAM = Σ |Prévision_t - Réel_t| / n

Prévision_t : Valeur prévisionnelle pour la période (t)
Réel_t : Valeur réelle pour la période (t)
n : Nombre total de périodes

Exemple :

Si les prévisions pour 3 mois sont de 10 000 €, 12 000 €, et 14 000 €, et que les ventes réelles sont 9 500 €, 11 500 €, et 14 500 €, l’EAM est :

EAM = (|10 000 - 9 500| + |12 000 - 11 500| + |14 000 - 14 500|) / 3
EAM = (500 + 500 + 500) / 3 = 500 €

Interprétation :

Une EAM faible indique que les prévisions sont généralement proches des valeurs réelles.

2. Erreur Quadratique Moyenne (EQM)

L’Erreur Quadratique Moyenne (ou Mean Squared Error, MSE) mesure la moyenne des carrés des écarts entre les prévisions et les valeurs réelles. Cette mesure pénalise les écarts importants, car les erreurs sont élevées au carré.

Formule :

EQM = Σ (Prévision_t - Réel_t)² / n

Exemple :

Pour les mêmes données que précédemment :

EQM = [(10 000 - 9 500)² + (12 000 - 11 500)² + (14 000 - 14 500)²] / 3
EQM = [(500)² + (500)² + (500)²] / 3
EQM = [250 000 + 250 000 + 250 000] / 3 = 250 000

Interprétation :

L’EQM est plus sensible aux grandes erreurs, donc une EQM faible signifie que les grandes erreurs sont rares.

3. Racine de l’Erreur Quadratique Moyenne (REQM)

La Racine de l’Erreur Quadratique Moyenne (ou Root Mean Squared Error, RMSE) est la racine carrée de l’EQM. C’est une mesure plus intuitive que l’EQM, car elle est exprimée dans la même unité que les valeurs réelles.

Formule :

REQM = √(EQM)

Exemple :

En reprenant l’EQM de 250 000 calculée précédemment :

REQM = √(250 000) = 500 €

Interprétation :

Une REQM faible indique des prévisions proches des valeurs réelles. Comme l’EQM, cette mesure pénalise les grandes erreurs.

4. Pourcentage d’Erreur Absolue Moyenne (PEAM)

Le Pourcentage d’Erreur Absolue Moyenne (ou Mean Absolute Percentage Error, MAPE) est une mesure qui exprime l’erreur absolue moyenne en pourcentage des valeurs réelles. Elle est utile pour comparer des erreurs sur différentes échelles.

Formule :

PEAM = (Σ |(Prévision_t - Réel_t) / Réel_t|) * 100 / n

Exemple :

Pour les mêmes données :

Réel : 9 500 €, 11 500 €, 14 500 €
Prévisions : 10 000 €, 12 000 €, 14 000 €

PEAM = [(|10 000 - 9 500| / 9 500) + (|12 000 - 11 500| / 11 500) + (|14 000 - 14 500| / 14 500)] * 100 / 3
PEAM = [(500 / 9 500) + (500 / 11 500) + (500 / 14 500)] * 100 / 3
PEAM = [0.0526 + 0.0435 + 0.0345] * 100 / 3
PEAM = 4.35 %

Interprétation :

Une PEAM faible (par exemple, moins de 5 %) est généralement considérée comme une bonne prévision.

5. Coefficient de Détermination (R²)

Le coefficient de détermination (R²) mesure la proportion de la variance dans les données réelles qui est expliquée par les prévisions. Il varie entre 0 et 1, où 1 indique une parfaite correspondance entre les prévisions et les données réelles.

Formule :

R² = 1 - [Σ (Réel_t - Prévision_t)² / Σ (Réel_t - Moyenne_réelle)²]

Exemple :

Si la variance des données réelles est 3 000 000, et la somme des carrés des erreurs est de 250 000, le coefficient (R²) est :

R² = 1 - (250 000 / 3 000 000) = 0.9167

Interprétation :

Un R² proche de 1 indique que les prévisions sont très bien ajustées aux données réelles.

6. Test de Signification des Résidus

Les résidus sont la différence entre les prévisions et les valeurs réelles. Analyser les résidus permet de vérifier s’il existe des patterns (schémas) non détectés par le modèle de prévision. Si les résidus sont aléatoires, cela signifie que le modèle est bien ajusté.

Test visuel : Un graphique des résidus devrait montrer des erreurs réparties aléatoirement autour de zéro.
Test statistique : Il existe des tests statistiques pour vérifier la normalité des résidus (ex. : test de Shapiro-Wilk).

7. Benchmarking

Comparer les prévisions à celles obtenues par d’autres méthodes ou modèles permet d’évaluer leur pertinence. Si une autre méthode donne des prévisions plus précises avec un EAM, MAPE ou REQM plus faibles, il pourrait être préférable d’adopter cette méthode.

Pour évaluer la qualité d’une prévision, plusieurs mesures peuvent être utilisées, notamment l’Erreur Absolue Moyenne (EAM), l’Erreur Quadratique Moyenne (EQM), et le Pourcentage d’Erreur Absolue Moyenne (PEAM). Chacune de ces mesures apporte un éclairage différent sur la précision des prévisions. En complément, l’analyse des résidus et le coefficient (R²) permettent de vérifier si le modèle de prévision capture bien les dynamiques des données réelles.