Vous relancez la prévision du mois dernier sur exactement les mêmes données et vous obtenez un chiffre différent. Rien n'a changé, pourtant la réponse a bougé. Ce n'est pas une bizarrerie. C'est la raison même pour laquelle la finance cesse de faire confiance au plan, et cela se corrige.
Parce que beaucoup de moteurs de planification ne sont pas déterministes à l'exécution. Les modèles d'apprentissage automatique et probabilistes se réentraînent, se réinitialisent ou réordonnent les données à chaque passage, de sorte que des entrées identiques renvoient un chiffre légèrement différent. Les données n'ont pas changé ; l'état interne du modèle, oui. Cet écart, mêmes entrées et sortie différente, est un défaut de reproductibilité, plus fréquent que les éditeurs ne l'admettent.
Une prévision doit changer quand les entrées ou la version du modèle changent, et ce changement doit être traçable. Elle ne doit pas changer quand les entrées et la version du modèle sont identiques. Un changement légitime et consigné est sain ; la dérive silencieuse sur des entrées identiques est le problème, car plus personne ne peut reproduire ni défendre le chiffre un mois plus tard. Nous ne disons pas que tout outil dont la sortie varie est douteux ; nous disons que des entrées identiques doivent donner un résultat identique et reproductible, chaque changement étant consigné.
Parce qu'un chiffre que vous ne pouvez pas reproduire est un chiffre que vous ne pouvez pas défendre, devant un DAF, un auditeur, ou vous-même quand vous cherchez à savoir si un écart vient du plan ou du marché. La recherche sur la prévision de la demande dit la même chose : une forte variabilité d'une exécution à l'autre sur des entrées identiques érode la confiance des planificateurs et force des ajustements manuels excessifs. C'est pourquoi la reproductibilité passe avant la précision. Obtenez d'abord le même chiffre ; ensuite, affinez-le.
Traitez la configuration de prévision comme du logiciel. Versionnez les méthodes, paramètres et règles de hiérarchie, figez la version du modèle, et gardez la couche de décision, stock de sécurité, points de commande et trésorerie, strictement déterministe. Les mêmes données et réglages renvoient alors toujours le même chiffre, chaque changement étant consigné. C'est exactement ainsi qu'est bâti DemandIntel : l'apprentissage automatique affine la prévision, puis chaque décision s'exécute de façon déterministe. Relancez aujourd'hui et le trimestre prochain sur les mêmes données : le chiffre est identique, et la planification et l'exécution peuvent enfin le partager.
Relancez la prévision du mois dernier sur exactement les mêmes données et réglages. Si le chiffre n'est pas identique, vous avez un écart de reproductibilité. Deux autres tests : pouvez-vous expliquer le chiffre à un DAF en deux minutes, et chaque ajustement est-il consigné avec qui, quand et pourquoi.
Non. L'apprentissage automatique affine toujours la prévision. Ce qui reste déterministe, c'est la décision : la partie qui déplace votre argent est celle que vous pouvez reproduire et expliquer.
Non. La reproductibilité, c'est obtenir le même chiffre à partir des mêmes entrées ; la précision, c'est être proche de la réalité. Il faut les deux, mais la reproductibilité d'abord : on n'améliore pas de façon fiable un chiffre qu'on ne peut pas répéter.
Apportez les chiffres du mois dernier. Nous les exécutons, les réexécutons, et vous montrons le même chiffre les deux fois, tracé du résultat jusqu'à ses composantes. Si ça ne tient pas, on se quitte bons amis.