topic Re: Intégrer une estimation initiale (heuristic) dans un modèle prédictif (machine learning) in Discussions

Intégrer une estimation initiale (heuristic) dans un modèle prédictif (machine learning)

RikkiTikkiTavi — Fri, 31 Jul 2026 14:58:23 GMT

J’essaie de développer un outil que j’appelle Blend Search. Il fonctionne OK, mais j’imagine une amélioration que je ne sais pas encore réaliser techniquement..

Ce que fait Blend Search :
>> input est une collection de composants avec leurs propriétés
>> génération d’une matrice de compositions
>> application de heuristics (modèles simples) pour calculer les propriétés des blends
>> application d’un modèle plus complexe, actuellement un Boosted Tree. Ses prédicteurs sont les propriétés de blends estimées par les heuristics et sa output est aussi une propriété du mélange

J’ai fait une visualisation de Boosted Tree (voir dans la vidéo jointe)

L’un des prédicteurs (Predictor 3) constitue déjà une première estimation de ma propriété cible (Predicted). Dans mon idée initiale, les 2 autres prédicteurs devaient servir à corriger cette première estimation. Aujourd’hui, le modèle fournit des prédictions cohérentes, on sort rarement de la zone de prédiction.

Mais en réalité je ne corrige pas ma première estimation, je corrige la moyenne des Y du training set (l’intercept du Boosted Tree par défaut). Si je veux scale up mon Blend Search, cette approche ne soit plus plus suffisamment robuste.

Je voudrais pouvoir prédire en corrigeant ma première estimation. Par exemple j'aurais bien aimé avoir un sort d'intercept variable pour mon Boosted Tree. Je n’arrive pas à imaginer la bonne solution, mais je suis presque sûre qu’il existe déjà des techniques. Si vous avez des idées, je serais très heureuse d’avoir vos avis

Re: Intégrer une estimation initiale (heuristic) dans un modèle prédictif (machine learning)

Victor_G — Sat, 01 Aug 2026 15:53:18 GMT

Hello @RikkiTikkiTavi,

Je ne suis pas sûr d'avoir compris toute la chaîne de modélisation algorithmique, mais j'ai peut-être une idée pour vous. Deux approches sont possibles pour améliorer les prédictions : une approche boosting (pour réduire le biais des prédictions) et une approche bagging/model averaging (pour réduire la variance des prédictions).

Approche Boosting: Si le but est d'améliorer les prédictions de la propriété cible en corrigeant un biais (réponse moyenne prédite par rapport à la réponse moyenne mesurée), vous pourriez entraîner un modèle de Machine Learning à prédire les résidus de cette propriété cible à partir des données brutes et/ou estimées ainsi que des predictions de la propriété cible (afin de modéliser les erreurs en fonction des variables d'origine et des prédictions). Vous auriez ainsi un modèle qui prédit les erreurs du Boosted Tree, et qui servirait de couche de correction à l'arbre boosté (en ajoutant/soustrayant les prédictions de résidus aux prédictions du Boosted Tree).
J'ai déjà utilisé cette approche plusieurs fois, et le gain de performances peut vraiment être très intéressant. Il peut être intéressant d'utiliser un autre type de modèle pour la modélisation d'erreur que celui utilisé pour les prédictions (donc autre que Boosted Tree dans votre cas). Attention aussi à bien valider ce nouveau modèle correctement en évitant tout sur-ajustement, avec une stratégie de validation (pour la comparaison avec le modèle Boosted Tree seul) et test (pour l'évaluation des performances en conditions réelles) appropriée, ainsi que tout risque de data leakage, en n'utilisant pour la prédiction des erreurs que des données disponibles au moment de cette prédiction : prédicteurs + prédictions de la propriété cible.
Approche Bagging/model averaging: Une autre option afin de réduire la variance des prédictions consiste à entraîner un ensemble de modèles en parallèle (en plus du Boosted Tree), et de prendre la moyenne ou médiane de leurs prédictions. Attention aussi avec cette approche à mettre en place une stratégie validation + test appropriée.

Le choix d'une de ces options dépend des performances de votre modèle initial Boosted Tree et du bruit dans les données : si le Boosted Tree a tendance à overfitter ou si les données utilisées sont bruitées, une approche bagging est conseillée. Si le Boosted Tree sous-performe et a un biais élevé (ce qui paraît assez improbable vu le fonctionnement du modèle, à moins de paramétrages particuliers), l'approche Boosting sera plus efficace. Je testerai peut-être en priorité l'approche d'ensembling type bagging, vu que le modèle de prédiction utilisé (Boosted Tree) utilise déjà une approche type Boosting.

En espérant que ces options puissent vous inspirer,

Re: Intégrer une estimation initiale (heuristic) dans un modèle prédictif (machine learning)

RikkiTikkiTavi — Mon, 03 Aug 2026 14:22:13 GMT

Bonjour @Victor_G ,

J’avais déjà essayé de prédire les résidus (delta entre la valeur réelle de ma propriété cible et sa première estimation). J’obtenais une légère amélioration sur le training set, mais ça échouait sur le set test (RMSE se double..). Mon set test représente le scale-up que je vise, c'est un subgroup de compositions très différentes mais les propriétés de ces mélanges sont presque dans le même range que celles de training set. Mon Boosted Tree actuel prédit plutôt correctement sur le set test.

L’idée du model averaging est intéressante, dois-je trouver les modèles qui font des erreurs suffisamment différentes pour tester l'approche ? Je pense essayer d’abord le bagging. Je sais que mes données sont bruitées, et j’imagine que ce type de modèle sera également plus facile à intégrer dans mon outil Blend Search qu’une ensemble de 2, 3, 4.. modèles différents

Merci beaucoup pour vos idées ;

Re: Intégrer une estimation initiale (heuristic) dans un modèle prédictif (machine learning)

Victor_G — Mon, 03 Aug 2026 17:33:28 GMT

Hello @RikkiTikkiTavi,

Oui, la difficulté de cette approche réside dans la bonne stratégie de validation pour éviter tout sur-apprentissage (amélioration sur le set d'entraînement, mais performances stables voire détérioration sur le jeu de données de validation).
J'ai un peu peur que vous ayiez un domain shift au vu de la description que vous faites des données de test: vous risquez d'avoir des relations apprises par le modèle sur l'entraînement entre inputs et outputs différentes de celles existantes pour le test. Serait-il possible de mélanger/stratifier les données de train/validation/test pour éviter ce shift (et n'avoir que des données scale-up en test) ? Celà permettrait au modèle d'avoir des informations concernant aussi le scale-up, quitte à l'indiquer dans une nouvelle variable utilisée lors de l'entraînement (experiment_type: R&D / scale-up / Prod par exemple, à voir si les différentes étapes ont un intercept different et nécessitent cette variable ou pas).

Concernant le reste du process, Voici quelques remarques/idées :

Commencer par mettre en place la stratégie de train/validation/test, si possible en faisant un split stratifié par rapport aux variables pour s'assurer que l'ensemble de l'espace experimental soit vu dans chacun des sets (pour assurer un entraînement pertinent et une bonne généralisation des performances).
Avant de procéder à l'entraînement du Boosted Tree (ou autre), mettre en place des modèles comparatifs : un modèle benchmark (je conseille la Random Forest) à battre en validation par les autres modèles, et un modèle permettant d'évaluer les limites basses de performances de(s) modèle(s) testé(s): par exemple, un modèle naïf qui ne "prédit" que la moyenne de la réponse du set d'entraînement sur tous les autres sets (validation et test). Si les autres modèles sont moins bons ou équivalents (par exemple avec un RMSE proche ou supérieur par rapport au modèle naïf) à ce modèle, cela peut indiquer un bruit (trop) important dans les données par rapport au signal, un manque d'information provenant des facteurs, et/ou une variabilité de la réponse trop faible.
Je conseillerai aussi de tester différents modèles, par exemple avec la plateforme Model Screening, en réalisant une Cross-Validation uniquement sur le jeu d'entraînement. À partir de là, il est possible de sélectionner les modèles les plus intéressants et de poursuivre.
En fonction des performances des modèles, un réentrainement sur le set d'entraînement est possible, afin de comparer ensuite leurs performances sur le jeu de validation pour sélectionner le modèle le plus performant. En parallèle, il est possible de prendre les modèles sélectionnés déjà entraînés avec la crossvalidation précédente et de réaliser un Model Averaging à l'aide de la plateforme Model Comparison. Ce qui est intéressant dans le Model Averaging, c'est de prendre des modèles de "type de construction" (biais inductif) différents (donc un modèle à base d'arbre, comme Boosted Tree, Random Forest ou XGBoost, avec d'autres modèles comme une régression multivariée, un SVM, un process Gaussien, un petit réseau de neurones ... Selon les performances obtenues), avec de bonnes performances individuelles (il faut qu'ils aient capté le signal dans les données), et si possible qu'ils aient des erreurs un peu différentes (certains surestiment certaines observations pendant que d'autres les sous-estiment). La comparaison de ce macro-modèle avec les modèles individuels réentraînés sur le jeu d'entraînement peut ensuite se faire à l'aide de la même plateforme Model Comparison en comparant les résultats de performance sur le jeu de validation.
Une fois la meilleure option sélectionnée (macro-modèle ou modèle individuel), les performances sont estimées sur le jeu de test pour évaluer le comportement du modèle une fois déployé.

Il est également possible de faire du bootstrapping sur des modèles Machine Learning autre que le bagging naturel de la Random Forest, pour améliorer la robustesse des modèles en entraînement.

En espérant que ces pistes pourront vous aider,