Seuillage Automatique

Maximisation de l'entropie



seuillage

L'entropie est une quantité qui désigne la part de désordre, de dégradation ou de hasard que comporte tout système d'énergie ou d'information. Plus précisément, en thermodynamique, l'entropie est une fonction qui représente l'état d'instabilité ou de désordre dans un système physique se situant au niveau atomique, ionique ou moléculaire. Plus grande est la part de désordre, plus l'entropie augmente.
On peut faire la même analogie dans le domaine de l’information. L’entropie mesure la quantité de bruit. En quelque sorte, plus nos deux classes vont être ordonnées, plus l’entropie va diminuer. On cherchera donc à minimiser l’entropie. On placera un signe moins pour avoir une quantité positive. Par conséquent, on maximisera la fonction notée E.
La maximisation de l’entropie est aussi quelquefois appelée méthode de Pun :

Formule1

En pondérant par le logarithme népérien, on favorise ainsi les événements d’autant plus qu’ils sont rares. Cette méthode est donc particulièrement bien adaptée à la segmentation de petites classes.

hist
retour