ENTROPIE INFORMATIONALA, (din I. greaca en" si trape"), schrm-bare de sens, transformare, evolutie.' Folosita mai intii in termodinamica pentru a reda dezechilibrul energiei intr-un sistem, entropia a capatat treptat o mare extindere, servind la caracterizarea gradului de dezordine, sau dezorganizare al sistemelor din natura si societate. Notiunea de entropie este strans legata' de cantitate de informatie.Entropia variaza de la 0 la log m. Valoarea entropiei este maxima, adica log m reprezinta un sistem total dezorganizat, cind evenimentele A j sint echiprobabile sau au frecvente egale. Entropia are valoarea minima, adica egala cu 0, cind sistemul este complet organizat, si corespunde situatiei ca p .= 1 (pentru un anumit j). Entropia este unul din barometrele ce reflecta starea de organizare a sistemelor ( energia informationala).
|
