Analyse
Il est couramment admis que la théorie de l’information telle qu’elle a été formulée par Shannon, a besoin d’être généralisée afin d’aboutir à un concept de transinformation négative, laquelle est nécessaire pour décrire les phénomènes de perte d’information. Une telle généralisation sous la forme d’une «theorie relativiste de l’information» a déjà été proposée par l’auteur, et ici, il considère à nouveau cette question, mais dans le cadre classique de la théorie de Shannon. En associant à toute variable informationnelle une entropie de symbole et une entropie de sens, il arrive directement à un concept d’entropie totale, et de là il introduit la notion de transinformation totale qui peut être positive ou négative, tout en étant dissymétrique. Il généralise ensuite à la transinformation conditionnelle totale et à l’information triangulate, puis il obtient les conditions générales de bilan informationnel. Quelques exemples d’application sont donnés, tels que le problème du codage en général, le calcul de la capacite d’un canal, et le calcul de la transinformation en présence de flou. Dans la conclusion, il compare cette approche avec le modèle relativiste, et il montre que le dernier est la généralisation du premier.
Abstract
It is by now recognized that the information theory as initiated by Shannon and expanded later, needs some extensions to involve the concept of negative transinformation which is necessary to describe the feature of information lost that occurs either in technical systems or in human systems. Such a possible generalization has already been proposed by the author in a so-called «relativistic information theory», and the question is once more herein considered, but in the conventional framework of the theory, that is to say the Shannonian one. Symbols and meanings are defined by means of two different fields of probabilities, therefore the concept of total entropy of an informational variable. A concept of total transinformation is then derived, which may be positive or negative and later we obtain conditional total transinformation, and a triangular total transinformation formula. A few illustrative examples are given, and mainly one considers the encoding problem, the determination of the capacity of a channel, and the calculation of transinformation in the presence of fuzziness. The conclusion exhibits a brief comparison between this approach and relativistic information, and it is shown that the latter generalizes the former.
Similar content being viewed by others
Bibliographie
Brillouin (L.). La science et la théorie de l’information.Masson et Cie, Paris (1959).
Jumarie (G.). Théorie relativiste de l’information et télécommunication. Perspectives.Ann. Télécommunic., Fr. (jan. 1978),33, n∘ 1–2, pp. 13–27.
Jumarie (G.). Théorie relativiste de l’information II. Information de Shannon, entropie de Renyi, ensembles flous relativistes.Ann. Télécommunic., Fr. (sep. 1979),34, n∘ 9–10, pp. 491–507.
Jumarie (G.). Theorie relativiste de l’information III. Sur la signification et l’utilisation effective de l’entropie de Renyi dans les problèmes de communication.Ann. Télécommunic, Fr. (nov. 1979),34, n∘ 11–12, pp. 521–530.
Jumarie (G.). Théorie relativiste de l’information IV. Sur 1’introduction de facteurs subjectifs dans les problèmes de communication.Ann. Telecommunic., Fr. (juil. 1980),35, n∘ 7–8, pp. 281–296.
Jumarie (G.). Théorie relativiste de l’information V. Transfert d’information, transfert d’incertitude, bilan informationnel.Ann. Télécommunic., Fr. (mai 1982),37, n∘ 5–6, pp. 202–214.
Jumarie (G.). Subjectivity, information, systems. Introduction to a theory of relativistic cybernetics.Gordon and Breach, New York (à paraître, 1985).
De Luca, Termini (S.). A definition of a nonprobabilistic entropy in the setting of fuzzy sets theory.Inform. and Control., USA (1972),20, pp. 301–312.
Trillas (E.),Riera (T.). Entropy in finite fuzzy sets.Information Sciences, USA (1978),15, pp. 159–168.
Batle (N.),Trillas (E.). Entropy and fuzzy integrals.J. Math. Analysis and Appl., USA (1979),69, pp. 469–474.
Zadeh (L.). Probability measures of fuzzy events.J. Math. Analysis and Appl., USA (1968),23, pp. 421–427.
Jumarie (G.). Entropy of fuzzy event revisited; an approach to fuzzy transinformation.Cybernetica, Belg. (1983),26, pp. 99–117.
Jumarie (G.). Reljativistskaja informacija i biologija (en russe; Information relativiste et biologie), dans Thermo-dynamics and Regulation of Biological Processes, A. I. Zotin, Edit;Editions NAUKA, Moscou (1983).
Author information
Authors and Affiliations
Rights and permissions
About this article
Cite this article
Jumarie, G. Definition et applications d’une mesure de I’information tenant compte de la signification des symboles. Ann. Télécommun. 39, 523–537 (1984). https://doi.org/10.1007/BF02999770
Received:
Accepted:
Issue Date:
DOI: https://doi.org/10.1007/BF02999770
Mots clés
- Théorie information
- Mesure information
- Théorie Shannon
- Perte information
- Entropie
- Sémantique
- Ensemble flou
- Théorie relativiste
- Information mutuelle
- Code correcteur erreur
- Capacite canal