Zusammenfassung
Probabilistische Netzwerke (Probabilistic Independence Networks, PIN’s) stellen eine einheitliche Beschreibung der stochastischen Abhängigkeiten von Zufallsvariablen dar. Die Darstellung bezieht sich auf Graphen mit gerichteten Kanten, welche kausale Abhängigkeiten beschreiben, und auf Graphen mit ungerichtete Kanten, welche Korrelationen zwischen den Variablen beschreiben. In diesem Beitrag wird ein em—Algorithmus zum Lernen in gegeben Strukturen vorgestellt, die auch versteckte Variablen enthalten dürfen. Der Algorithmus ist eine Verallgemeinerung des em—Algorithmus’ für Boltzmann Maschinen (Byrne, 1992; Amari et al., 1992). Die e— und m—Schritte sind durch eine Verallgemeinerung des iterativen Fittings (Iterative Proportional Fitting, IPF) realisiert, welches Rand— und bedingte Verteilungen als Nebenbedingung verwendet. Weiterhin werden Hinweise zur effektiven Implementierung beruhend auf der Arbeit von (Jiroušek & Přeučil, 1995) gegeben.
This is a preview of subscription content, log in via an institution to check access.
Access this chapter
Tax calculation will be finalised at checkout
Purchases are for personal use only
Preview
Unable to display preview. Download preview PDF.
References
Ackley, D. H., Hinton, G. E., & Sejnowski, T. J. (1985). A learning algorithm for Boltzmann machines. Cognitive Science, 9, 147–169.
Amari, S. (1995). Information Geometry of the EM and em Algorithms for Neural Networks. Neural Networks, 8(9), 1379–1408.
Amari, S., Kurata, K., & Nagaoka, H. (1992). Information Geometry of Boltzmann machines. IEEE Transactions on Neural Networks, 3(2), 260–271.
Buntine, W. L. (1995). Chain grpahs for learning. Technical report, RIACS at NASA Ames Research Center.
Byrne, W. (1992). Alternating Minimization and Boltzmann Machine Learning. IEEE Transactions on Neural Networks, 3, 612–620.
Csiszár, I. (1975). I-Divergence Geometry of Probability Distributions and Minimization Problems. The Annals of Probability, 3(1), 146–158.
Csiszár, I. & Tusnády, G. (1984). Information Geometry and Alternating Minimization Problems. In Statistics & Decision, Supplement Issue No.1 (pp. 205–237). R. Oldenburg Verlag, München.
Darroch, J. N., Lauritzen, S. L., & Speed, T. P. (1980). Markov Fields and Log-Linear Interaction Models for Contingency Tables. The Annals of Statistics, 8(3), 522–539.
Dempster, A. P., Laird, N. M., & Rubin, D. B. (1977). Maximum Likelihood from Incomplete Data via the em—Algorithm. Journal of the Royal Statistical Society, Series B, 39, 1–38.
Frydenberg, M. (1990). The Chain Graph Markov Property. Scand J Statist, 17, 333–353.
Geman, S. & Geman, D. (1984). Stochastic Relaxation, Gibbs Distributions, and the Bayesian restoration of images. IEEE Trans. Pattern Anal. Machine Intell., PAMI-6(6), 721–741.
Jiroušek, R. & Přeučil (1995). On the effective implementation of the iterative proportional fitting procedure. Computational Statistics & Data Analysis, 19, 177–189.
Lauritzen, S. L. (1995). The EM algorithm for graphical association models with missing data. Computational Statistics & Data Analysis, 19, 191–201.
Lauritzen, S. L. & Spiegelhalter, D. J. (1988). Local computations with Probabilities on Graphical Structures and their Application to Expert Systems. Journal of the Royal Statistical Society, Series B, 50(2), 154–227.
Lauritzen, S. L. & Wermuth, N. (1989). Graphical Models for associations between variables, some of which are qualitative and some quantitative. The Annals of Statistics, 17(1), 31–57.
Martignon, L., von Hasseln, H., Grün, S., Aertsen, A., & Palm, G. (1995). Detecting higher—order interactions among the spiking events in a group of Neurons. Biological Cybernetics, 73, 69–81.
Martignon, L., von Hasseln, H., & Palm, G. (1993). Modelling stochastic networks: From data to the connectivity structure. In O. Herzog, T. Christaller, & D. Schutt (Eds.), Grundlagen und Anwendungen der Künstlichen Intelligenz — 17. Fachtagung für Künstliche Intelligenz, Informatik aktuell, Subreihe Künstliche Intelligenz (pp. 50–58).: Springer-Verlag. Gesamtdarstellung des Workshops auf der KI-Jahrestagung, Berlin 1993, ISBN 3-540-57278-3.
Nagaoka, H. & Amari, S. (1982). Differential geometry of smooth families of probability distributions. METR. 82–7.
Russell, S., Binder, J., Koller, D., & Kanazawa, K. (1995). Local learning in probabilistic networks with hidden units. In Proc. Fourteenth International Joint Conference on Artificial Intelligence Montreal, Canada.
von Hasseln, H. (1995a). Konsistenz—Algorithmen für Markov—Netzwerke. Dissertation. Department of Neural Information Processing, University of Ulm, Germany.
von Hasseln, H. (1995b). Maximum Likelihood estimates for Markov Networks using inhomogeneous Markov chains. In Proceedings of the 3 rd SNN Neural Network Symposium Nijmegen: Springer-Verlag.
von Hasseln, H. (1996). The IPF procedure for conditionals: Minimum discrimination information for non—unique conditionally specified distributions, (submitted).
Author information
Authors and Affiliations
Editor information
Editors and Affiliations
Rights and permissions
Copyright information
© 1998 Physica-Verlag Heidelberg
About this chapter
Cite this chapter
von Hasseln, H. (1998). IPF für bedingte Wahrscheinlichkeiten: Lernen in Probabilistischen Netzwerken. In: Nakhaeizadeh, G. (eds) Data Mining. Beiträge zur Wirtschaftsinformatik, vol 27. Physica-Verlag HD. https://doi.org/10.1007/978-3-642-86094-2_10
Download citation
DOI: https://doi.org/10.1007/978-3-642-86094-2_10
Publisher Name: Physica-Verlag HD
Print ISBN: 978-3-7908-1053-0
Online ISBN: 978-3-642-86094-2
eBook Packages: Springer Book Archive