Markov chains are a fundamental class of stochastic processes. They are widely used to solve problems in a large number of domains such as operational research, computer science, communication networks and manufacturing systems. The success of Markov chains is mainly due to their simplicity of use, the large number of available theoretical results and the quality of algorithms developed for the numerical evaluation of many metrics of interest. The author presents the theory of both discrete-time and continuous-time homogeneous Markov chains. He carefully examines the explosion phenomenon, the Kolmogorov equations, the convergence to equilibrium and the passage time distributions to a state and to a subset of states. These results are applied to birth-and-death processes. He then proposes a detailed study of the uniformization technique by means of Banach algebra. This technique is used for the transient analysis of several queuing systems. Contents 1. Discrete-Time Markov Chains 2. Continuous-Time Markov Chains 3. Birth-and-Death Processes 4. Uniformization 5. Queues About the Authors Bruno Sericola is a Senior Research Scientist at Inria Rennes – Bretagne Atlantique in France. His main research activity is in performance evaluation of computer and communication systems, dependability analysis of fault-tolerant systems and stochastic models.
Les chaînes de Markov sont des modèles probabilistes utilisés dans des domaines variés comme la logistique, l'informatique, la fiabilité, les télécommunications, ou encore la biologie et la physique-chimie. On les retrouve également dans la finance, l’économie et les sciences sociales. Cet ouvrage présente une étude approfondie des chaînes de Markov à temps discret et à temps continu avec des applications détaillées aux processus de naissance et mort et aux files d'attente. Ces applications sont illustrées par des algorithmes généraux de calcul de probabilités d'état et de distribution de temps de passage. Le développement de ces algorithmes repose sur l'utilisation de la technique d'uniformisation des chaînes de Markov qui est présentée de manière théorique et intuitive. Ce livre s'adresse aux ingénieurs et chercheurs ayant besoin de modèles probabilistes pour évaluer et prédire le comportement des systèmes qu'ils étudient ou qu'ils développent. Il est aussi très bien adapté pour un cours de master.
This will help us customize your experience to showcase the most relevant content to your age group
Please select from below
Login
Not registered?
Sign up
Already registered?
Success – Your message will goes here
We'd love to hear from you!
Thank you for visiting our website. Would you like to provide feedback on how we could improve your experience?
This site does not use any third party cookies with one exception — it uses cookies from Google to deliver its services and to analyze traffic.Learn More.