Математика / 3. Теория вероятностей и математическая
статистика
к.ф.-м. н. Калжанов М.У.
Костанайский государственный университет
имени А.Байтурсынова
Марковские
процессы с непрерывным временем
Для марковских процессов с
непрерывным временем, когда переходы из одного состояния в другое возможны в
любой момент времени, вероятность перехода из состояния Ei в состояние Ej точно в момент времени t не может быть
задана, поскольку такая вероятность равна нулю. Вместо этого можно определить
вероятность соответствующего перехода на интервале времени (t, t+Dt), определяемая как
pij (t, t +Dt)=Pr {g (t+Dt)=Ej | g (t)=Ei}, i, j=0,n.
При
этом 
, i, j=0,n.
В случае марковской
цепи с непрерывным временем для описания переходов используются не вероятности
переходов, а интенсивности переходов. Интенсивность перехода из
состояния Ei в состояние Ej в момент времени t, обозначаемая через qij(t), определяется следующим образом:
qij(t)=
, i¹j; (1)
qii(t)=
. (2)
Эти пределы имеют
следующую интерпретацию. Если в момент времени t процесс находится в состоянии Ei,
то вероятность перехода в течение промежутка времени (t,t+Dt) в произвольное (отличное от Ei) состояние задается величиной -qii(t) Dt+o(Dt).
Таким образом, величину -qii(t) можно интерпретировать как интенсивность,
с которой процесс уходит из состояния Ei.
Аналогично, вероятность перехода процесса в течение времени (t, t+Dt) из состояния Ei
в состояние Ej задается
величиной +qij(t)Dt+o(Dt) и величину qij(t) можно
интерпретировать как интенсивность, с которой процесс переходит из состояния Ei в состояние Ej, при условии, что Ei - текущее состояние
процесса. Так как всегда 
(t,t+Dt)=1, то из равенств (1) и (2) следует, что
(3)
(t)=0, i=0,n.
Если вероятности
переходов pij(t,t+Dt), а, значит, и интенсивности переходов qij(t), не зависят от времени t (pij(t,t+Dt)ºpij(Dt)
и qij(t) ºqij), т.е. от того, в какой момент начинается промежуток Dt, то марковский процесс называется однородным, в
противном случае - неоднородным.
Интенсивности переходов qij, i,j=0,n, можно определить в виде квадратной матрицы
Q размерности (n+1)´(n+1):
называемая матрицей интенсивностей
переходов. Элементы матрицы переходов Q
удовлетворяют условию (3) (сумма элементов строки равна нулю), и такая матрица
называется дифференциальной.
Вероятность того, что
марковский процесс в момент времени t+Dt окажется в состоянии Ei, определяется как
(4)
Pi(t+Dt) =
(t)pji(Dt), i=0,n.
Действительно,
марковский процесс в момент времени t+Dt окажется в состоянии Ei, если он в момент времени t находится в состоянии Ej
(с вероятностью Pj(t)) и за
промежуток времени Dt
перейдет с вероятностью pji(Dt) из состояния Ej
в состояние Ei. Суммируя
произведения вероятностей этих двух независимых событий по всем возможным
состояниям процесса в момент времени t,
получим равенство (4).
Если вычесть Pi(t) от обоих сторон равенства (4), а
затем разделить на Dt
и определить соответствующие пределы при Dt®0, то получим:
, i=0,n
или в векторном виде: 
(5)
Решая данную систему дифференциальных уравнений при
заданном распределении P(0)={P0(0), P1(0),
..., Pn(0)} начальных вероятностей с учетом нормировочного
условия, можно определить вероятности Pi(t), i=0,n,
состояний марковского случайного процесса в любой момент времени.
В случае эргодичности марковского случайного процесса существуют предельные (при t®¥) вероятности состояний Pi, i=0,n, и они не зависят от начальных условий
и временного параметра. Тогда производные dPi(t)/dt=0,
i=0,n, и система дифференциальных уравнений (5) для стационарного
режима превращается в систему линейных алгебраических уравнений:
, i=0,n
или в векторном виде (6)
PQ=0.
Система (6) совместно с нормировочным условием дает
единственное решение для стационарных вероятностей Pi, i=0,n.
Пример. Определим вероятности состояний равновесия
марковского случайного процесса с четырьмя возможными состояниями E0, E1, E2,
E3 и матрицей интенсивностей переходов
λ
Граф переходов для этого
процесса приведен на рис. 1. В диаграмму переходов не включены петли, ведущие
из состояния Ei, i=0,3, обратно в это же состояние, так
как, согласно (3), члены на главной диагонали матрицы Q не содержат никакой новой информации: они равны сумме элементов
соответствующей строки, взятой со знаком минус.
λ
μ μ μ
Рис. 1.
Граф переходов примера.
Система (6) вместе с
нормировочным условием для этого примера имеет вид:
-lP0+mP1=0
lP0-(l+m)P1+mP2=0
-(l+m)P2+mP3=0
lP1+lP2-mP3=0
P0+P1+P2+P3=1
Первые четыре уравнения
полученной системы являются линейно зависимыми, и любое из них можно исключить
из системы, а остальные три уравнения и нормировочное условие определяют
единственное решение для вероятностей состояний равновесия. Если l =
2 и m = 1, то P0=1/19, P1=2/19, P2=4/19 и P3=12/19.
Литература:
1.
Гнеденко Б.В. Курс
теории вероятностей. М.: Наука, 1971 г.
2. Вентцель Е.С. Теория вероятностей. М.: Наука, 1964 г.