|
ИСТИНА |
Войти в систему Регистрация |
ИСТИНА ЦЭМИ РАН |
||
Оптимальная остановка случайных величин, заданных на конечной цепи Марковастатья
- Авторы: Пресман Э.Л., Сонин И.М.
- Журнал: Обозрение прикладной и промышленной математики
- Том: 15
- Номер: 4
- Год издания: 2008
- Издательство: Научное издательство «ТВП»
- Местоположение издательства: Москва
- Первая страница: 715
- Последняя страница: 716
- Аннотация: Мы считаем, что на вероятностном пространстве (Q,^, P) задана такая последовательность случайных величин iZ - /i(Zn)subn/subo со значениями в iX - /i{e}U(.BgR), что iZ/isubin/i/subi = (U/isubin/i/subi,Y/isubin/i/subi),n /i^ 0, и iP{Z/isubin/i/subi+i = /ie|Zo,---"zsubn/sub-i,Zsubn/sub = iе} /i= 1, P{t/subn/sub sub+/sub i = ij, Y/isubin+/i/subii /i6 iC\Z/isubi0/i/subi,---Z/isubin/i/subi-i,Z/isubin/i/subi = z = (i,y)} = /isubiPij/i/subiF(j,C), P{Z/isubin/i/subi /isubi+/i/subi /isubii/i/subi /i= ie\Z/isubi0/i/subi,---Z/isubin/i/subi-i,Z/isubin/i/subi = z = (г, у)} = /i1 - £)j-sub6B/sub iPij /iдля iг, j £ В, у £ /iR, где iF(j, /i) - некоторые меры на борелевской прямой R, iF(j, /iR) = 1, i} /i' Е iВ, /iа iР /i= i(p\ji,j /i6 iВ) /iстрого субстохастическая матрица, т.е. $3) sub6/sub д Pij 1 supдля/sup supвсех/sup supг/sup € iВ. /iОчевидно, что последовательности (Zsubn/sub)subn/sub^o supи /supi(Un)/isubin/i/subio /iобразуют цепи Маркова. В этой ситуации обычно говорят о iпоследовательности случайных величин /i(Уsubп/sub )„о, заданны! на iцепи Маркова (U/isubin/i/subi /i)subn/subo, или что iцепь Z определяется строго субстохастической матрицей Р и мерами F(j, ) j /ig iВ./i Мы считаем, что на iX /iзадана такая измеримая функция ?(), что iд(е) /i= О, J-^ i\g(i, v)\F(i, dv) /i сю для всех i£ iВ, /iи рассматриваем задачу оптимальной остановки цепи iZ, /iопределяемой строго субстохастической матрицей Р и мерами iF(i, /i), с функцией платы iд(-). /iФункцию выигрыша обозначим iV(z) /i= supsubr/sub iE[g(Z/isubiT/i/subi)\Zo /i= z]. Теорема. iСуществует такой вектор с* = /i(с*,..., cj^), что iоптимальный момент остановки /iг* - iэто момент первого попадания в множество {е} /iи Я*, iгде R* /i= i{z = (г,у) : г В, у /i6 Я*}, Я* = i{у : д(г,у) /i^ ct}. iПри этом V(z) /i= ig(z) если z /i6 iR*, V(i,y] /i= с* ig(i,y) если z = (г, у) £ R*, и /iс* iудовлетворяет соотношению /iс* = £sub;/sub-sub6В/subр*sub;/sub- /я- i9(],/isupiv/i/supi}f\J,dv}, где матрица Р' = (р*/isubi}/i;/sub, ii,j /i6 В) iопределяется равенством /iР* = i'[I + PF(R*} - Р}~/isupi1/i/supi Р, /iГ(Д*) = i(бцР(], /iД*), ii,j /iе iВ), и F(j,R*)p*- = /iP{t/subr/sub» = ij\Uo = i] определяет распределение первой координаты в момент т* первого попадания цепи Z в множество {е} /iU iR*./i Доказательство использует алгоритм исключения состояний, суть которого в данном контексте состоит в последовательном применении приводимой ниже леммы и двух следствий из нее. Рассмотрим сужение переходного оператора iТ /iнашей цепи на множество функций, заданных на iВ /i® R, которые можно рассматривать как вектор-функции if(y) = /i(/(1,2/). i if(/isupim/i/supi^y)) /iзаданные на R. На множестве таких функций определим опера- 716 iIX Всероссийский симпозиум по прикладной и промышленной математике/i тор iС. /iформулой iCf(i, у) = /i/д /(«', iv)F(i, dv), (i, у) /i6 BigiR. Из определения оператора iТ /iдля рассматриваемого случая вытекает, что оператор iТ /iпереводит любую вектор-функцию в вектор-функцию, координаты которой равны константам и iTf = PCf. /iПоэтому в дальнейшем мы будем говорить, что марковская цепь iZ /iопределяется строго субстохастической матрицей iР /iи оператором £. Для любого iС = {(},у) /i: J i£ В, у /i6 iС,}, /iгде iCj (j /i6 iВ) /iесть некоторые (возможно, пустые) множества из R, наряду с операторами iТ /iи iС. /iбудем рассматривать также операторы iТс /iи iСс, /iопределяемые равенствами iTcf /i= iTic ft £-cf - £-Ic f\ /iгде iIc /i- оператор умножения на характеристическую функцию множества С, и обозначим iF(C) /iдиагональную матрицу (5;sub;/sub- F(j, С,), t, ij /i6 iВ). /iОбозначим iС /iдополнение множества iС, /iт. е. iС - (В /i® R) \ iС./i Пусть задано некоторое iR - {(j, у) : jЕ В, у /ig iR/isubi}/i/subi,}. /iПусть ito - /i0 и пусть iг/isubiп/i/subi /i О (п ^ 1) - моменты последовательного попадания цепи iZ /iв множество i{е} /iU iR /i(если zq = iz /iи iz /i6 {е} U А, то iг\ /i- это момент первого возвращения). Так как iР /iстрого субстохастична, то iР/isubi2/i/subi{т/isubiп/i/subi /i°о} - 1 для любого iz £ X./i Рассмотрим марковскую цепь iZ/isupi1/i/supi = (Z'/isubin/i/subi)/isubin/i/subi^/isubi0/i/subi, /iгде iZ'/isubin/i/subi = (U'/isubin/i/subi,Y^}, U'/isubin/i/subi = U/isubiTn/i/subi, Y^ /i-Уsubг/sub„, n ^ 0. Если iZo = z, /iто для любого iz £ X /iпри in /i^ 1 значения iZ'/isubin/i/subi /iпринадлежат i{e}UR. /iОбозначим iТ/isupi1/i/supi /iпереходной оператор цепи iZ', a. I /i- тождественный оператор, т.е. / = /subB(8R/sub. Лемма. iЕсли /i/(е) = 0, iто справедливы соотношения/i оо supiT/i/supi'f = /iЕ iT^xf /i= (sup7/sup - i^яГ'Тн/, T'f = Tf + (I- Р-^Г'Т^Т/ - f)./i 1 = 0 Следствие 1. iМарковская цепь Z' определяется строго субстохастической матрицей Р' и оператором £.', где n£'f(i,y) = (F(i, /iД;))"sup1/sup /subд/sub if(i,v)F(i,dv), если F(i,Ri)*0, £'f(i,y) = £f_(i,y), если F(i, /iД,-) = О, iР/isupi1/i/supi = [I - РТ(К)]~/isupi1/i/supi РГ(Щ./i Следствие 2. iЕсли R /iС i{z : Т/(г) f(z)}, mo T'f(2) /i^ iTf(z) для любого /i2 6 BgiR. Работа выполнена при частичной поддержке РФФИ, проект 07-01-00541.