Глава 5: Инвариантные меры

\[\newcommand{\st}{\, : \:} \newcommand{\ind}[1]{\mathbf{1}_{#1}} \newcommand{\dd}{\mathrm{d}}\]

Инвариантные меры (стационарные распределения)

Инвариантные меры играют центральную роль в понимании поведения цепей Маркова на больших временах. Более того, стандартной мотивацией для изучения цепей Маркова является исследование их инвариантных мер или получение выборки из них.

Определение 1 (Инвариантная мера) Положительная мера $m$ на счётном пространстве $S$ называется инвариантной, если \[ m_x = \sum_y m_y p_{y,x}, \qquad x\in S \tag{1}\]

Если $m \in \mathcal{P}(S)$ является вероятностью, мы говорим, что это инвариантная вероятность или стационарное распределение для цепи Маркова.

Для инвариантных вероятностей, чтобы понять инвариантность, лучше использовать оператор $P$ и его интерпретацию через марковский процесс. Действительно, следующее замечание непосредственно следует из определения $P$ (который, однако, определён на вероятностях, а не на произвольных мерах).

Примечание. Пусть $m\in \mathcal{P}(S)$ — вероятность на $S$. Следующие утверждения эквивалентны:

$m$ инвариантна.
$mP=m$.
Для каждой функции $f\in \mathcal{B}(S)$, $\mathbb{E}_m[f(X_t)]= \mathbb{E}_m[f(X_0)]$ для всех $t\ge 0$.
Для каждого $t\ge 0$, $\mathbf{Y}:= \theta_t \mathbf{X}$ является цепью Маркова с начальным распределением $m$, где $\theta_t$ — сдвиг по времени.

Это замечание (которое легко доказывается) проясняет смысл инвариантности: если $\mathbf{X}$ имеет начальное распределение $m$, то $X_t$ имеет распределение $m$ для всех $t\ge 0$.

Пример 1 Для $n\ge 2$, возьмём $S= \mathbb{Z}_n = \{0,1,\ldots,n-1\}$ и рассмотрим вероятности перехода, соответствующие прыжку по часовой стрелке с вероятностью $p$ и против часовой стрелки с вероятностью $1-p$, а именно \[ p_{x,y}= \begin{cases} p & \text{если $y=x+1 \pmod n$} \\ 1-p & \text{если $y=x-1 \pmod n$} \\ 0 & \text{иначе} \end{cases} \] Тогда $m_x=1/n$ является инвариантной вероятностью, так как $1/n= p/n + (1-p)/n$.

Пример 2 На $S=\mathbb{Z}$ рассмотрим асимметричное простое случайное блуждание, характеризующееся вероятностями перехода \[ p_{x,y}= \begin{cases} p & \text{если $y=x+1$} \\ 1-p & \text{если $y=x-1$} \\ 0 & \text{иначе} \end{cases} \] Уравнение для инвариантной меры принимает вид \[ m_x= p m_{x-1}+(1-p)m_{x+1} \] Таким образом, мы имеем:

Если $p=0$ или $p=1$, то $m_x=1$ является единственной инвариантной мерой с точностью до мультипликативной константы.
При $p=1/2$ все решения имеют вид $m_x=c_1 + c_2 x$. Однако, так как мы ищем положительные меры $m_x\ge 0$, необходимо, чтобы $c_2=0$. Следовательно, в этом случае у нас есть единственная инвариантная мера $m_x=1$ с точностью до мультипликативной константы.
При $p \in (0,1)$, $p\neq 1/2$, все меры $m_x= c_1 +c_2 (p/1-p)^x$ являются инвариантными при $c_1,c_2\ge 0$.

Инвариантные меры и возвратность

Определение 2 Мера возвращения, основанная в $x\in S$, — это мера (рассматриваемая как мера по $y$) \[ \mu^x_y:= \mathbb{E}_x\left[\sum_{t=0}^{\tau^+_x-1} \mathbf{1}_{y}(X_t) \right] \in [0,\infty] \tag{2}\] а именно, $\mu^x_y$ считает среднее число посещений $y$ до возвращения в $x$ (или за всё время, если возвращение в $x$ никогда не происходит).

Теорема 1 Зафиксируем $x\in S$. Рассмотрим систему для неизвестной переменной $\mu \equiv (\mu_y)_{y\in S}$. \[ \begin{cases} \mu_x= 1 & \\ \mu P \le \mu & \text{что означает $\sum_z \mu_z P_{z,y} \le \mu_y$} \end{cases} \tag{3}\] Тогда:

Мера возвращения $\mu^x$, основанная в $x$, является минимальным положительным решением Уравнение 3, иными словами, минимальной мерой, решающей её.
Если $x$ возвратно, $\mu^x$ решает Уравнение 3 с равенством, т.е. $\mu^x$ инвариантна.
Если цепь Маркова возвратна и неприводима, то существует единственная инвариантная мера $\mu$ с точностью до мультипликативной константы, и более того, $\mu_y \in (0,\infty)$ для всех $y$. В частности, $\mu^{x'}_{\cdot}= \mu_x^{x'} \mu^{x}_{\cdot}$.

Доказательство. Для $x,y\in S$ мы имеем \[ \sum_{t=1}^{\tau^+_x} \mathbf{1}_{y}(X_t) =- \mathbf{1}_{x=y} + \mathbf{1}_{\tau_x^+<\infty, x=y} + \sum_{t=0}^{\tau^+_x-1} \mathbf{1}_{y}(X_t) \le \sum_{t=0}^{\tau^+_x-1} \mathbf{1}_{y}(X_t) \tag{4}\] Другими словами, неравенство между левой и правой частями является равенством п.н., если только не $x=y$ и $\tau_x^+=+\infty$ (во всех остальных случаях мы либо добавили и убрали $0$, либо добавили и убрали $1$).

Очевидно, что $\mu^x_x=1$ по определению. С другой стороны, согласно Уравнение 4

\[ \begin{aligned} \mu^x_y & \ge \mathbb{E}_x \left[ \sum_{t=1}^{\tau^+_x} \mathbf{1}_{y}(X_t) \right] = \mathbb{E}_x\left[\sum_{s=1}^\infty \sum_{t=1}^{\tau^+_x} \mathbf{1}_{y}(X_t) \mathbf{1}_{\tau_x^+=s }\right] = \mathbb{E}_x\left[\sum_{t=1}^\infty\mathbf{1}_{y}(X_t) \mathbf{1}_{\tau_x^+ \ge t}\right] \\ & =\sum_{t=1}^\infty \sum_{z\in S} \mathbb{P}_x\left(\tau_x^+> t-1, X_{t-1}=z, X_t=y \right) \end{aligned} \] Поскольку $\tau_x^+$ — это момент остановки, событие $\{\tau_x^+> t-1\}$ определяется через $(X_1,\ldots,X_{t-1})$ (а именно, $\mathbf{1}_{\{\tau_x^+> t-1\}}$ является измеримой функцией от $(X_1,\ldots,X_{t-1})$). Таким образом, мы можем применить марковское свойство, чтобы получить \[ \begin{aligned} \mu^x_y & \ge \sum_{t=1}^\infty \sum_{z\in S} p_{z,y} \mathbb{P}_x\left(\tau_x^+> t-1, X_{t-1}=z\right) = \sum_{z\in S} \sum_{t=0}^\infty p_{z,y} \mathbb{E}_x\left[\mathbf{1}_{\tau_x^+> t} \mathbf{1}_{z}(X_t)\right] = \sum_{z\in S} \mu^x_z p_{z,y}= (P\mu^x)_y \end{aligned} \] Это доказывает, что $\mu^x$ решает Уравнение 3. Минимальность легко следует из итерации неравенства: для любого $\mu$, являющегося решением Уравнение 3, и $y\neq x$ \[ \begin{aligned} \mu_y & \ge (\mu P)_y = p_{x,y} + \sum_{z_1\neq x} \mu_{z_1} p_{z_1,y} \ge p_{x,y}+ \sum_{z_1\neq x} p_{x,z_1}+ \sum_{z_1,z_2 \neq x} \mu_{z_2} p_{z_2,z_1} p_{z_1,y} \ge \ldots \\ & \sum_{t=1}^T\mathbb{P}_x(X_t=y, \tau_x^+\ge t) + \sum_{z_1,\ldots,z_T \neq x} \mu_{z_T} p_{z_T,z_{T-1}}\cdots p_{z_2,z_1} \end{aligned} \] Отбрасывая последний (неотрицательный) член при $T\to \infty$, мы получаем $\mu \ge \mu^x$.
Если $x$ возвратно, то Уравнение 4 является равенством $\mathbb{P}_x$-п.н., и, следовательно, в предыдущем рассуждении все неравенства становятся равенствами.
Предполагая возвратность и неприводимость, пусть $\mu$ — инвариантная мера. В силу неприводимости для каждых $x,y\in S$ существует $t$ такое, что $p^{(t)}_{x,y}>0$, следовательно \[ \mu_y= \sum_z \mu_z p^{(t)}_{z,y} \ge p^{(t)}_{x,y} \mu_x \tag{5}\] откуда следует, что $\mu_y \in (0,\infty)$ для всех $x,y \in S$, если только есть хотя бы одна точка с таким свойством. Зафиксируем теперь $x\in S$, возьмём $\mu:=\mu^x$ и пусть теперь $\mu'$ — инвариантная мера такая, что $\mu_x=1$ (это фиксирует мультипликативную константу). В силу минимальности $\mu$, мы имеем $\lambda=\mu'-\mu \ge 0$, и $\lambda P^t=\lambda$, но $\lambda_x=0$. Тогда, рассуждая как в Уравнение 5, мы получаем $\lambda_y=0$ для всех $y\in S$.

Определение 3 Точка $x\in S$ называется положительно возвратной, если $\mathbb{E}_x[\tau_x^+]<\infty$. В частности, такой $x$ является возвратным.

Точка $x\in S$ называется нуль-возвратной, если она возвратна и $\mathbb{E}_x[\tau_x^+]=\infty$.

Теорема 2 Для неприводимой цепи Маркова следующие утверждения эквивалентны:

Каждое состояние $x\in S$ является положительно возвратным.
Существует положительно возвратное состояние $x\in S$.
Существует (необходимо единственная) инвариантная вероятностная мера $m\in \mathcal{P}(S)$.

Если выполняется любое из этих условий, то $m_x= 1/\mathbb{E}_x[\tau_x^+]$. В частности \[ \sum_{x\in S}\frac{1}{\mathbb{E}_x[\tau_x^+]}=1 \]

Доказательство.

a. $\implies$ b., тривиально.
b. $\implies$ c., мы знаем, что $\mu^x$ инвариантна и конечна в каждой точке, из пункта (b) теоремы Теорема 1. Заметим, что \[ \sum_y \mu^x_y= \mathbb{E}_x\left[\sum_{t=0}^{\tau^+_x-1} \sum_{y\in S} \mathbf{1}_{y}(X_t) \right] =\mathbb{E}_x\left[\tau^+_x\right]<\infty \tag{6}\] по предположению. Значит, $m=\mu^x/{E}_x\left[\tau^+_x\right]$ является единственной инвариантной вероятностной мерой.
c. $\implies$ a. Пусть $m$ — инвариантная вероятность, тогда $\mu:=m/m_x$ удовлетворяет Уравнение 3, и, следовательно, $\mu^x$ (как определено в Уравнение 2 и являясь минимальным решением Уравнение 3), удовлетворяет $\mu_y\ge \mu^x_y$ для всех $y\in S$. Поэтому в силу Уравнение 6 \[ 1= \sum_y m_y \ge m_x \sum_y \mu^x_y= m_x \mathbb{E}_x\left[\tau^+_x\right] \] что влечёт положительную возвратность $x$, а также явную формулу для $m_x$.

Пример 3 Предположим, что мы тасуем колоду из $N$ карт, повторяя некоторое случайное действие тасования снова и снова. Предположим, что:

Это метод полного перемешивания, означающий, что за конечное число итераций тасования мы можем получить любой порядок карт (например, мы не просто меняем местами первую и вторую карту).
Мы не видим карты, когда перемешиваем их (то есть вероятность выполнения данного тасования не зависит от порядка карт).

Допустим, мы начинаем с полностью упорядоченной колоды. Тогда среднее число действий тасования, необходимых для возвращения к исходному порядку, равно $N!$, независимо от разрешённых действий тасования (метода) или точных вероятностей каждого из них. Действительно, порядок карт $X_t$ на каждой итерации является цепью Маркова на пространстве $S$ перестановок $N$ карт. Первая гипотеза утверждает, что эта цепь Маркова неприводима, вторая гипотеза утверждает, что $p_{\sigma\circ x, \sigma \circ y}=p_{x,y}=p_{e,x^{-1}\circ y}$ для каждой перестановки $\sigma$. Таким образом, равномерная мера на $S$ инвариантна, а именно $m_x=1/N!$ является единственной инвариантной вероятностью. Следовательно, $\mathbb{E}_x[\tau_x^+]=N!$ для всех $x\in S$.

Связь между замкнутостью, возвратностью и инвариантными мерами — Рисунок 1

Сходимость к инвариантной мере

Если $X_t$ — неприводимая, положительно возвратная цепь Маркова, можно доказать (как следствие закона больших чисел, применённого к моментам возвращения $\tau_x^+$), что \[ \lim_T \frac{1}{T}\sum_{t=0}^{T-1} f(X_t)= m(f) \tag{7}\] п.н., для любой функции $f\in L^1(m)$. Мы получим уточнения этого утверждения в следующих главах. Здесь мы хотим сосредоточиться на более сильном утверждении: сходится ли закон распределения $X_t$ к $m$ при $t\to \infty$? Заметим, что это, в принципе, другой вопрос по сравнению с Уравнение 7. Возьмём $f=\mathbf{1}_x$ для некоторого фиксированного $x\in S$. Тогда Уравнение 7 утверждает, что число раз, которое цепь проходит через $x$ за первые $T$ шагов, примерно равно $m_x T$. Это верно для любой неприводимой положительно возвратной цепи и вполне интуитивно.

В Уравнение 7 с $f=\mathbf{1}_{x}$, беря математическое ожидание, мы получаем \[ \lim_T \frac{1}{T}\sum_{t=0}^{T-1}\mathbb{P}(X_t=x)= m_x \tag{8}\] Другими словами, среднее по Чезаро (по времени) от $\mathbb{P}(X_t=x)$ сходится к $m_x$. Можно задаться вопросом, сходится ли $\mathbb{P}(X_t=x)$ к $m_x$, а не только её среднее по Чезаро. Иными словами, мы спрашиваем, сходится ли $X_t$ к $m$ по распределению. С одной стороны, этот результат был бы сильнее, чем Уравнение 7, так как он касается прямого предела по $t$ величины $\mathbb{P}(X_t=x)$, или более общо, наблюдаемых вида $\mathbb{E}[f(X_t)]$. С другой стороны, мы делаем утверждение только о распределении $X_t$, а не утверждение п.н., и с другой стороны, ясно, что для обычной цепи цепь $X_t$ будет продолжать случайным образом прыгать и не сойдётся никуда при $t\to \infty$, если только нет замкнутых синглетонов (известных как поглощающие состояния). Так что мы спрашиваем, можем ли мы обменять более слабое стохастическое понятие сходимости (по распределению) на более сильное понятие предела по времени (обычный прямой предел против среднего по Чезаро).

Однако легко видеть, что $\mathbb{P}(X_t=x)\to m_x$ не может быть верным, даже на конечном пространстве состояний, без дополнительных предположений. Действительно, цепь на $Z_{2n}=\{0,1,\ldots,2n\}$, которая на каждом шаге прыгает из $i$ в $i+1 \pmod 2n$ с вероятностью $1$, демонстрирует очевидную периодичность: $X_t-X_0$ чётно, если $t$ чётно, и нечётно, если $t$ нечётно. Поэтому, хотя равномерная мера является единственной инвариантной мерой, $\mathbb{P}_0(X_t=x)$ не будет сходиться (действительно, она будет сходиться к равномерной мере на чётных/нечётных числах, если брать предел по чётным/нечётным временам $t$). Этот феномен периодического ограничения, однако, является единственным, который может препятствовать сходимости, и оправдывает следующее определение.

Определение 4 (апериодичность) Состояние $x$ называется апериодическим, если существует $T$ такое, что $p^{(t)}_{x,x}>0$ для всех $t\ge T$.

Упражнение 1 Пусть $z$ — апериодическое состояние неприводимой цепи Маркова. Докажите, что для всех $x,y\in S$ существует время $T$ такое, что $p^{(t)}_{x,y}>0$ для всех $t\ge T$. В частности, для неприводимой цепи Маркова состояние апериодично тогда и только тогда, когда все состояния апериодичны. В этом случае цепь называется апериодической.

Решение

Существуют $s,s'$ такие, что $p^{(s)}_{x,z}>0$, $p^{(s')}_{z,y}>0$. Тогда \[ p^{(s+t+s')}_{x,y}\ge p^{(s)}_{x,z}p^{(t)}_{z,z}p^{(s')}_{z,y} \] Таким образом, если $p^{(t)}_{z,z}>0$ для $t\ge T_z$, то $p^{(t)}_{x,y}>0$ для всех $t\ge T_z+s+s'$.

Упражнение 2 Определим множество $\Pi_x:=\{t\ge 1 \st p^{(t)}_{x,x}>0 \}$. Периодом состояния $x$ называется наибольший общий делитель $\Pi_x$. Докажите, что для неприводимой цепи Маркова все точки имеют один и тот же период.

Мы готовы доказать, что периодичность действительно является единственным препятствием для сходимости закона $X_t$ к инвариантной вероятности. Доказательство, несмотря на простоту, очень влиятельно и является любимым у многих вероятностников.

Теорема 3 Для неприводимой апериодической цепи Маркова $\mathbf{X}$ с инвариантной вероятностью $m$ (в частности, $\mathbf{X}$ положительно возвратна) выполняется \[ \lim_{t\to \infty} \sup_{x\in S} |\mathbb{P}(X_t=x)-m_x|=0 \]

Доказательство. Пусть $\mathbf{X'}$ — цепь Маркова на том же пространстве состояний, независимая от $\mathbf{X}$ и стартующая с начальным распределением $m$. Заметим, что пара $\mathbf{\xi}:=(\mathbf{X},\mathbf{X'})$ является цепью Маркова на пространстве состояний $\Sigma:=S\times S$ с вероятностями перехода \[ q_{(x,x'),(y,y')}:=p_{x,y}p_{x',y'} \] Из этого определения интуитивно понятно и легко проверить, что \[ q^{(t)}_{(x,x'),(y,y')}:=p^{(t)}_{x,y}p^{(t)}_{x',y'} \tag{9}\]

Цепь Маркова $\mathbf{\xi}$

допускает меру $\mu_{(x,x')}:=m_x m_{x'}$ в качестве инвариантной вероятности.
является неприводимой (для этого нам нужна апериодичность исходной цепи). Действительно, из Уравнение 9 и Упражнение 1, для всех $(x,x'), (y,y')\in \Sigma$, $q^{(t)}_{(x,x'),(y,y')}>0$ для достаточно больших $t$ (так что $\mathbf{\xi}$ на самом деле апериодична, хотя нам здесь нужна только неприводимость).

Следовательно, $\mathbf{\xi}$ положительно возвратна согласно Теорема 2. Пусть $\Delta:=\{(x,x), x\in S\} \subset \Sigma$ — диагональ в $\Sigma$. Тогда \[ \tau:= \inf\{ t\ge 0 \st X_t=X_t' \}= \tau_{\Delta}(\mathbf{\xi}) \] является моментом попадания в $\Delta$ для $\mathbf{\xi}$, и, следовательно, моментом остановки. В частности \[ \mathbb{P}(X_t=x,\tau\le t)= \mathbb{P}(X_t'=x,\tau\le t) \] поскольку обе величины совпадают с $\mathbb{P}(Y_t=x,\tau\le t)$, где $Y_t=X_t \mathbf{1}_{t\le \tau}+ X_t' \mathbf{1}_{t>\tau}$. Следовательно

\[ \left| \mathbb{P}(X_t=x) - m_x \right| = \left| \mathbb{P}(X_t=x) - \mathbb{P}(X_t'=x) \right| = \left| \mathbb{P}(X_t=x,\tau>t) - \mathbb{P}(X_t'=x,\tau>t) \right| \le \mathbb{P}(\tau >t) \] Однако, так как $\mathbf{\xi}$ неприводима и положительно возвратна, $\mathbb{P}(\tau<\infty)=1$, и, таким образом, правая часть стремится к нулю при $t\to \infty$.

Оператор $P$ и инвариантные меры

Утверждение 1 Пусть $m$ — инвариантная мера. Для $q\in [1,\infty]$, оператор $P$ является сжатием в $L^q(m)$. А именно \[ \begin{aligned} & \int |Pf|^q dm \equiv \sum_x |Pf(x)|^q m_x \le \sum_x |f(x)|^q m_x \equiv \int |f|^q dm, \qquad q\in [1,\infty) \\ & \|Pf\|_{L^\infty(m)}\equiv \sup_{x \st m_x>0} |Pf(x)| \le \sup_{x \st m_x>0} |f(x)| \equiv \|f\|_{L^\infty(m)} \end{aligned} \]

Доказательство. Возьмём $q\in(1,\infty)$. По неравенству Йенсена, применённому к функции $u\mapsto |u|^q$, мы имеем \[ |Pf(x)|^q = |\mathbb{E}_x[f(X_1)]|^q \le \mathbb{E}_x[|f(X_1)|^q]= Pg(x) \] где $g(\cdot)=|f(\cdot)|^q$. Если мы просуммируем (проинтегрируем по $m$), мы получим, так как $mP=m$, $m(|Pf|^q) \le m(Pg)= m(g)=m(|f|^q)$. Или более явно \[ \sum_x |Pf(x)|^q m_x \le \sum_x m_x \sum_y p_{x,y} g(y)= \sum_{x,y} m_x p_{x,y} g(y)=\sum_y m_y g(y)= \sum_y m_y |f(y)|^q \] где в последнем равенстве мы использовали инвариантность $\sum_x m_x p_{x,y}=m_y$. Случай с $q=\infty$ является непосредственным следствием того факта, что $|Pf(x)| \le c$, если $|f|\le c$.

Сопряжённый оператор

В частности, полезно рассматривать $P$, действующий на $L^2(m)$. Поскольку $P$ ограничен в $L^2(m)$, оператор $P^\dagger \colon L^2(m)\to L^2(m)$ определяется соотношением \[ m( f \,Pg):= m(g P^\dagger f) \qquad \text{для всех $f,g\in L^2(m)$} \tag{10}\] Непосредственно проверяется, что элементы $P^\dagger$ таковы, что \[ m_x p^\dagger_{x,y}= m_y p_{y,x} \tag{11}\]

Примечание. Если $m$ инвариантна, то $p^\dagger_{x,y}$ как в Уравнение 11 являются вероятностями перехода, а именно $\sum_y p^\dagger_{x,y}=1$.

Обратно, если для некоторой меры $m$, $p^\dagger_{x,y}$ как в Уравнение 11 являются вероятностями перехода, то $m$ инвариантна.

Обратимость

Упражнение 3 Пусть $X_0, X_1,\ldots$ — цепь Маркова на счётном пространстве состояний $S$, с вероятностями перехода $(p_{x,y})_{x,y}$ и инвариантной вероятностью $m$. Предположим, что $X_0$ (и, следовательно, все $X_t$) имеет распределение $m$. Пусть $T\ge 1$, и рассмотрим цепь в обратном времени $Y_0,Y_1,\ldots,Y_T$, определённую как $Y_t=X_{T-t}$. Проверьте, что $(Y_t)_{t\le T}$ является цепью Маркова, и найдите её вероятности перехода.

Определение 5 Мера $m$ называется обратимой для вероятностей перехода $(p_{x,y})$, если для всех $x,y\in S$ \[ m_x p_{x,y}= m_y p_{y,x} \tag{12}\] или, эквивалентно, если $P^\dagger=P$.

Если цепь Маркова допускает единственную инвариантную меру, цепь называется обратимой, если инвариантная мера обратима.

Заметим, что обратимость влечёт инвариантность (просуммируйте по $y$ в Уравнение 12).

Марковские тройки

Определение 6 Марковская тройка — это тройка $(S,P,m)$, где

$S$ — счётное множество.
$P$ — марковский оператор, что означает $Pf(x)=\mathbb{E}_x[f(X_t)]$ для некоторой цепи Маркова $\mathbf{X}$ и для всех ограниченных измеримых $f\colon S\to \mathbb{R}$.
$m$ — $\sigma$-конечная инвариантная мера на $S$, а именно $m(Pf)=m(f)$, для $f\in L^1(S)$.

Определение 7 Измеримое отображение $\phi \colon S \to S'$ называется морфизмом марковских троек $\phi \colon (S, P, m) \to (S', P', m')$, если для всех ограниченных измеримых $f\colon S' \to \mathbb{R}$ \[ P (f\circ \phi) = (P'f)\circ \phi \quad \text{и} \quad m' = m \circ \phi^{-1}. \] В этом случае $(Y_t:=\phi(X_t))_t$ является цепью Маркова с оператором Маркова $P'$ и инвариантной мерой $m'$, если $\mathbf{X}$ — цепь Маркова с оператором перехода $P$ и инвариантной мерой $m$.

Далее, для данной марковской тройки $(S,P,m)$ мы обозначаем ${\langle f,g \rangle}_m:= \sum_x f(x) g(x) m_x$ скалярное произведение в $L^2(m)$.

Определение 8 Пусть $(S,P,m)$ — марковская тройка. Если $f,g \in L^2(m)$, определим форму Дирихле \[ \mathcal{E}(f,g)= {\langle f, (I-P)g \rangle}_m \]

Утверждение 2 Обозначим $P^\dagger$ сопряжённый к $P$ оператор относительно меры $m$ и $P^s:=(P+P^\dagger)/2$, и аналогично $p^s_{x,y}:=(p_{x,y}+p^\dagger_{x,y})/2$, $\mathcal{E}^\dagger(f,g):={\langle f,(I-P^\dagger)g\rangle}_m$, $\mathcal{E}^s(f,g):={\langle f,(I-P^s)g\rangle}_m$. Тогда выполняется

$\mathcal{E}^\dagger(f,g)=\mathcal{E}(g,f)$. В частности, $m$ обратима тогда и только тогда, когда $\mathcal{E}$ симметрична.
$\mathcal{E}(f,f)=\mathcal{E}^s(f,f)=\frac{1}{2} \sum_{x,y\in S} m_x p^s_{x,y} (f(x)-f(y))^2$.
$\mathcal{E}^s(f,g)= \frac{1}{2} \sum_{x,y\in S} m_x p^s_{x,y} (f(x)-f(y))(g(x)-g(y))$.

\[ \mathcal{E}(f,f)= {\langle f, (I-P)g \rangle}_m \]

Доказательство.

Это следует непосредственно из определения $P^\dagger$.
Заметим, что из a. \[ \begin{aligned} \mathcal{E}(f,f) & =\mathcal{E}^\dagger(f,f)=\frac{1}{2} \left(\mathcal{E}(f,f)+\mathcal{E}^\dagger(f,f)\right)=\mathcal{E}^s(f,f) \\ & =\sum_{x,y}\left(m_x p^s_{x,y} (f(x)-f(y))f(x) \right) =\tfrac{1}{2}\sum_{x,y}\left(m_x p^s_{x,y} (f(x)-f(y))f(x) + m_y p^s_{y,x} (f(y)-f(x))f(y) \right) \end{aligned} \] и так как $m_x p^s_{x,y}=m_y p^s_{y,x}$, слагаемые легко перегруппировываются в квадрат, как в утверждении.
Это следует из b. с помощью поляризации, так как $\mathcal{E}^s$ — симметричная билинейная форма.

Определение 9 Инвариантная мера $m$ называется эргодической, если выполняется любое из следующих эквивалентных условий:

Если $Pf=f$ $m$-п.н., то $f$ постоянна $m$-п.н.
Если $\mathcal{E}(f,f)=0$, то $f$ постоянна.

Ещё один взгляд на линейные уравнения

Пусть $(S,P,m)$ — марковская тройка, даны $c \colon S\times S \to \mathbb{R}$ и $g\colon S \to \mathbb{R}$, и пусть $A\subset S$. Мы предполагаем, что $c\ge 0$, чтобы быть уверенными, что все суммы корректно определены. Определим \[ u(x):= \mathbb{E}_x\left[ g(X_{\tau_A}) \ind{\tau_A<\infty}+\sum_{t=1}^{\tau_A} c(X_{t-1},X_t) \right] \in [0,\infty] \] Тогда, обуславливаясь на первый шаг $X_1$, мы получаем, что $u$ удовлетворяет (это действительно минимальное решение, если $c,g\ge 0$) \[ \begin{cases} (I-P)u=f & \text{на $A^c$} \\ u=f & \text{на $A$} \end{cases} \tag{13}\] где \[ \begin{cases} f(x)=\sum_y p_{x,y}c(x,y) & \text{для $x\in A^c$} \\ f(x)=g(x) & \text{для $x\in A$} \end{cases} \]

Примечание. Предположим, что $(S,P,m)$ эргодическая и $A$ не пусто. Уравнение Уравнение 13 допускает не более одного решения в $L^2(m)$. Действительно, пусть $u,v$ — два решения, и положим $w=u-v$. Тогда $w$ удовлетворяет Уравнение 13 с $f\equiv 0$. В частности, $w(x) ((I-P)w)(x)=0$ везде на $S$ (если $x\in A$, то $w(x)=0$, иначе $((I-P)w)(x)=0$). Таким образом, $\mathcal{E}(w,(I-P)w)=0$, и $w$ постоянна в силу эргодичности. Но $w=0$ на $A$, следовательно $w\equiv 0$.

Абстракция

Пусть $S$ — польское пространство, и напомним, что в этом случае вероятности перехода являются измеримыми отображениями $p\colon S \to \mathcal{P}(S)$, что означает, что $p(x,A) = \mathbb{P}(X_1\in A|X_0=x)$ представляет собой вероятность прыжка в $A$ при нахождении в точке $x\in S$. В этом случае мы имеем $P$ обладает следующими тремя свойствами:

$P \mathbf{1}=\mathbf{1}$.
$Pf \ge 0$, если $f\ge 0$.
$Pf_n \to 0$, если $f_n$ — монотонная последовательность, сходящаяся поточечно к $0$.

Нетрудно проверить, что эти свойства характеризуют марковские операторы. Другими словами, если линейный оператор, действующий на ограниченные измеримые функции, удовлетворяет им, то $Pf(x)=\mathbb{E}_x[f(X_1)]$ для некоторой цепи Маркова с вероятностями перехода $p(x,A):= (P \mathbf{1}_A)(x)$.