例によって沖本本を参照し、自己回帰過程を紹介します。
自己回帰(AR)過程(autoregressive process)は、過程が自分の過去に回帰された形で表現される過程です。
p次AR過程(AR(p)過程)は、次で定義されます。
$$
y_t = c + \phi_1y_{t-1} + \phi_2y_{t-2} + \cdots + \phi_py_{t-p} + \varepsilon_t ,\ \
\varepsilon_t \sim W.N.(\sigma^2)
$$
要するに$y_t$を過去p期間の値に回帰したモデルです。
AR(p)過程は常に定常になるとは限りません。
AR(p)過程が定常になるかどうかは次の方法で確認することができます。
まず、次の変数zの方程式を考えます。 ($\phi_t$は上の定義で登場した係数)
$$
1-\phi_1z-\phi_2z^2-\cdots-\phi_pz^p = 0
$$
これはAR特性方程式とよばれます。また、左辺の多項式はAR多項式と呼ばれるそうです。
この方程式の全ての解の絶対値が1より大きい時、AR過程は定常になります。
AR過程が定常な場合、下記の性質が成り立ちます。
(改めてですが、AR過程は定常でないこともあるので注意です。)
$$
\begin{eqnarray}
\mu & = E(y_t) = \frac{c}{1-\phi_1-\phi_2-\cdots-\phi_p}\\
\gamma_0 & = Var(y_t) = \frac{\sigma^2}{1-\phi_1\rho_1-\phi_2\rho_2-\cdots-\phi_p\rho_p}\\
\gamma_k & = \phi_1\gamma_{k-1}+\phi_2\gamma_{k-2}+\cdots+\phi_p\gamma_{k-p}, k\geq1\\
\rho_k & = \phi_1\rho_{k-1}+\phi_2\rho_{k-2}+\cdots+\phi_p\rho_{k-p}, k\geq1
\end{eqnarray}
$$
そして、AR過程の自己相関は指数的に減衰します。