Partie 1 : Une chaîne de Markov à 2 états

Soient $p,q\in \left] 0,1 \right[$. Nous considérons qu'un mobile M se trouve à l'instant $0$ sur le point A et se déplace au cours du temps du point A au point B de la manière suivante. Soit $n$ un entier donné,

• si le mobile se trouve sur le point A à l'instant $n$ :
  • il reste à l'instant $n+1$ en A avec probabilité $1-p$.
  • il se déplace à l'instant $n+1$ en B avec probabilité $p$.
• si le mobile se trouve sur le point B à l'instant $n$ :
  • il reste à l'instant $n+1$ en B avec probabilité $1-q$.
  • il se déplace à l'instant $n+1$ en A avec probabilité $q$.

Nous noterons pour tout entier naturel $n$,

• $x_n $ la probabilité que le mobile soit en $A$ à l'instant $n$.
• $y_n $ la probabilité que le mobile soit en $B$ à l'instant $n$.

et $X_n$ la matrice ligne $X_n=\left(\begin{array}{c}x_n\ , \ y_n\end{array}\right)$.

1. Montrer que pour tout entier naturel $n$, $x_n+y_n=1$.
2. En notant $A$ la matrice $$ A=\begin{pmatrix} 1-p & p \\ q & 1-q \end{pmatrix},$$
montrer que pour tout entier naturel $n$, $X_{n+1}=X_nA$.
3. En déduire que pour tout entier naturel $n$, $X_{n}=\left(\ 1\ , \ 0\ \right)A^n$.

Partie 2 : Une matrice stochastique de taille $2\times 2$

Soient $p,q\in \left] 0,1 \right[$, nous noterons dans cette partie $$ A=\begin{pmatrix} 1-p & p \\ q & 1-q \end{pmatrix}.$$

1. Montrer que $A^2-(2-p-q)A+((1-p)(1-q)-pq)I_2=0$.
2. Nous notons pour tout entier $k$ : $$a_k=\dfrac{1-(1-p-q)^k}{p+q}\text{ et } b_k=(1-p-q)\dfrac{(1-p-q)^{k-1}-1}{p+q}.$$ Montrer que $\forall k\in \mathbb{N}$, $ A^k=a_kA+b_kI_2$.

3. Montrer que la suite de matrices $(A^k)_{k\in \mathbb{N}}$ converge vers la matrice $B= \begin{pmatrix} \alpha & \beta \\ \alpha & \beta \end{pmatrix}$ avec $\alpha=\dfrac{q}{p+q}$ et $\beta=1-\alpha$. (Nous remarquerons que $\forall k\in \mathbb{N}$, $a_k+b_k=1$.)

   Remarque : la convergence se fera coefficient par coefficient.

4. Montrer que $AB=B$ et $B^2=B$.
5. Est-ce que $(A^k)_{k\in \mathbb{N}} $ admet une limite lorsque $p=1$ et $q=1$?

Partie 3 : Interprétation

On conserve les notations des parties précédentes.

1. Montrer que $(x_n)$ converge vers $\alpha$ et $(y_n)$ converge vers $\beta$.
2. Les limites dépendent-elles des valeurs de $x_0$ et $y_0$?
3. Comment peut-on interpréter ce résultat asymptotique?