演習問題1

1.1 [対称差]

$A\Delta B:= (A\cup B)\setminus(A\cap B)=(A\setminus B)\cap(B\setminus A)$である. まず,

$$(A\Delta B) \cap (B\Delta C) \supseteq A\Delta C$$

となることを示す. このためには, 任意の$x \in A\Delta C$に対し, $x \in (A\Delta B) \cap (B\Delta C)$となることが示せればよいが, これは,

\begin{align*} x \in A\Delta C\Leftrightarrow& (x \in A\setminus C) \lor (x \in C\setminus A)\\ \Leftrightarrow& ((x \in A\setminus C \land x \in B) \lor (x \in A\setminus C \land x \in B^c))\\ &\lor ((x \in C\setminus A \land x \in B) \lor (x \in C\setminus A \land x \in B^c))\\ \Rightarrow& (x \in B\setminus C \lor x \in A\setminus B) \lor (x \in B\setminus A \lor x \in C\setminus B)\ \ \ (\because x \in B^c \Leftrightarrow x \notin B)\\ \Leftrightarrow& (x \in A\setminus B \lor x \in B\setminus A) \lor (x \in B\setminus C \lor x \in C\setminus B)\ \ \ (\because 順序を交換)\\ \Leftrightarrow& (x \in A\Delta B) \lor (x \in B\Delta C) \end{align*} により成り立つ(ただし$\land$はand, $\lor$はorを意味する). したがって, \begin{align*} d(A, B) + d(B, C) &= P(A\Delta B) + P(B\Delta C)\\ &\geq P((A\Delta B) \cap (B\Delta C))\ \ \ (\because P(A\cup B)=P(A)+P(B)-P(A\cap B)\geq0)\\ &\geq P(A\Delta C)\ \ \ (\because A\subset B\Rightarrow P(A)\leq P(B))\\ &=d(A, C) \end{align*}

が成り立つ.

[(別解)]
普遍集合$U$における集合Aの特性関数(characteristic function)または定義関数(defining function)とは, \begin{align*} \begin{cases} \chi_A(X)=1\ (X\in A)\\ \chi_A(X)=0\ (X\in A^c)  \end{cases} \end{align*} で定義される. すなわち, 元Xが集合Aに属するときには1を返し, 元Xが集合Aに属さないときには0を返す という規則で定められた$U$から集合$\{0,1\}$への写像または関数$\chi_A$のことである. ここで, 事象Aに対してAの特性関数(定義関数)を$\chi_A$とすると, $$P(A)=E[\chi_A]$$ であり, \begin{align*} |\chi_A - \chi_B|= \begin{cases} |1-0|=1\ (X\in A\setminus B)\\ |0-1|=1\ (X\in B\setminus A) \\ |1-1|=0\ (X\in (A\cap B))\\ |0-0|=0\ (X\in (A\cup B)^c) \end{cases} \end{align*} より, \begin{align*} \chi_{(A\Delta B)}=|\chi_A - \chi_B| \end{align*} が成り立つ. ゆえに三角不等式から, \begin{align*} d(A,C)&=P(A\Delta C)\\ &=E[\chi_{(A\Delta C)}]\\ &=E[|\chi_A-\chi_C|]\\ &=E[|\chi_A-\chi_B+\chi_B-\chi_C|]\\ &\leq E[|\chi_A-\chi_B|+|\chi_B-\chi_C|]\\ &=E[|\chi_A-\chi_B|]+E[|\chi_B-\chi_C|]\\ &=E[\chi_{(A\Delta B)}]+E[\chi_{(B\Delta C)}]\\ &=P(A\Delta B)+P(B\Delta C)=d(A,B)+d(B,C) \end{align*} が成り立つ.

1.2

$P(A)>0$であるので, \begin{align*} P(B|A)=\frac{P(A\cap B)}{P(A)}&=\frac{P(A)+P(B)-P(A\cup B)}{P(A)}\\ &=1-\frac{P(A\cup B)-P(B)}{P(A)}\\ &\geq1-\frac{1-P(B)}{P(A)}\ \ \ (\because\ P(A\cup B)\leq1)\\ &=1-\frac{P(B^c)}{P(A)}\ \ \ (\because\ P(B^c)=1-P(B)) \end{align*} が成り立つ.

1.3

(1)

\begin{align*} P(A|B)+P(A^c|B^c)&=\frac{P(A\cap B)}{P(B)}+\frac{P(A^c\cap B^c)}{P(B^c)}\\ &=\frac{P(A\cap B)}{P(B)}+\frac{P[(A\cup B)^c]}{P(B^c)}\ \ \ (\because\ {\rm De\ Morgan}の法則)\\ &=\frac{P(A\cap B)}{P(B)}+\frac{1-P(A\cup B)}{1-P(B)}\\ &=\frac{P(A\cap B)}{P(B)}+\frac{1-[P(A)+P(B)-P(A\cap B)]}{1-P(B)}\\ &=\frac{P(A\cap B)[1-P(B)]+P(B)\left(1-[P(A)+P(B)-P(A\cap B)]\right)}{P(B)[1-P(B)]}\\ &=\frac{P(A\cap B)+P(B)-P(A)P(B)-[P(B)]^2}{P(B)[1-P(B)]} \end{align*} となるので, $P(A|B)+P(A^c|B^c)=1$が成り立つとき \begin{align*} P(A\cap B)+P(B)-P(A)P(B)-[P(B)]^2&=P(B)[1-P(B)]\\ \therefore\ \ \ P(A\cap B)&=P(A)P(B) \end{align*}

となる. よって$P(A|B)+P(A^c|B^c)=1$が成り立つのは$P(A\cap B)=P(A)P(B)$のとき,つまり$A, B$が独立のときである.

(2)

\begin{align*} P(A|B)&=P(A|B^c)\\ \frac{P(A\cap B)}{P(B)}&=\frac{P(A\cap B^c)}{P(B^c)}\\ P(A\cap B)P(B^c)&=P(A\cap B^c)P(B)\\ P(A\cap B)(1-P(B))&=P(A\cap B^c)P(B) \end{align*} が成り立つので, \begin{align*} P(A\cap B)&=(P(A\cap B)+P(A\cap B^c))P(B)\\ &=P((A\cap B)\cup (A\cap B^c))P(B)\ \ \ (\because\ A\cap B\ と A\cap B^c は排反)\\ &=P(A\cap (B\cup B^c))P(B)\ \ \ (\because\ 分配法則)\\ &=P(A)P(B) \end{align*} となる. よって$P(A|B)=P(A|B^c)$が成り立つのは$P(A\cap B)=P(A)P(B)$のとき, つまり$A, B$が独立のときである.

1.4

A,Bが互いに独立である, とは $$P(A\cap B) = P(A)P(B)$$ が成り立つことである. \begin{align*} P(A^c\cap B^c)&=P[(A\cup B)^c]\ \ \ (\because\ {\rm De\ Morgan}の法則)\\ &=1-P(A\cup B)\\ &=1-[P(A)+P(B)-P(A\cap B)]\\ &=1-P(A)-P(B)+P(A)P(B)\ \ \ (\because\ A, B独立より, P(A\cap B)=P(A)P(B))\\ &=[1-P(A)][1-P(B)]\\ &=P(A^c)P(B^c) \end{align*} したがって, 余事象$A^c,B^c$は互いに独立である.

1.5

ジョーカーを除いたすべてのカードの選び方は$_{52}\mathrm{C}_{4}$通り. スペードとハートを1枚ずつ含むカードの選び方は$_{13}\mathrm{C}_{1}\times_{13}\mathrm{C}_{1}\times_{26}\mathrm{C}_{2}$通り. よって求める確率は, $$\frac{_{13}\mathrm{C}_{1}\times_{13}\mathrm{C}_{1}\times_{26}\mathrm{C}_{2}}{_{52}\mathrm{C}_{4}}=\frac{13\times13\times\dfrac{26\times25}{2\times1}}{\dfrac{52\times51\times50\times49}{4\times3\times2\times1}}=\frac{{13}^2}{17\times49}\simeq0.203$$ である.

1.6 [条件付き確率]

事象$A, B$を $$ \begin{cases} A\ :&U_1から1個取り出した球が黒球\\ B\ :&U_2から1個取り出した球が黒球 \end{cases} $$ とする. ここで, \begin{align*} P(B)&=\underbrace{\frac{2}{10}\times\frac{6}{11}}_{A \cap B}+\underbrace{\frac{2}{10}\times\frac{6}{11}}_{A^c \cap B}=\frac{52}{10\times11}\\ P(A \cap B)&=\frac{2}{10}\times\frac{6}{11}=\frac{12}{10\times11} \end{align*} となるので, 事象$B$の下での$A$の条件付き確率は $$P(A|B)=\frac{P(A \cap B)}{P(B)}=\frac{\dfrac{12}{10\times11}}{\dfrac{52}{10\times11}}=\frac{3}{13}\simeq0.231$$ である.

1.7 [ポリアの壺]

$n$回目の抽出において白玉を取り出す確率を$P_n$とすると, $$P_n=\frac{w}{w+b}$$ であることを帰納法で示す.
(i) $n=1$ のときは自明.
(ii) $n=k$ のときに $P_k=\dfrac{w}{w+b}$ となると仮定する. 次に$k+1$回目に白玉が出る確率 $P_{k+1}$ を求める.
[1回目に白玉が出る場合]
確率は $\dfrac{w}{w+b}$ である. $w+d$ 個の白玉と $b$ 個の黒玉となり, 残り $k$ 回の試行をするので, $k+1$ 回目に白玉が出る確率は $\dfrac{w}{w+b}\times \dfrac{w+d}{w+d+b}\ \ \ \cdots(1.7.1)$
[1回目に黒玉が出る場合]
確率は $\dfrac{b}{w+b}$ である. $w$個の白玉と $b+d$ 個の黒玉となり, 残り $k$ 回の試行をするので, $k+1$ 回目に白玉が出る確率は $\dfrac{b}{w+b}\times \dfrac{w}{w+b+d}\ \ \ \cdots(1.7.2)$
よって, (1.7.1), (1.7.2)式を足し合わせると, $P_{k+1}=\dfrac{w}{w+b}$ が成り立つ. (i),(ii)より, $P_n$は$n$によらず, $P_n=\dfrac{w}{w+b}$である.

1.8 [2元対称通信路 (Binary symmetric channel: BSC)]

(1) 受信確率は, \begin{align*} P(R=0)&=P(S=0\cap R=0)+P(S=1\cap R=0)\\ &=P(S=0)P(R=0|S=0)+P(S=1)P(R=0|S=1)\\ &=p(1-\varepsilon)+(1-p)\varepsilon=p+\varepsilon-2p\varepsilon\\ P(R=1)&=P(S=1\cap R=1)+P(S=0\cap R=1)\\ &=P(S=1)P(R=1|S=1)+P(S=0)P(R=1|S=0)\\ &=(1-p)(1-\varepsilon)+p\varepsilon=1-p-\varepsilon+2p\varepsilon \end{align*} となる.

(2) 受信$R=1$のとき, 送信が$S=1$である事後確率は, \begin{align*} P(S=1|R=1)&=\frac{P(S=1\cap R=1)}{P(R=1)}\\ &=\frac{P(S=1)P(R=1|S=1)}{P(S=1)P(R=1|S=1)+P(S=0)P(R=1|S=0)}\\ &=\frac{(1-p)(1-\varepsilon)}{(1-p)(1-\varepsilon)+p\varepsilon}=\frac{1-p-\varepsilon+p\varepsilon}{1-p-\varepsilon+2p\varepsilon} \end{align*} となる.

(3) $p=0.4,\ \varepsilon=0.05$のとき, $p\varepsilon=0.02$より, \begin{align*} P(R=0)&=p+\varepsilon-2p\varepsilon=0.4+0.05-2\times0.02=0.41\\ P(R=1)&=1-p-\varepsilon+2p\varepsilon=1-0.4-0.05+2\times0.02=0.59\\ P(S=1|R=1)&=\frac{1-p-\varepsilon+p\varepsilon}{1-p-\varepsilon+2p\varepsilon}=\frac{0.57}{0.59}\simeq0.966 \end{align*} となる.