演習問題7

$p_1+p_2+p_3=1,\ E(X)=p_1+2p_2+3p_3=\dfrac{8}{3}$より, $p_1$を消去すると, $$p_2+2p_3=\frac{5}{3} $$ となる. ここで \begin{align*} \displaystyle H(\boldsymbol{P})=f(p_2, p_3)&=(1-p_2-p_3)\log_2 \frac{1}{1-p_2-p_3}+p_2\log_2 \frac{1}{p_2}+p_3\log_2 \frac{1}{p_3}\\ g(p_2, p_3)&=p_2+2p_3-\frac{5}{3} \end{align*} とし, $g(p_2, p_3)=0$における$f$の最大値を求める. ここで, \begin{align*} L(p_2, p_3, \lambda)&=f(p_2, p_3) -\lambda g(p_2, p_3)\\ &=(1-p_2-p_3)\log_2 \frac{1}{1-p_2-p_3}+p_2\log_2 \frac{1}{p_2}+p_3\log_2 \frac{1}{p_3}-\lambda\left(p_2+2p_3-\frac{5}{3}\right) \end{align*} とする. Lagrangeの未定乗数法より, 極値をとる必要条件は$\mathrm{grad}L(p_2, p_3, \lambda)=\boldsymbol{0}$であるので, \begin{align*} &\mathrm{grad}L(p_2, p_3, \lambda)=\boldsymbol{0}\\ \Leftrightarrow\ & \begin{cases} \log_2 (1-p_2-p_3)-\log_2 p_2=\lambda\\ \log_2 (1-p_2-p_3)-\log_2 p_3=2\lambda\\ p_2+2p_3=\dfrac{5}{3}\\ \end{cases}\\ \Rightarrow\ & \begin{cases} \log_2 (1-p_2-p_3)-2\log_2 p_2+\log_2 p_3=0\\ p_2+2p_3=\dfrac{5}{3}\\ \end{cases} \end{align*} が成り立つ. $p_2$を消去して, \begin{align*} \therefore\ &\log_2 \left[1-\left(\dfrac{5}{3}-2p_3\right)-p_3\right]-2\log_2 \left(\dfrac{5}{3}-2p_3\right)+\log_2 p_3=0\\ &p_3\left(p_3-\frac{2}{3}\right)=\left(p_3-\frac{5}{3}\right)^2\\ &27{p_3}^2-54p_3+25=0\\ &p_3=\frac{27-3\sqrt{6}}{27}=1-\frac{\sqrt{6}}{9}\ \ \ (\because p_3\leq1) \end{align*} となる. これより, $p_2, p_1$は, \begin{align*} p_2&=\dfrac{5}{3}-2p_3=\dfrac{5}{3}-2\left(1-\frac{\sqrt{6}}{9}\right)=\frac{2\sqrt{6}}{9}-\frac{1}{3}\\ p_1&=1-p_2-p_3=1-\left(\frac{2\sqrt{6}}{9}-\frac{1}{3}\right)-\left(1-\frac{\sqrt{6}}{9}\right)=\frac{1}{3}-\frac{\sqrt{6}}{9} \end{align*} よって, エントロピーを最大にする分布$\boldsymbol{P}$は $$\boldsymbol{P}=(p_1, p_2, p_3)=\left(\frac{1}{3}-\frac{\sqrt{6}}{9}, \frac{2\sqrt{6}}{9}-\frac{1}{3}, 1-\frac{\sqrt{6}}{9}\right)$$ であり, このときのエントロピーの最大値$\max H(\boldsymbol{P})$は \begin{align*} \max H(\boldsymbol{P})&=-\left[\left(\frac{1}{3}-\frac{\sqrt{6}}{9}\right)\log_2\left(\frac{1}{3}-\frac{\sqrt{6}}{9}\right)+\left(\frac{2\sqrt{6}}{9}-\frac{1}{3}\right)\log_2\left(\frac{2\sqrt{6}}{9}-\frac{1}{3}\right)+\left(1-\frac{\sqrt{6}}{9}\right)\log_2\left(1-\frac{\sqrt{6}}{9}\right)\right]\\ &=-\frac{1}{9}\left[(3-\sqrt{6})\log_2(3-\sqrt{6})+(2\sqrt{6}-3)\log_2(2\sqrt{6}-3)+(9-\sqrt{6})\log_2(9-\sqrt{6})-9\log_2 9\right]\\ &=-\frac{1}{9}\left[3\log_2 \frac{(3-\sqrt{6}){(9-\sqrt{6})}^3}{(2\sqrt{6}-3)}-\sqrt{6}\log_2 \frac{(3-\sqrt{6})(9-\sqrt{6})}{{(2\sqrt{6}-3)}^2}-9\log_2 9\right]\\ &=-\frac{1}{9}\left[3\log_2 \frac{{(9-\sqrt{6})}^3}{1+\sqrt{6}}-\sqrt{6}\log_2 1-9\log_2 9\right]\\ &=\frac{1}{3}\log_2(1+\sqrt{6})+\log_2 \frac{9}{9-\sqrt{6}} \end{align*} となる.

Lagrangeの未定乗数法を用いる. Lagrangeの未定乗数を$\alpha, \beta$とすると, 最大化すべきなのは次の汎関数である. $$ L(p(x), \alpha, \beta) = -\int_0^\infty dx\ p(x) \log p(x) + \alpha \left(\int_0^\infty dx\ p(x) -1\right)+\beta \left(\int_0^\infty dx\ xp (x) -\lambda^{-1}\right) $$ 極値条件は \begin{align*} \left\{ \renewcommand{\arraystretch}{2.2} \begin{array}{cll} \dfrac{\delta L}{\delta p(x)}&=-\displaystyle \int_0^\infty dx\ \left[\log p(x) +1+ \alpha+\beta x\right]=0&\ \ \ \cdots(7.2.1)\\ \dfrac{\partial L}{\partial \alpha}&=\displaystyle\int_0^\infty dx\ p(x) -1=0&\ \ \ \cdots(7.2.2)\\ \dfrac{\partial L}{\partial \beta}&=\displaystyle\int_0^\infty dx\ xp (x) -\lambda^{-1}=0&\ \ \ \cdots(7.2.3) \end{array} \right. \end{align*} となる（ただし（7.2.1）式は積分の中を$p(x)$で微分（正しくは変分）したものである）. (7.2.1)式が任意の$x$に対して成立する条件は, 被積分関数が0であること, すなわち \begin{align*} &\log p(x) +1+ \alpha+\beta x=0\\ \therefore\ &p(x)=\exp(-1- \alpha-\beta x)\ \ \ \cdots(7.2.4) \end{align*} となる. これより, $p(x)$の関数形が決定したので, 後は$\alpha, \beta$を求めればよい. (7.2.4)式を(7.2.2)式に代入すると, \begin{align*} 1&=\int_0^\infty dx\ \exp(-1- \alpha-\beta x)\\ \exp(-1-\alpha)&=\left[\int_0^\infty dx\ \exp(-\beta x)\right]^{-1} \end{align*} となるので, $p(x)$は$\beta$のみを未定乗数として \begin{align*} p(x)=\frac{\exp(-\beta x)}{\displaystyle\int_0^\infty dx\ \exp(-\beta x)}\ \ \ \cdots(7.2.5) \end{align*} と表せる. この式を(7.2.3)式に代入すると \begin{align*} \frac{\displaystyle\int_0^\infty dx\ x\exp(-\beta x)}{\displaystyle\int_0^\infty dx\ \exp(-\beta x)}=\lambda^{-1}\ \ \ \cdots(7.2.6) \end{align*} となるので, これを$\beta$について解けばよい. この式の左辺は \begin{align*} \frac{\displaystyle\int_0^\infty dx\ x\exp(-\beta x)}{\displaystyle\int_0^\infty dx\ \exp(-\beta x)}=-\dfrac{\partial }{\partial \beta}\log \left[\int_0^\infty dx\ \exp(-\beta x)\right]\ \ \ \cdots(7.2.7) \end{align*} と表せる. \begin{align*} (\because)&\\ &-\dfrac{\partial }{\partial \beta}\log \left[ \int_0^\infty dx\ \exp(-\beta x)\right]=-\frac{\dfrac{\partial }{\partial \beta} \displaystyle \int_0^\infty dx\ \exp(-\beta x)}{\displaystyle\int_0^\infty dx\ \exp(-\beta x)}=-\frac{\displaystyle\int_0^\infty dx\ \dfrac{\partial }{\partial \beta}\exp(-\beta x)}{\displaystyle\int_0^\infty dx\ \exp(-\beta x)}=\frac{\displaystyle\int_0^\infty dx\ x\exp(-\beta x)}{\displaystyle\int_0^\infty dx\ \exp(-\beta x)} \end{align*} また, $$ \int_0^\infty dx\ \exp(-\beta x)=\left[\frac{1}{-\beta}\exp(-\beta x)\right]_0^\infty=\frac{1}{\beta}\ \ \ \cdots(7.2.8) $$ となるので, (7.2.6),(7.2.7),(7.2.8)式より, \begin{align*} \lambda^{-1}&=-\dfrac{\partial }{\partial \beta}\log \left(\frac{1}{\beta}\right)=\dfrac{\partial }{\partial \beta}\log \beta=\frac{1}{\beta}\\ \therefore \beta&=\lambda\ \ \ \cdots(7.2.9) \end{align*} が成り立つ. (7.2.7),(7.2.9)式を(7.2.5)式に代入すると, \begin{align*} p(x)=\frac{\exp(-\beta x)}{\displaystyle\frac{1}{\beta}}=\lambda\exp(-\lambda x) \end{align*} となる. ゆえにエントロピーを最大にする分布は指数分布$E_X(\lambda)$である.
　また, このときのエントロピーは \begin{align*} H(p(x))&=-\int_0^\infty dx\ p(x)\log p(x)\\ &=-\int_0^\infty dx\ p(x)(\log \lambda-\lambda x)\\ &=-\log \lambda\int_0^\infty dx\ p(x)+\lambda \int_0^\infty dx\ xp(x)\\ &=1-\log \lambda\ \ \ \left(\because\ \int_0^\infty dx\ p(x)=1,\ \ \int_0^\infty dx\ xp(x)=\lambda^{-1}\right) \end{align*} である.

Lagrangeの未定乗数法を用いる. Lagrangeの未定乗数を$\lambda$とすると, 最大化すべきなのは次の汎関数である. $$ L(p(x), \lambda) = -\int_a^b dx\ p(x) \log p(x) + \lambda \left(\int_a^b dx\ p(x) -1\right) $$ 極値条件は \begin{align*} \left\{ \renewcommand{\arraystretch}{2.2} \begin{array}{cll} \dfrac{\delta L}{\delta p(x)}&=-\displaystyle \int_a^b dx\ \left[\log p(x) +1+ \lambda\right]=0&\ \ \ \cdots(7.3.1)\\ \dfrac{\partial L}{\partial \lambda}&=\displaystyle\int_a^b dx\ p(x) -1=0&\ \ \ \cdots(7.3.2)\\ \end{array} \right. \end{align*} となる. (7.3.1)式が任意の$x$に対して成立する条件は, 被積分関数が0であること, すなわち \begin{align*} &\log p(x) +1+ \lambda=0\\ \therefore\ &p(x)=\exp(-\lambda-1)\ \ \ \cdots(7.3.3) \end{align*} となる. (7.3.3)式を(7.3.2)式に代入すると, \begin{align*} \int _{a}^{b}dx\ \exp \left( -\lambda -1\right)&=1\\ \left( b-a\right) \exp \left( -\lambda -1\right)&=1\\ \exp \left( -\lambda -1\right)&=\dfrac{1}{b-a}\ \ \ \cdots(7.3.4) \end{align*} となるので, (7.3.4)式を(7.3.3)式に代入すると, \begin{align*} p(x)=\dfrac{1}{b-a} \end{align*} となる. ゆえにエントロピーを最大にする分布は一様分布$U(a,b)$である.

(1)　幾何分布$G(p)$の確率関数は $$f(x|p)=f(x)=p(1-p)^x,\ \ (x=0, 1, 2,\dots)$$ であるので, エントロピーは \begin{align*} H(f(x))&=-\sum_{x=0}^\infty f(x)\log_2 f(x)\\ &=-\sum_{x=0}^\infty f(x)[\log_2 p+x\log_2 (1-p)]\\ &=-\log_2 p\sum_{x=0}^\infty f(x)-\log_2 (1-p)\sum_{x=0}^\infty xf(x)\\ &=-\log_2 p-\log_2 (1-p)\cdot\frac{1-p}{p}\ \ \ \left(\because\ \sum_{x=0}^\infty f(x)=1,\ \ \sum_{x=0}^\infty xf(x)=\frac{1-p}{p}\right)\\ &=-\frac{1}{p}[p\log_2 p+(1-p)\log_2 (1-p)] \end{align*} となる.


(2)　正規分布$N(\mu, \sigma^2)$の確率関数は $$f(x|\mu, \sigma^2)=f(x)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left[-\frac{{(x-\mu)}^2}{2\sigma^2}\right],\ -\infty\lt x\lt\infty$$ であるので, エントロピーは \begin{align*} H(f(x))&=-\int_{-\infty}^\infty dx\ f(x)\log f(x)\\ &=-\int_{-\infty}^\infty dx\ f(x)\left[\log \frac{1}{\sqrt{2\pi\sigma^2}}-\frac{{(x-\mu)}^2}{2\sigma^2}\right]\\ &=\frac{1}{2}\left(\log 2\pi\sigma^2+\frac{\mu^2}{\sigma^2}\right)\int_{-\infty}^\infty dx\ f(x)-\frac{\mu}{\sigma^2}\int_{-\infty}^\infty dx\ xf(x)+\frac{1}{2\sigma^2}\int_{-\infty}^\infty dx\ x^2f(x)\\ &=\frac{1}{2}\left(\log 2\pi\sigma^2+\frac{\mu^2}{\sigma^2}\right)\cdot1-\frac{\mu}{\sigma^2}\cdot\mu+\frac{1}{2\sigma^2}\cdot(\sigma^2+\mu^2)\\ &=\log \sqrt{2\pi}\sigma+\frac{1}{2} \end{align*} となる.