情報理論
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
] [
リンク元
]
開始行:
[[講義日程-2007年度冬学期]]
** 情報理論 [#k13bd8e9]
-- 担当：山本 博資 教授
-- 1.5単位
--- 物工：限定選択
--- 数理：限定選択B
--- システム：限定選択C
-- 08:30-10:00 工学部六号館 63講義室
-- 出席はとらないが、私語等、授業の邪魔を一切してはいけな...
-- 講義中にはパソコンを一切使用してはいけない。
-- 試験(３時間)で成績評価する。例年２～３割不可るので、や...
-- レジュメは講義当日もしくは翌週の講義で入手できる。それ...
-- レジュメは無断コピー禁止。
--http://ocw.hokudai.ac.jp/Course/Faculty/Engineering/Inf...
---北海道大学のOCW資料。具体例が豊富で参考になる。
----
- 同時分布&mimetex(P(x,y));に対して、~
周辺分布&mimetex(P(x)=\sum_{y\in \chi}P(x,y));：&mimetex(...
条件付き分布&mimetex(P(y|x)=\frac{P(x,y)}{P(x)});：特定の...
- 大数の弱法則：平均と分散の存在する同一の分布に独立に従...
分布の平均に確率収束する。
- ダイバージェンス：二つの確率分布&mimetex(P(x),Q(x));に...
&mimetex(D(P||Q)=\sum_{x\in \chi}P(x)\log\frac{P(x)}{Q(x)...
二つの確率分布の類似性を表す。非負実数。値が0になるのは同...
- エントロピー：確率分布&mimetex(P(x));に対して、&mimetex...
&mimetex(X);のどれかが実現したときに得られる情報量の平均...
- 標準系列：特定の確率分布に従って毎回独立に生成される系...
各文字の出現回数の比率が出現確率に十分近いもの。~
各標準系列の出現確率は&mimetex(2^{-nH(X)});くらい~
標準系列の種類は&mimetex(2^{nH(X)});ほど。~
&mimetex(n);は系列の長さ。&mimetex(H(X));は各文字の出現確...
対数の底は2をとっている。
- 同時エントロピー：&mimetex(H(X,Y)=-\sum_{x,y}P(x,y)\log...
- 条件付きエントロピー：&mimetex(H(Y|X)=-\sum_{x,y}P(x,y)...
条件付きエントロピーのチェインルール：&mimetex(H(X,Y)=H(X...
- 相互情報量：&mimetex(I(X;Y)=H(X)-H(X|Y));、&mimetex(Y);...
- 条件付き相互情報量：&mimetex(I(X;Y|Z)=H(X|Z)-H(X|Y,Z));...
- 相互情報量のチェインルール~
&mimetex(I(X;Y,Z)=I(X;Z)+I(X;Y|Z));~
&mimetex(I(X,Y;Z)=I(X;Z)+I(Y;Z|X));
- 定常情報源~
確率過程が定常であるとは、時刻原点を任意にずらしても~
任意の系列の生起確率が変化しないこと。
- 定常無気力情報源~
確率過程の各ステップが独立に同一の確率分布に従うこと。
- エントロピーレート~
定常な離散時間確率過程について、~
&mimetex(H(X)=\lim_{n\to \infty}H(X_{n}|X_{1},X_{2},\cdot...
それ以前に生起した文字がすべてわかっているときの、次の1文...
----
Presented by yambi. tzik all blame reserved.~
面倒かもしれませんが，ミスは指摘してくださると助かります．
-1. 確率変数&mimetex(X,Y,Z);に対して，
&mimetex(H(X)=5);bits,
&mimetex(H(Z)=3);bits,
&mimetex(H(XY)=6);bits,
&mimetex(H(XZ)=8);bits,
&mimetex(I(X;Y)=3);bits
の関係がある．
--(A) &mimetex(H(Y), H(Y|X), H(X|Y));の値は？
---解~
#mimetex(H(Y)=H(XY)-H(X|Y)=6-2=4);
#mimetex(H(Y|X)=H(XY)-H(X)=6-5=1);
#mimetex(H(X|Y)=H(X)-I(X;Y)=5-3=2);
--(B) &mimetex(X);と&mimetex(Z);，&mimetex(Y);と&mimetex(...
次のどれが成立するか理由をつけて述べよ．
---確率的に独立である．
---確率的に独立でない．
---判定不能．
---解~
&mimetex(H(Z|X)=H(XY)-H(Z)=8-3=5);より，&mimetex(H(X)=H(Z...
&mimetex(X);と&mimetex(Z);は確率的に独立．~
&mimetex(H(YZ));を求める方法がないので&mimetex(Y);と&mime...
--(C) 確率変数&mimetex(X);のアルファベットのサイズは20よ...
---解~
&mimetex(\lg|\mathcal{X}|\ge H(X)=5);より，&mimetex(|\mat...
なので，20より大きい．
-2. アルファベット&mimetex(\mathcal{X}=\{a,b,c\});上の値...
|現状態&mimetex(\backslash);次状態|a|b|c|
|a|0.5|0.5|0|
|b|0.4|0|0.6|
|c|0.4|0.6|0|
--&mimetex(P_{X_t}(a), P_{X_t}(b), P_{X_t}(c));を求めよ．
---解~
状態遷移行列を&mimetex(A);と書くことにする．~
//すると，&mimetex((P_{X_t}(a)\ P_{X_t}(b)\ P_{X_t}(c))=A...
//&mimetex(t\to\infty);とすれば，
&mimetex(A^{\top});の固有値1に対応する固有ベクトルは&mime...
--この情報源のエントロピーレート&mimetex(H(X));を，関数&m...
---解~
#mimetex(\begin{align}H(X)&=P(X_{t-1}(a))H(X_t|X_{t-1}=a)...
-3. 情報源符号化に関して，次の2つの相違を説明すると共に，...
--FV符号とVF符号
---解~
FV符号は入力を固定長で区切って，それぞれに可変長の符号化...
VF符号は入力を可変長で区切って，それぞれに固定長の符号化...
FV符号はビット誤りに対して復号誤り伝搬が生じるが，VF符号...
VF符号は欠点が思いつきにくいが，FV符号は思いつきやすい．
--Huffman符号と算術符号
---解~
ハフマン符号は頻繁に出てくる記号を短いビット列で符号化し...
算術符号は記号列を[0,1]区間の部分集合に対応させるもので，...
算術符号はHaffman符号化より圧縮率が良い．~
算術符号はHaffman符号化より手順がややこしい．~
--エントロピー符号化とユニバーサル符号化~
---解~
エントロピー符号化はデータ系列の確率分布を利用して符号化...
ユニバーサル符号化はデータ系列の確率分布を利用せずに符号...
エントロピー符号化は効率的に圧縮できるがデータの確率分布...
ユニバーサル符号化は効率的に圧縮できないがデータの確率分...
-4. 2つの情報源出力&mimetex(X);と&mimetex(Y);を歪を許して...
--情報源出力&mimetex(X);と&mimetex(Y);が共に2値で，その生...
&mimetex(P_X(0)=1-P_X(1)=0.3,\ P_Y(0)=1-P_Y(1)=0.2);で与...
歪をハミング歪で測るものとして，
&mimetex(X);を平均歪み&mimetex(D_X=0.2);まで許して符号化...
&mimetex(Y);を平均歪み&mimetex(D_Y=0.1);まで許して符号化...
最適な符号化が行える場合，どちらの方がより多くの符号化レ...
---解~
2値情報源におけるハミング歪のレート歪関数は&mimetex(R^*(D...
&mimetex(x=\frac{h(0.3)-h(0.2)}{0.1});，
&mimetex(y=\frac{h(0.2)-h(0.1)}{0.1});とおくと
&mimetex(h(t));は凹関数なので&mimetex(x<y);．~
よって&mimetex(Y);の方がより多くの符号化レートを必要とす...
--情報源出力&mimetex(X);と&mimetex(Y);が，それぞれの分散&...
歪みを2乗誤差歪みで測るものとして，&mimetex(X);を平均歪&m...
---解~
分散&mimetex(\sigma^2);の正規分布における2乗誤差歪の符号...
&mimetex(X);の符号化レートは&mimetex(\frac{1}{2}\lg\frac{...
&mimetex(Y);の符号化レートは&mimetex(\frac{1}{2}\lg\frac{...
なので，&mimetex(X);がより多くの符号化レートを必要とする．
-5. 通信路の入力アルファベット&mimetex(\mathcal{X});と出...
このとき，通信路の遷移確率&mimetex(P(y|x));次のように与え...
それぞれの通信路容量&mimetex(C);を関数&mimetex(h(t)=-t\lo...
|&mimetex(\backslash);|&mimetex(b_1);|&mimetex(b_2);|&mim...
|&mimetex(a_1);|0.8|0.2|0|
|&mimetex(a_2);|0|0.8|0.2|
|&mimetex(a_3);|0.2|0|0.8|
~
---解~
これは一様通信路なので，
#mimetex(C=\lg 3+\sum_{y\in\mathcal{Y}}P(y|x)\lg P(y|x)=\...
~
|&mimetex(\backslash);|&mimetex(b_1);|&mimetex(b_2);|&mim...
|&mimetex(a_1);|0.3|0|0.7|
|&mimetex(a_2);|0|1|0|
|&mimetex(a_3);|0.7|0|0.3|
~
---解~
&mimetex(\mathcal{X_1}=\{a_1,a_3\}, \mathcal{Y_1}=\{b_1,b...
&mimetex(\mathcal{X_2}=\{a_2\}, \mathcal{Y_2}=\{b_2\});か...
の和通信路なので，
#mimetex(C_1=\lg 2+\sum_{y\in\mathcal{Y}}P(y|x)\lg P(y|x)...
#mimetex(C_2=\lg 1+\sum_{y\in\mathcal{Y}}P(y|x)\lg P(y|x)...
より，
#mimetex(C=\lg(2^{C_1}+2^{C_2})=\lg(2*2^{-h(0.3)}+1));
-6. 生成行列&mimetex(G);が次式で与えられるハミング符号が...
&mimetex(G=\begin{pmatrix}1&0&0&0&1&1&1\\0&1&0&0&1&1&0\\0...
--この符号の符号化レート&mimetex(R);を求めよ．
---解~
#mimetex(R=\frac{K}{N}=\frac{4}{7});
--&mimetex(\bold{y}=(1100010));を受信した時，そのシンドロ...
この&mimetex(\bold{y});に誤りが含まれているか否かを定めよ．
誤りがない場合は「誤りなし」と下記，その理由を説明せよ．
また，誤りが含まれている場合は，1ビットの誤りであると仮定...
---解~
#mimetex(H=\begin{pmatrix}1&1&1&0&1&0&0\\1&1&0&1&0&1&0\\1...
より，
#mimetex(\bold{y}H^{\top}=(0\ 1\ 1));
となるので誤りがある．~
また，誤りを1ビットであると仮定すると，4ビット目であるの...
#mimetex(\begin{pmatrix}1&1&0&1&0&1&0\end{pmatrix});
である．
--このハミング符号に対して，誤り訂正は行わないで誤り検出...
何ビットの誤りまで検出可能か？
---解~
2ビットまで．~
3ビットだと2,3,4ビット目などを誤られると検出不能．
-7. 次の各説明が正しいか誤っているかを解答せよ．
ただし，誤っている場合は，その理由を説明せよ．
--エントロピー&mimetex(H(X));，微分エントロピー&mimetex(H...
相互情報量&mimetex(I(X:Y));，相対エントロピー&mimetex(D(P...
などの情報量は全て非負の量である．
---解~
上の4つについては正しい．~
しかしながら作為的な定義をすれば負の値を持つ情報量を定義...
(2010/01/06 読者による訂正) 微分エントロピーは負の値をと...
--FV符号において，長さ2ビットの符号語が1個，長さ3ビットの...
長さ4ビットの符号語が3個，長さ5ビットの符号語が4個の符号...
---解~
クラフトの不等式について
#mimetex(\sum_{x\in\mathcal{X}}2^{-l(x)}=2^{-2}+2^{-3}\ti...
となるので，瞬時符号は存在しない．
--誤り訂正符号における最尤復号法は，常に最小の復号誤り率...
---解~
常にが間違い．符号語が等確率で生起する場合でのみしか最小...
--&mimetex(\{0,1\});を100ビット用いると&mimetex(2^{100});...
しかし，通信路容量&mimetex(C=0.1);を持つ2値対称通信路を通...
誤り訂正するためには&mimetex(2^{100});個全てを符号語とし...
冗長性を持たせてその一部のみ符号語として用いることになる．
通信路容量&mimetex(C);が0.1なので，十分余裕を見て&mimetex...
---解~
符号化レートは
&mimetex(\frac{\lceil\lg 0.001\times 2^{100}\rceil}{100}>...
--雑音電力密度&mimetex(N_0=);(Watt/Hz)を持つ
加法的白色ガウス雑音通信路に対して，時間連続信号波形&mime...
&mimetex(x(t));を用いて最大で&mimetex(1/2W);秒ごとに独立...
したがって，信号電力&mimetex(S);が一定の時，帯域幅&mimete...
大きくすれば送れる情報量が増え，その通信路容量&mimetex(C)...
---解~
#mimetex(C=W\lg\left(1+\frac{S}{N_0W}\right)=\frac{W}{\ln...
と&mimetex(W);を増加させても&mimetex(\frac{S}{\ln 2N_0});...
終了行:
[[講義日程-2007年度冬学期]]
** 情報理論 [#k13bd8e9]
-- 担当：山本 博資 教授
-- 1.5単位
--- 物工：限定選択
--- 数理：限定選択B
--- システム：限定選択C
-- 08:30-10:00 工学部六号館 63講義室
-- 出席はとらないが、私語等、授業の邪魔を一切してはいけな...
-- 講義中にはパソコンを一切使用してはいけない。
-- 試験(３時間)で成績評価する。例年２～３割不可るので、や...
-- レジュメは講義当日もしくは翌週の講義で入手できる。それ...
-- レジュメは無断コピー禁止。
--http://ocw.hokudai.ac.jp/Course/Faculty/Engineering/Inf...
---北海道大学のOCW資料。具体例が豊富で参考になる。
----
- 同時分布&mimetex(P(x,y));に対して、~
周辺分布&mimetex(P(x)=\sum_{y\in \chi}P(x,y));：&mimetex(...
条件付き分布&mimetex(P(y|x)=\frac{P(x,y)}{P(x)});：特定の...
- 大数の弱法則：平均と分散の存在する同一の分布に独立に従...
分布の平均に確率収束する。
- ダイバージェンス：二つの確率分布&mimetex(P(x),Q(x));に...
&mimetex(D(P||Q)=\sum_{x\in \chi}P(x)\log\frac{P(x)}{Q(x)...
二つの確率分布の類似性を表す。非負実数。値が0になるのは同...
- エントロピー：確率分布&mimetex(P(x));に対して、&mimetex...
&mimetex(X);のどれかが実現したときに得られる情報量の平均...
- 標準系列：特定の確率分布に従って毎回独立に生成される系...
各文字の出現回数の比率が出現確率に十分近いもの。~
各標準系列の出現確率は&mimetex(2^{-nH(X)});くらい~
標準系列の種類は&mimetex(2^{nH(X)});ほど。~
&mimetex(n);は系列の長さ。&mimetex(H(X));は各文字の出現確...
対数の底は2をとっている。
- 同時エントロピー：&mimetex(H(X,Y)=-\sum_{x,y}P(x,y)\log...
- 条件付きエントロピー：&mimetex(H(Y|X)=-\sum_{x,y}P(x,y)...
条件付きエントロピーのチェインルール：&mimetex(H(X,Y)=H(X...
- 相互情報量：&mimetex(I(X;Y)=H(X)-H(X|Y));、&mimetex(Y);...
- 条件付き相互情報量：&mimetex(I(X;Y|Z)=H(X|Z)-H(X|Y,Z));...
- 相互情報量のチェインルール~
&mimetex(I(X;Y,Z)=I(X;Z)+I(X;Y|Z));~
&mimetex(I(X,Y;Z)=I(X;Z)+I(Y;Z|X));
- 定常情報源~
確率過程が定常であるとは、時刻原点を任意にずらしても~
任意の系列の生起確率が変化しないこと。
- 定常無気力情報源~
確率過程の各ステップが独立に同一の確率分布に従うこと。
- エントロピーレート~
定常な離散時間確率過程について、~
&mimetex(H(X)=\lim_{n\to \infty}H(X_{n}|X_{1},X_{2},\cdot...
それ以前に生起した文字がすべてわかっているときの、次の1文...
----
Presented by yambi. tzik all blame reserved.~
面倒かもしれませんが，ミスは指摘してくださると助かります．
-1. 確率変数&mimetex(X,Y,Z);に対して，
&mimetex(H(X)=5);bits,
&mimetex(H(Z)=3);bits,
&mimetex(H(XY)=6);bits,
&mimetex(H(XZ)=8);bits,
&mimetex(I(X;Y)=3);bits
の関係がある．
--(A) &mimetex(H(Y), H(Y|X), H(X|Y));の値は？
---解~
#mimetex(H(Y)=H(XY)-H(X|Y)=6-2=4);
#mimetex(H(Y|X)=H(XY)-H(X)=6-5=1);
#mimetex(H(X|Y)=H(X)-I(X;Y)=5-3=2);
--(B) &mimetex(X);と&mimetex(Z);，&mimetex(Y);と&mimetex(...
次のどれが成立するか理由をつけて述べよ．
---確率的に独立である．
---確率的に独立でない．
---判定不能．
---解~
&mimetex(H(Z|X)=H(XY)-H(Z)=8-3=5);より，&mimetex(H(X)=H(Z...
&mimetex(X);と&mimetex(Z);は確率的に独立．~
&mimetex(H(YZ));を求める方法がないので&mimetex(Y);と&mime...
--(C) 確率変数&mimetex(X);のアルファベットのサイズは20よ...
---解~
&mimetex(\lg|\mathcal{X}|\ge H(X)=5);より，&mimetex(|\mat...
なので，20より大きい．
-2. アルファベット&mimetex(\mathcal{X}=\{a,b,c\});上の値...
|現状態&mimetex(\backslash);次状態|a|b|c|
|a|0.5|0.5|0|
|b|0.4|0|0.6|
|c|0.4|0.6|0|
--&mimetex(P_{X_t}(a), P_{X_t}(b), P_{X_t}(c));を求めよ．
---解~
状態遷移行列を&mimetex(A);と書くことにする．~
//すると，&mimetex((P_{X_t}(a)\ P_{X_t}(b)\ P_{X_t}(c))=A...
//&mimetex(t\to\infty);とすれば，
&mimetex(A^{\top});の固有値1に対応する固有ベクトルは&mime...
--この情報源のエントロピーレート&mimetex(H(X));を，関数&m...
---解~
#mimetex(\begin{align}H(X)&=P(X_{t-1}(a))H(X_t|X_{t-1}=a)...
-3. 情報源符号化に関して，次の2つの相違を説明すると共に，...
--FV符号とVF符号
---解~
FV符号は入力を固定長で区切って，それぞれに可変長の符号化...
VF符号は入力を可変長で区切って，それぞれに固定長の符号化...
FV符号はビット誤りに対して復号誤り伝搬が生じるが，VF符号...
VF符号は欠点が思いつきにくいが，FV符号は思いつきやすい．
--Huffman符号と算術符号
---解~
ハフマン符号は頻繁に出てくる記号を短いビット列で符号化し...
算術符号は記号列を[0,1]区間の部分集合に対応させるもので，...
算術符号はHaffman符号化より圧縮率が良い．~
算術符号はHaffman符号化より手順がややこしい．~
--エントロピー符号化とユニバーサル符号化~
---解~
エントロピー符号化はデータ系列の確率分布を利用して符号化...
ユニバーサル符号化はデータ系列の確率分布を利用せずに符号...
エントロピー符号化は効率的に圧縮できるがデータの確率分布...
ユニバーサル符号化は効率的に圧縮できないがデータの確率分...
-4. 2つの情報源出力&mimetex(X);と&mimetex(Y);を歪を許して...
--情報源出力&mimetex(X);と&mimetex(Y);が共に2値で，その生...
&mimetex(P_X(0)=1-P_X(1)=0.3,\ P_Y(0)=1-P_Y(1)=0.2);で与...
歪をハミング歪で測るものとして，
&mimetex(X);を平均歪み&mimetex(D_X=0.2);まで許して符号化...
&mimetex(Y);を平均歪み&mimetex(D_Y=0.1);まで許して符号化...
最適な符号化が行える場合，どちらの方がより多くの符号化レ...
---解~
2値情報源におけるハミング歪のレート歪関数は&mimetex(R^*(D...
&mimetex(x=\frac{h(0.3)-h(0.2)}{0.1});，
&mimetex(y=\frac{h(0.2)-h(0.1)}{0.1});とおくと
&mimetex(h(t));は凹関数なので&mimetex(x<y);．~
よって&mimetex(Y);の方がより多くの符号化レートを必要とす...
--情報源出力&mimetex(X);と&mimetex(Y);が，それぞれの分散&...
歪みを2乗誤差歪みで測るものとして，&mimetex(X);を平均歪&m...
---解~
分散&mimetex(\sigma^2);の正規分布における2乗誤差歪の符号...
&mimetex(X);の符号化レートは&mimetex(\frac{1}{2}\lg\frac{...
&mimetex(Y);の符号化レートは&mimetex(\frac{1}{2}\lg\frac{...
なので，&mimetex(X);がより多くの符号化レートを必要とする．
-5. 通信路の入力アルファベット&mimetex(\mathcal{X});と出...
このとき，通信路の遷移確率&mimetex(P(y|x));次のように与え...
それぞれの通信路容量&mimetex(C);を関数&mimetex(h(t)=-t\lo...
|&mimetex(\backslash);|&mimetex(b_1);|&mimetex(b_2);|&mim...
|&mimetex(a_1);|0.8|0.2|0|
|&mimetex(a_2);|0|0.8|0.2|
|&mimetex(a_3);|0.2|0|0.8|
~
---解~
これは一様通信路なので，
#mimetex(C=\lg 3+\sum_{y\in\mathcal{Y}}P(y|x)\lg P(y|x)=\...
~
|&mimetex(\backslash);|&mimetex(b_1);|&mimetex(b_2);|&mim...
|&mimetex(a_1);|0.3|0|0.7|
|&mimetex(a_2);|0|1|0|
|&mimetex(a_3);|0.7|0|0.3|
~
---解~
&mimetex(\mathcal{X_1}=\{a_1,a_3\}, \mathcal{Y_1}=\{b_1,b...
&mimetex(\mathcal{X_2}=\{a_2\}, \mathcal{Y_2}=\{b_2\});か...
の和通信路なので，
#mimetex(C_1=\lg 2+\sum_{y\in\mathcal{Y}}P(y|x)\lg P(y|x)...
#mimetex(C_2=\lg 1+\sum_{y\in\mathcal{Y}}P(y|x)\lg P(y|x)...
より，
#mimetex(C=\lg(2^{C_1}+2^{C_2})=\lg(2*2^{-h(0.3)}+1));
-6. 生成行列&mimetex(G);が次式で与えられるハミング符号が...
&mimetex(G=\begin{pmatrix}1&0&0&0&1&1&1\\0&1&0&0&1&1&0\\0...
--この符号の符号化レート&mimetex(R);を求めよ．
---解~
#mimetex(R=\frac{K}{N}=\frac{4}{7});
--&mimetex(\bold{y}=(1100010));を受信した時，そのシンドロ...
この&mimetex(\bold{y});に誤りが含まれているか否かを定めよ．
誤りがない場合は「誤りなし」と下記，その理由を説明せよ．
また，誤りが含まれている場合は，1ビットの誤りであると仮定...
---解~
#mimetex(H=\begin{pmatrix}1&1&1&0&1&0&0\\1&1&0&1&0&1&0\\1...
より，
#mimetex(\bold{y}H^{\top}=(0\ 1\ 1));
となるので誤りがある．~
また，誤りを1ビットであると仮定すると，4ビット目であるの...
#mimetex(\begin{pmatrix}1&1&0&1&0&1&0\end{pmatrix});
である．
--このハミング符号に対して，誤り訂正は行わないで誤り検出...
何ビットの誤りまで検出可能か？
---解~
2ビットまで．~
3ビットだと2,3,4ビット目などを誤られると検出不能．
-7. 次の各説明が正しいか誤っているかを解答せよ．
ただし，誤っている場合は，その理由を説明せよ．
--エントロピー&mimetex(H(X));，微分エントロピー&mimetex(H...
相互情報量&mimetex(I(X:Y));，相対エントロピー&mimetex(D(P...
などの情報量は全て非負の量である．
---解~
上の4つについては正しい．~
しかしながら作為的な定義をすれば負の値を持つ情報量を定義...
(2010/01/06 読者による訂正) 微分エントロピーは負の値をと...
--FV符号において，長さ2ビットの符号語が1個，長さ3ビットの...
長さ4ビットの符号語が3個，長さ5ビットの符号語が4個の符号...
---解~
クラフトの不等式について
#mimetex(\sum_{x\in\mathcal{X}}2^{-l(x)}=2^{-2}+2^{-3}\ti...
となるので，瞬時符号は存在しない．
--誤り訂正符号における最尤復号法は，常に最小の復号誤り率...
---解~
常にが間違い．符号語が等確率で生起する場合でのみしか最小...
--&mimetex(\{0,1\});を100ビット用いると&mimetex(2^{100});...
しかし，通信路容量&mimetex(C=0.1);を持つ2値対称通信路を通...
誤り訂正するためには&mimetex(2^{100});個全てを符号語とし...
冗長性を持たせてその一部のみ符号語として用いることになる．
通信路容量&mimetex(C);が0.1なので，十分余裕を見て&mimetex...
---解~
符号化レートは
&mimetex(\frac{\lceil\lg 0.001\times 2^{100}\rceil}{100}>...
--雑音電力密度&mimetex(N_0=);(Watt/Hz)を持つ
加法的白色ガウス雑音通信路に対して，時間連続信号波形&mime...
&mimetex(x(t));を用いて最大で&mimetex(1/2W);秒ごとに独立...
したがって，信号電力&mimetex(S);が一定の時，帯域幅&mimete...
大きくすれば送れる情報量が増え，その通信路容量&mimetex(C)...
---解~
#mimetex(C=W\lg\left(1+\frac{S}{N_0W}\right)=\frac{W}{\ln...
と&mimetex(W);を増加させても&mimetex(\frac{S}{\ln 2N_0});...
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
