(i?j)?1?D?P(ui|vj)??D；(i?j)??2；十七、离散无记忆加性信道如图所示，其输入变量X与；而Y的取值为{0,a}(a?1},又P(y?0)；YX+Z；解：若a=1，则输出Z对应的集合为｛0，1，2｝；?1/2??0?1/2此信道为准对称，可分为??；故C?log2?H(1/2,1/2,0)?N1l；若a>1，则输出Z对应的集合为｛0，1
(i?j)?1?D?P(ui|vj)??D
十七、离散无记忆加性信道如图所示，其输入变量X与噪声Y统计独立。X的取值为{0,1}，而Y的取值为{0,a}(a?1},又P(y?0)?P(y?1)?1/2。信道输出Z=X+Y（一般加法）。试求此信道的信道容量，以及达到信道容量的最佳概率分布。 YX+Z 解：若a=1，则输出Z对应的集合为｛0，1，2｝，此时信道转移矩阵如下 ?1/2??0?1/2此信道为准对称，可分为??01/21/20?? 1/2?0??1/2??和??，得N1?M1?1/2,N2?1/2,M1/2?1/2??2?1 故C?log2?H(1/2,1/2,0)?N1logM1?N2logM2?0.5(bit)
若a>1，则输出Z对应的集合为｛0，1，a, 1+a ｝，此时信道转移矩阵如下 ?1/2??001/21/200?? 1/2?此信道为对称信道，
C?log4?H(1/2,0,1/2,0)?2?1?1(bit)
十八、在一个布袋中有三个硬币，分别用H,T,F表示，H的两面都是人头像，T的两面都是国徽，而F是一正一反（即一面为头像一面为国徽）的均匀硬币。随机选择一枚硬币并投掷两次，用X表示所选择硬币的事件，Y1,Y2表示两次投掷的结果，Z表示两次投掷中头像出现的次数。求 ①I(X;Y1)②I(X;Z)③I(Y1;Y2) 解：用A表示投掷结果为头像，B表示投掷结果为国徽 ①P(Y1?A|X?H)?1,P(Y1?A|X?F)?1/2,P(Y1?A|X?T)?0 P(Y1?A)?1/3*1?1/3*1/2?1/3*0?1/2 H(Y1)?H(1/2,1/2)?1，(1|X)1/3?01,)(H1/31(/12,/2)1/3?10)(,H1/3而HY?H? 故I(X;Y1)?H(Y1)?H(Y1|X)?2/3 （比特/符号）
②先列出P(Z|X)和P(XZ) ZXHFTP(Z|X)/21/4100ZXHFTP(XZ)/ 从表中可得Z的边缘分布为{5/12,1/6,5/12}，因此 H(Z|X)?1/3H(0,0,1)?1/3H(1/4,1/2,1/4)?1/3H(1,0,0)?1/3*0?1/3*3/2?1/3*0?0.5 H(Z)?H(5/12,1/6,5/12)?2*?56(2?log3?log5)?16512*log*log656 log5?1.4833(1?log3)??log3?故I(X;Z)?H(Z)?H(Z|X)?0.9833
（比特/符号）
③先求Y1,Y2的联合概率分布, 由于 P(y1y2)?P(X?H)*P(y1y2|X?H)?P(X?T)*P(y1y2|X?T)?P(X?F)*P(y1y2|X?F) 故Y1,Y2的联合概率分布为 1?1?3?00?1?1/4???0?3?1/41/4?1?0???1/4?3?00??5/12???1??1/121/12?? 5/12?由表中可知，P(Y2?A)?5/12?1/12?1/2, H(Y2)?H(1/2)?1 故 I(Y1;Y2)?H(Y1)?H(Y2)?H(Y1Y2)?2?H(5/12,1/12,1/12,5/12)?2?2*?2?56(2?log3?log5)?16(2?log3)?51256log125?2*112log121
log5?log3?0.35 十九、一个随机变量x的概率密度函数P(x)=kx，0?x?2V，试求该信源的差熵。 解：由?2V0p(x)dx?1，得k?1/2v,故p(x)?212v2x（0?x?2V） h(x)???2V0p(x)lnp(x)dx??12v2?2v0x?lnxdx?ln(2v)2v22?2v0xdx ?1/2?lnv（奈特/自由度）
二十、已知某(7,3)循环码的生成多项式为g(x)?x?x?x?1
①求该循环码的监督多项式 ②列出该码的全部许用码字 ③若该码为系统码，求其生成矩阵G
42 二十一、某一(7,3)线性系统分组码，设码字格式为(c6c5c4c3c2c1c0)，其中的前三位(c6c5c4)?c3??c2为信息元，其一致校验方程如下：??c1?c?0?c6?c4?c6?c5?c4?c6?c5?c5?c4
①求一致校验矩阵H
②求标准生成矩阵G
③构建一个译码标准阵 ?1?1解：H???1????1?0? G??0?0????01??? 二十二、彩色电视显象管的屏幕上有5×105 个象元，设每个象元有64种彩色度，每种彩色度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个组合之间相互独立。①计算每秒传送25帧图象所需要的信道容量；②如果信道上信号与噪声平均功率的比值为30dB（即1000倍），为实时传送彩色电视的图象，信道的通频带宽应为多大？ 提示⑴信道的容量公式为Ct?Wlog2(1?⑵log2( 解
①每种彩色品种和亮度层次组合的概率P?11pSN)，其中W为带宽，SN为信噪比 64?16 每个彩色象元的自信息量I1?log?10bit/每象元
每帧彩色图象的信息量 I2?10?5?105?5?10bit/帧 666每秒25帧，所需信道容量至少为
Ct?5?10?25?125?10bit/s
②SN?30dB?1000倍，而Ct?Wlog(1?2SN)?W?9.97
∴W?Ct/9.97?12.54MHz
二十三、证明：(n,k)循环码的生成多项式g(x)是xn+1的因式。 证：略
二十四、证明Kraft不等式 证：略
二十五、假设Kraft不等式成立。若一个离散无记忆信源S的熵为H(S)，对其进行q元编码，A:{a1,a2,…aq}，则总可以找到一种无失真的编码方法，构成单义可译码，使其平均码长满足： H(S)logq?L?H(S)logq?1 证：略
二十六、一个电报系统传输两种信号：传号M和空号S。假设在发送端发送M和S的概率相等，由于信道上有干扰，有1/6 的传号M被错成空号S,同时有半数得空号S被错传成传号M，典型的收发符号序列如下： 发送：M M M
S S S 接收：M M M
M M M 试求每个符号传输的平均信息量 解：这个题目实际是求平均互信息量 I(X;Y)
二十七、有一个有扰离散信道的输入符号集合X={x1, x2, x3}，输出符号集Y={y1, y2, y3}，信道传输概率P(y1/x1)=1，P(y2/x2)=P(y3/x3)=?，P(y2/x3)=P(y3/x2)= ?'，且有?+?'=1。求该信道的信道容量。 解：略
245810二十八、已知一线性码（15，5）的生成多项式为g(x)=1+x+x +x+ x+x+x， 采用非系统编码， 在BSC信道中传输，p是BSC信道的误传概率， 试求该种编码的不可检错误概率。 注：非系统编码方法为：v(x)=u(x)g(x)
其中g(x) —— 生成多项式 v(x) —— 码字 u(x) —— 消息序列 解：略
二十九、有三种有扰离散信道的传输情况分别如图（a）（b）（c），所示，试求出这三种信道的信道容量。
====================================================================== 三十、有一个可以旋转的圆盘，盘面被均匀地分成那个38份，用数字1－38标示，其中2份涂绿色，18份涂红色，18份涂黑色。转动圆盘停止后，盘面上指针指向某一数字和颜色。 ⑴如果只对颜色感兴趣，计算平均不确定性 ⑵如果只对颜色和数字感兴趣，计算平均不确定性 ⑶如果颜色已知，计算平均条件熵 解：令X表示指向某数字，Y 表示指向某颜色 ⑴H(Y)=H(2/38,18/38,18/38)
⑵H(X)=LOG38
⑶H(X|Y)=H(XY)-H(Y)=H(X)-H(Y)
三十一、两个实验X和Y，X?{x1,x2,x3},Y?{y1,y2,y3}，联合概率r(xi,yj)?rij为?7/24?1/24???01/241/41/24??1/24 ?7/24??0⑴如果有人告诉你X和Y的实验结果，你得到的平均信息量为多少？ ⑵如果有人告诉你Y的实验结果，你得到的平均信息量为多少？ ⑶在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量为多少？
1??|x|,???x???，三十二、给定语音信号样值X的概率密度为p(x)??e求X的差熵，2并验证它小于同样方差的高斯分布的连续信源的差熵。
三十三、奇校验码码字是C=(m0 ,m1 ,? ,mk-1 ,p ) ,其中奇校验位满足方程 m0 +m1 +? +mk-1 + p = 1 mod 2 证明奇校验码的检错能力与偶奇校验码的检错能力相同，但奇校验码不是线性分组码。
三亿文库包含各类专业文献、应用写作文书、幼儿教育、小学教育、专业论文、各类资格考试、外语学习资料、70江苏大学信息论复习参考等内容。　
　信息论基础复习提纲_理学_高等教育_教育专区。李梅李亦农版信息论基础提纲哈尔滨...10 页 哈尔滨医科大学生物信息科学与技术学院 参考***例 2.1:①、 I(a) ?... 　信息论复习知识点 隐藏&& 1、平均自信息为 表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量。 平均互信息 表示从 Y 获得的关于每个 X 的平均信... 　江苏大学试题 课程名称: 使用班级: 题号 得分 阅卷教师 一二 ( 学年第 2 学期) 信息论与编码 A 开课学院: 信息安全 10 1/2 考试日期: 三四五... 　信息论与编码基础知识点 (仅供复习参考,不作为出卷依据) 1. 当代文明的三大科学支柱 2. 信息论发展的过程 3. 信息理论中度量信息的基本观点 4. 衡量通信系统... 　信息论复习题2_工学_高等教育_教育专区。复习题纲 第一章 概述 题纲: I. 什么...认识论信息定义包括那三个要 素? 3. 信息的性质是什么?并给与说明。 (参考... 　信息论复习提纲_教育学_高等教育_教育专区。第一章 1、信息的概念。 信息是事物运动状态或存在方式的不确定性的描述。 2、信息论的研究对象、研究目的。 对象:... 　《信息论》复习资料《信息论》复习资料隐藏&& 信息论导论参考资料第一章 概论在认识论层次研究信息时,把只考虑到形式因素的部分称为语法信息, 把只考虑到含义因素... 　“信息论与编码”复习 1.消息、信号、信息的含义、...? 36 i (4) 参考上面的两个点数的排列,可以得出...大学教师个人工作总结 小学英语教学教研工作总结©...