工学部

授業科目名:
情報理論
(英語名): Information Theory
対象学年:
2年Bコース
開講学期:
前期
開講形態:
講義
担当教官: 小林 邦勝(KOBAYASHI Kunikatsu)
単位数:
対象学科:電子情報工学科 区分:専門科目・応用電子コース推奨、応用情報コース推奨 531100

授業概要

目的 情報の概念の理解を目的とする。科学、工学における基礎概念の一つである情報に ついて学び、情報を扱うときの基礎になる理論、特に、情報伝送の理論を解説する。
内容 本講義は、1。情報とその表現、2。情報量、3。情報源と符号化、4。離散的 通信路と情報の信頼性、の4つの章からなる。
1章では情報とは何か、情報理論とは何かを説明する。2章では情報を量的に測れるもの とするため、情報の測度として情報量を定義し、その性質について述べる。3章では情報 源のモデルとしてマルコフ過程の説明を行ない、通報を符号化する情報源符号化の問題を 扱い、効率のよい符号を作るための最適符号化法を示す。4章では離散的な通信路と通信 容量の概念を示し、誤り訂正符号について簡単に触れる。

授業計画

第1週 情報とは、情報理論とは 
第2週 自己情報量、エントロピー 
第3週 平均相互情報量 
第4週 標本化と量子化 
第5週 マルコフ過程、シャノン線図 
第6週 マルコフ情報源のエントロピー 
第7週 冗長度、情報源符号化 
第8週 符号の木、クラフトの不等式 
第9週 ハフマン符号 
第10週 通信路行列 
第11週 通信容量 
第12週 最大事後確率復号法 
第13週 シャノンの第2符号化定理 
第14週 パリテイ検査符号 
第15週 畳み込み符号  

成績評価の方法

筆記試験および演習、レポートの結果を総合し成績を決定する。

テキスト

(著者)瀧保夫 (書名)情報論I (出版社)岩波書店(価格)1750円(1995)

参考書

(著者)今井秀樹 (書名)情報理論(出版社)昭晃堂(価格)2800円(1995)

履修にあたっての留意点

下記の科目を履修していることが望ましい。
数学入門A、数学入門B

Post Script 版
シラバスのページへ