信息论：从通信理论到智能时代的范式革命

集群智慧张老师

1. 引言：信息论的学科定位与研究框架

1.1 信息论的定义与核心问题

( N, P% P  s7 c9 O+ j- L信息论是一门研究信息的度量、传输、处理和利用的数学理论学科(7)。其核心问题可以概括为两个根本性问题：什么是信息的终极压缩极限（答案是熵 H），以及什么是可靠通信的终极传输速率（答案是信道容量 C）。这两个问题构成了信息论的理论基石，为现代通信技术和信息处理系统提供了数学基础。
从更广泛的视角来看，信息论关注的是如何在不确定性和噪声存在的情况下，可靠而高效地传输和处理信息。正如香农在其开创性论文中所指出的，信息的本质是 "不确定性的减少"(12)。这一定义超越了具体的物理载体，将信息抽象为一种可以量化和操作的数学实体。
1.2 研究方法与分析框架

9 |' b! K! {$ P- e  D0 ?# y信息论采用了严格的数学方法来描述和分析信息现象。其研究框架主要包括三个层次：
首先是数学基础层，建立在概率论、统计学和优化理论之上。信息熵、互信息、相对熵等核心概念都有严格的数学定义和公理基础。这一层为整个理论体系提供了坚实的数学支撑。
其次是理论核心层，包括香农三大定理及其各种推广。信源编码定理确立了数据压缩的理论极限，信道编码定理给出了可靠通信的容量边界，而率失真理论则处理了有损压缩的优化问题。
最后是应用拓展层，将理论成果应用于具体的技术领域，从传统的通信系统到新兴的人工智能、生物信息学等交叉学科(118)。这种分层架构使得信息论既有理论深度，又有广泛的实用价值。
2. 信息论的前世：从通信需求到理论突破（19 世纪末 - 1948 年）
! D' u: ~  J, b! U8 t
2 x5 e  D8 u& z; _' |, J2.1 理论萌芽：热力学熵与统计力学基础

信息论的思想萌芽可以追溯到 19 世纪末统计力学的发展。1877 年，奥地利物理学家路德维希・玻尔兹曼在研究热力学系统时，提出了著名的玻尔兹曼熵公式：S = k・logW，其中 k 是玻尔兹曼常数，W 是系统微观状态的数量(19)。这一公式首次将熵与系统的不确定性联系起来，为后续信息熵的定义奠定了重要基础。
4 c, ]% I/ y- Q+ T) D: z2 L6 |0 }5 ]在 20 世纪初，约西亚・威拉德・吉布斯进一步发展了统计力学，提出了吉布斯熵的概念，将熵的定义推广到任意概率分布。这些早期的工作虽然主要关注物理系统的热力学性质，但其中蕴含的 "不确定性度量" 思想却具有深远的意义(20)。
值得注意的是，玻尔兹曼和吉布斯的工作建立了宏观热力学量与微观状态概率之间的桥梁。这种从微观到宏观的统计描述方法，后来被香农巧妙地借用，用来描述信息的统计特性(22)。可以说，信息论的数学形式在很大程度上继承了统计力学的衣钵。
2.2 通信工程的早期探索：奈奎斯特 - 哈特利定律

20 世纪 20 年代，随着电报、电话等通信技术的发展，工程师们开始思考如何定量地描述通信系统的信息传输能力。1924 年，哈里・奈奎斯特在贝尔实验室工作时，发表了关于电报传输理论的重要论文。他指出，在无噪声的信道中，电报信号的传输速率与信道带宽成正比，具体来说，脉冲速率的极限是信道带宽的两倍。
奈奎斯特的工作揭示了一个重要原理：通信速率受到物理信道特性的根本限制。他观察到，在电报系统中，时间被分成相等的单位，每个单位时间内传输的信息对应于 m 个符号中的一个选择。传输速率随每秒符号数和每个符号的比特数（log₂m）线性增长。
1928 年，拉尔夫・哈特利进一步发展了这些思想，发表了《信息传输》一文，首次明确定义了 "信息精度" 和 "信息量" 等关键概念。哈特利提出了信息量的计算公式：H = logSⁿ，其中 S 是符号集大小，n 是符号序列长度(17)。这一公式虽然还不够完善，但已经包含了信息的可加性和对数度量的基本思想。
! a$ O9 `0 X8 @8 E9 S: j奈奎斯特 - 哈特利定律的重要意义在于，它将通信问题从纯粹的工程实践提升到了理论分析的层面。通过建立传输速率与带宽、信噪比之间的定量关系，为后续香农理论的建立提供了重要的经验基础(16)。
2.3 香农的历史性贡献：《通信的数学理论》(1948)

1948 年，一位年轻的数学家和工程师克劳德・艾尔伍德・香农在《贝尔系统技术学报》上发表了题为《通信的数学理论》的论文，这标志着现代信息论的正式诞生(1)。当时 32 岁的香农可能没有意识到，他的这篇论文将彻底改变人类通信技术的发展轨迹(10)。
# Z( K# y$ a; M香农在论文开头就明确提出了通信的基本问题："通信的基本问题是在一点精确地或近似地复现在另一点所选择的消息"(5)。为了回答这个问题，他建立了一个通用的通信系统模型，包括五个基本组成部分：信息源、编码器、信道、解码器和信息宿(12)。
这个模型的革命性在于其抽象性和通用性。它不依赖于具体的物理实现（无论是电报、电话还是无线电），而是专注于信息传输的本质规律。香农指出，通信系统的核心任务是在存在噪声的情况下，可靠地传输信息的 "意义"，而不是具体的物理信号(11)。
; `" O2 `# H% v/ Z+ D在建立了通用模型之后，香农提出了两个关键的创新：
; Z  C  f: N7 D第一，概率建模方法。香农将信息源和信道都建模为概率过程，用随机变量来描述信息的产生和传输。这种方法使得可以用成熟的概率论工具来分析通信问题。
第二，比特（bit）概念的引入。香农提出用二进制数字 "比特" 作为信息的基本单位(11)。一个比特被定义为消除一个二进制变量不确定性所需的信息量。这一定义不仅提供了信息的度量标准，也为后续的数字化革命奠定了基础。
2.4 核心概念的诞生：信息熵、信道容量与编码定理
+ D& G  n. B, \" u; x# h
( `. Q  Z+ u" R! `; t. }2 Y# f在建立了基本的理论框架之后，香农在 1948 年的论文中系统地提出了信息论的核心概念和定理。
信息熵的定义是香农最重要的贡献之一。对于一个离散随机变量 X，其概率分布为 p (x)，香农定义信息熵为：H (X) = -Σp (x) log₂p (x)。这个公式的巧妙之处在于，它将每个可能结果的不确定性（用 - log₂p (x) 度量）进行加权平均，得到整个分布的平均不确定性。
9 ]4 ?" k! O. O( a6 _$ `熵的概念具有深刻的物理意义。当概率分布越均匀时，熵值越大，意味着不确定性越高；当某个结果的概率接近 1 时，熵值接近 0，意味着不确定性很低。这种性质使得熵成为度量信息含量的理想工具。
' @: e8 `5 g( N' u' f8 d9 j信道容量的概念同样具有根本性意义。香农定义信道容量 C 为输入和输出之间互信息的最大值：C = maxI (X;Y)，其中最大值是对所有可能的输入分布 p (x) 取的。互信息 I (X;Y) = H (X) - H (X|Y)，表示通过观察输出 Y 可以获得的关于输入 X 的信息量。
5 E; {: Z. p7 e* ~) b香农第二定理（有噪信道编码定理）则确立了信道容量的操作意义：如果信息传输速率 R 小于信道容量 C，那么存在编码方案使得错误概率可以任意小；反之，如果 R 大于 C，则错误概率无法降到任意小(32)。这一定理为通信系统的设计提供了明确的目标和极限。
在 1949 年，香农又发表了《噪声下的通信》一文，进一步完善了相关理论(13)。他证明了在高斯噪声信道中，信道容量可以表示为：C = B・log₂(1+S/N)，其中 B 是带宽，S/N 是信噪比。这就是著名的香农 - 哈特利定理，它量化了带宽和信噪比对通信容量的影响。
香农还提出了信源编码定理，证明了数据压缩的极限由信源的熵决定。具体来说，无记忆信源可以以接近熵 H (X) 的速率进行压缩而不产生失真(35)。这一定理为数据压缩技术的发展指明了方向。
2 B2 K5 _+ r& v2 O% {0 J' A3. 信息论的今生：理论发展与应用拓展（1948 年至今）

3.1 理论体系的完善（1948-2000 年）

' T; ~  c, B) `3.1.1 纠错编码理论的发展：汉明码、卷积码与 Reed-Solomon 码

$ P" h/ ?7 W; v& K% E& q! r( W香农理论发表后不久，研究者们就开始探索如何设计实际的编码方案来接近香农极限。1950 年，理查德・汉明在贝尔实验室工作时发明了第一个实用的纠错码 —— 汉明码。汉明码是一种线性分组码，它通过在 4 个信息比特中添加 3 个校验比特，形成 7 比特的编码字，可以检测并纠正单个比特错误(41)。
汉明码的发明具有重要的历史意义。在此之前，通信系统主要依靠重复发送来提高可靠性，效率很低。汉明码首次证明了可以通过巧妙的数学设计，用较少的冗余比特实现错误检测和纠正(43)。这种方法的效率远高于简单的重复编码，为现代纠错编码技术奠定了基础。
汉明的工作激发了纠错编码理论的快速发展。1955 年，欧文・里德和古斯塔夫・所罗门提出了 Reed-Solomon（RS）码。RS 码是一种非二进制线性码，特别适合纠正突发错误。它在卫星通信、数字存储等领域得到了广泛应用，成为现代通信系统的重要组成部分。
4 R) Y" H% a, q; f1 `' K与此同时，卷积码的研究也取得了重要进展。卷积码与分组码的主要区别在于，它的编码过程具有记忆性，当前的输出不仅取决于当前的输入，还与之前的输入有关(42)。1967 年，安德鲁・维特比提出了维特比算法，这是一种高效的卷积码译码算法，具有优异的性能和相对较低的复杂度(42)。
3.1.2 网络信息论的建立：多用户系统与信道网络

2 T$ g, f. A* j4 a0 t4 S! M随着通信网络的发展，传统的点对点通信模型已经不能满足需求。20 世纪 60 年代开始，研究者们将信息论扩展到多用户系统。1961 年，香农本人研究了多址信道（Multiple Access Channel），这是网络信息论的起点(4)。
+ L+ @; S  r; U3 O在多址信道中，多个发送方通过共享信道向同一个接收方发送信息。香农证明了这种信道的容量区域由几个互信息表达式的线性组合界定(82)。这一结果表明，通过合理的功率分配和编码策略，多个用户可以高效地共享同一信道资源。
8 y0 L# p& A; `; E& q$ E, \8 ]随后，研究者们陆续提出了各种网络信道模型，包括广播信道（一个发送方到多个接收方）、中继信道（通过中继节点转发信息）、干扰信道（用户之间存在干扰）等(4)。每种信道模型都有其独特的容量特征和编码挑战。
网络信息论的发展揭示了一些有趣的现象。例如，在中继信道中，中继节点可以通过各种策略（如放大转发、解码转发）来帮助信息传输，从而提高系统容量(82)。这些发现为现代蜂窝网络、Ad Hoc 网络等复杂通信系统的设计提供了理论指导。
, S6 t2 ?* m+ O5 {3.1.3 率失真理论与有损压缩

0 i7 c4 X1 p  \0 _# h2 ]$ I$ Q虽然香农在 1948 年就提出了率失真理论的基本思想，但这一理论的深入发展和完善是在后续几十年中完成的。率失真理论研究的是在允许一定失真的情况下，数据压缩的极限性能(95)。
1959 年，香农发表了关于率失真理论的详细论文，正式确立了这一领域的理论基础。他定义了率失真函数 R (D)，表示在平均失真不超过 D 的条件下，所需的最小码率。对于无记忆信源，R (D) 可以表示为：R (D) = minI (X;Y)，其中最小值是对所有满足平均失真约束的条件分布 p (y|x) 取的。
! a" p4 b# X3 Q6 \" U6 ]0 s/ T6 ^率失真理论在实际应用中具有重要价值。例如，对于高斯信源在均方失真下的率失真函数为：R (D) = (1/2) log (σ²/D)，当 0≤D≤σ² 时；当 D>σ² 时，R (D)=0。这一结果为音频、视频等连续信号的压缩提供了理论极限。
3.2 现代编码技术的突破（1990 年代至今）
; f' \- _4 ^: S/ E/ A$ R) t
* p5 B0 D; v2 j. _4 ~# l6 s3.2.1 Turbo 码的发明与迭代译码革命

1993 年，两位法国工程师克洛德・贝鲁和阿尔芒・格拉维尤在 ICC 会议上发表了一篇革命性的论文，提出了一种新型编码方案 ——Turbo 码(48)。这篇论文的影响之大，以至于被认为是编码理论发展史上的一个里程碑。
) |  H9 q9 h) UTurbo 码的核心思想是并行级联卷积码，通过两个或多个分量编码器并行连接，并在输入序列中插入交织器来实现。更重要的是，Turbo 码采用了迭代译码算法，两个分量译码器之间交换外信息，通过多次迭代来提高译码性能。
仿真结果表明，Turbo 码的性能极其优异，在 AWGN 信道下，信噪比仅比香农极限差 0.7dB(51)。这一性能远远超过了当时所有已知的编码方案，几乎达到了人们认为不可能达到的水平。Turbo 码的成功不仅在于其优异的性能，更在于它证明了迭代译码的有效性，为后续编码技术的发展开辟了新的道路。
/ C& p3 h% `9 Q+ _) w# u3.2.2 LDPC 码的重新发现与优化

3 R' t9 s1 K: R* S低密度奇偶校验（LDPC）码实际上早在 1962 年就由罗伯特・加拉格尔在其博士论文中提出。然而，由于当时的计算能力限制，LDPC 码的潜力没有得到充分认识，一度被遗忘。
! X, O$ {6 k& F: t. z1996 年，随着 Turbo 码的成功和迭代译码思想的普及，LDPC 码被重新发现并引起了广泛关注(49)。LDPC 码是一种线性分组码，其奇偶校验矩阵具有稀疏性（即 1 的个数很少），这使得可以使用高效的迭代译码算法。
. q2 k) l; O! Z7 G! Q( H) {+ b现代研究表明，LDPC 码具有接近香农极限的性能，特别是在长码长情况下。更重要的是，LDPC 码的译码复杂度与码长成线性关系，这使得它非常适合高速通信系统(55)。正因如此，LDPC 码被选为 Wi-Fi 6、5G NR 等现代通信标准的重要组成部分(109)。
3.2.3 Polar 码：首个可证明达到信道容量的编码方案
  s4 @4 B% c1 |1 @9 l* Y
2009 年，土耳其学者埃尔达尔・阿里坎提出了一种全新的编码方案 ——Polar 码(57)。这是编码理论发展史上的一个重大突破，因为 Polar 码是第一个被严格证明能够达到对称二进制输入无记忆信道容量的编码方案(60)。
Polar 码的工作原理基于信道极化现象。通过对信道进行递归的组合和分裂操作，可以将原本对称的信道转化为一组极化的信道：一部分信道变得几乎无噪声（容量接近 1），另一部分信道变得几乎无用（容量接近 0）。信息通过好的信道传输，而坏的信道则用来传输冻结比特（已知信息）。
Polar 码的重要性不仅在于其理论意义，还在于其实际应用价值。2016 年，3GPP 决定将 Polar 码作为 5G eMBB（增强移动宽带）控制信道的编码方案(59)。这标志着 Polar 码从理论走向实际应用，成为 5G 标准的重要组成部分。
3.3 信息论在通信系统中的应用
; O, ]0 D9 x% x7 Y
3.3.1 从 2G 到 5G/6G 的技术演进

信息论在现代移动通信系统的发展中发挥了核心作用。从 2G 到 5G 的每一代移动通信技术，都在不断接近香农极限(109)。
8 w3 E) }0 H2 V( F2G 系统（如 GSM）主要采用高斯最小频移键控（GMSK）调制和卷积码，频谱效率约为 1-2 bit/s/Hz。3G 系统（如 WCDMA）引入了码分多址（CDMA）技术，采用 Turbo 码作为信道编码，频谱效率提升到 3-5 bit/s/Hz。4G LTE 系统进一步采用了正交频分复用（OFDM）和 MIMO 技术，结合 LDPC 码和 Turbo 码，频谱效率达到 10-15 bit/s/Hz。
5G 系统代表了移动通信技术的重大飞跃。它采用了大规模 MIMO、毫米波通信、超密集组网等先进技术，结合 Polar 码和 LDPC 码，频谱效率可以达到 25 bit/s/Hz 以上(108)。更重要的是，5G 不仅追求高数据速率，还支持超可靠低延迟通信（URLLC）和海量机器类通信（mMTC）等新场景(110)。
3.3.2 MIMO 技术与空间复用增益

多输入多输出（MIMO）技术是信息论在通信系统中最成功的应用之一。MIMO 系统通过在发送端和接收端使用多个天线，利用空间维度来提高通信容量(106)。
1996 年，贝尔实验室的研究人员证明，在独立同分布的瑞利衰落信道中，MIMO 系统的容量随天线数量线性增长(106)。具体来说，如果发送端有 Nt 个天线，接收端有 Nr 个天线，那么系统容量近似为 min (Nt,Nr)・log (SNR)。这一发现彻底改变了无线通信的设计思路。
MIMO 技术的成功应用包括：空间复用（通过不同天线传输不同数据流来提高速率）、发射分集（通过多天线发射提高可靠性）、波束成形（通过调整天线权重形成指向性波束）(107)。这些技术已经成为 Wi-Fi、LTE、5G 等几乎所有现代无线通信系统的标准配置。
& \/ }8 G2 R! X& d6 Y* [% t3.3.3 信道编码与调制技术的优化
* ]. p, P9 Y8 L0 |3 H
现代通信系统在信道编码和调制技术方面取得了显著进展。除了前述的 Turbo 码、LDPC 码和 Polar 码，研究者们还提出了各种改进方案(109)。
在调制技术方面，从早期的 ASK、FSK、PSK 等简单调制，发展到 QAM、OFDM 等高级调制。特别是自适应调制编码（AMC）技术，可以根据信道条件动态调整调制阶数和编码速率，实现频谱效率和误码性能的最优平衡(109)。
) e; a0 c* q9 p6 j此外，新型调制技术如通用滤波器多载波（UFMC）、滤波器组多载波（FBMC）等也在研究中，这些技术有望在 6G 系统中发挥重要作用(110)。
3.4 信息论在其他领域的渗透
. y$ L9 v) t  n2 v7 x
3.4.1 计算机科学：数据压缩、密码学与算法复杂度
9 S, |  v+ Q% W0 N6 ^' C! B
信息论在计算机科学领域有着广泛的应用。在数据压缩方面，熵编码是几乎所有压缩算法的基础。哈夫曼编码通过根据符号概率分配可变长度的编码，实现了接近熵极限的压缩性能(8)。LZW 算法（用于 GIF、ZIP 等格式）则利用了字典编码的思想，在实际应用中取得了良好效果。
在密码学领域，香农的工作同样具有奠基性意义。1949 年，香农发表了《保密系统的通信理论》，将信息论应用于密码学研究(11)。他提出了完美保密的概念：一个密码系统是完美保密的，当且仅当明文和密文之间的互信息为零。这一理论为现代密码学的发展提供了重要指导。
信息论还被用于分析算法的时间和空间复杂度。通过将算法执行过程建模为信息处理过程，可以用信息论的工具来分析算法的效率。例如，决策树的复杂度可以用信息增益来衡量，这导致了 ID3、C4.5 等经典机器学习算法的产生(8)。
3 y8 I( _: f, d9 H% ?0 J$ {- Q# u3.4.2 人工智能与机器学习：信息瓶颈、交叉熵损失与注意力机制

近年来，信息论在人工智能领域的应用越来越受到关注。特别是信息瓶颈理论，为理解深度学习提供了新的视角(111)。
信息瓶颈理论由纳夫塔利・蒂什比等人提出，它描述了学习系统如何在压缩输入信息和保持对目标输出的预测能力之间进行权衡(112)。具体来说，一个好的学习系统应该最大化 I (T;Y)（表示瓶颈变量 T 包含关于目标 Y 的信息），同时最小化 I (X;T)（表示 T 对输入 X 的压缩程度）。
在深度学习中，交叉熵损失函数是信息论思想的直接应用。对于分类问题，交叉熵损失定义为：L = -Σy・logŷ，其中 y 是真实标签，ŷ是预测概率。这一损失函数实际上是真实分布和预测分布之间的 KL 散度加上真实分布的熵(75)。
; s* R; }' F- v8 u, l注意力机制是另一个成功应用信息论思想的例子。通过计算查询和键之间的互信息，注意力机制能够动态地聚焦于输入的相关部分，这在 Transformer 架构中发挥了关键作用(115)。
3.4.3 生物信息学：基因序列分析与蛋白质结构预测
& g% S: `' T8 C: e
信息论在生物信息学领域的应用可以追溯到 20 世纪 60 年代。随着基因组测序技术的发展，海量的生物序列数据需要有效的分析方法，信息论提供了强大的工具(118)。
在基因序列分析中，熵被用来度量序列的复杂性和随机性。例如，通过计算 DNA 序列中核苷酸的频率分布，可以得到序列的熵值，从而识别编码区和非编码区(121)。互信息被用来分析不同位点之间的相关性，这对于理解基因调控网络具有重要意义。
' v, p) A2 @& B2 g4 ?! h! y5 ^在蛋白质结构预测方面，信息论方法同样发挥了重要作用。蛋白质的三维结构决定了其功能，而氨基酸序列和结构之间存在复杂的关系。通过分析多序列比对中的保守性，可以用信息论的方法来预测蛋白质的二级结构和三级结构(125)。
近年来，随着深度学习在生物信息学中的应用，信息论的作用更加突出。例如，AlphaFold 在预测蛋白质结构时就利用了信息论的思想来建模氨基酸之间的相互作用(127)。
+ P" `: C6 T& G# K! `3.4.4 金融、物理等其他学科的应用
& R, j: H+ |: k! u  t$ V& F9 d. v
信息论在金融学中的应用主要集中在风险管理和市场分析方面。通过计算资产收益率的熵和互信息，可以分析市场的不确定性和资产之间的相关性(8)。例如，在投资组合优化中，信息论方法可以用来平衡风险和收益，构建最优的投资组合。
在物理学中，信息论与热力学的联系一直是研究热点。杰拉德・贝内特等人的工作表明，信息处理过程与热力学过程密切相关，这导致了 "信息热力学" 这一交叉学科的产生(20)。黑洞熵的研究也涉及信息论的概念，史蒂芬・霍金等人提出的黑洞信息悖论至今仍是物理学的重要未解问题之一。
在社会科学中，信息论被用来分析语言演化、文化传播等现象。通过计算文本的熵和互信息，可以分析语言的复杂性和变迁规律。在网络科学中，信息论方法被用来分析社交网络、万维网等复杂网络的结构和功能(8)。
( U' l1 B. {) b, i- T. t% g9 W4. 信息论的未来：理论前沿与应用展望

4.1 理论突破与新范式

: i$ C4 ]2 T5 j4 \) H4.1.1 语义信息论：从语法到语义的跃升
1 j& Q; V0 J# J9 l
7 a5 N0 `& h6 a( H  g传统信息论主要关注信息的语法层面，即如何高效可靠地传输比特序列，而不太关心信息的语义内容(133)。然而，随着人工智能和智能通信的发展，这种局限性日益明显。语义信息论试图突破这一限制，将信息的意义纳入理论框架。
. e6 a0 Y" A) ~2024 年 7 月，北京邮电大学张平团队基于语义信息理论，建成了国际首个面向 6G 通信与智能融合的外场试验网，实现了从北京到西安 1200 公里的语音语义短波通信(131)。这一成果标志着语义通信从理论走向实践的重要突破。
2 g( a" z5 |! X0 f语义通信的核心思想是传输意义而非比特。在语义通信系统中，发送方首先理解信息的语义内容，然后只传输那些对接收方有意义的信息(132)。这种方法可以显著提高通信效率，特别是在带宽受限的场景下。
未来的 6G 系统将语义通信作为核心技术之一。通过结合人工智能技术，6G 网络能够理解用户的意图，提供个性化的通信服务(134)。例如，在自动驾驶场景中，车辆之间不需要传输完整的传感器数据，只需要传输关键的语义信息（如 "前方有障碍物"）即可(135)。
; c) d2 b+ R  S* r, r! J0 ~) h" z4.1.2 量子信息论：量子通信与量子计算的理论基础

量子信息论是信息论与量子力学相结合的产物，代表了信息科学的前沿方向(32)。量子信息论利用量子力学的独特性质（如叠加态、纠缠态等）来实现经典信息论无法达到的通信和计算能力。
在量子通信方面，量子密钥分发（QKD）已经从理论走向实用。基于量子力学的测不准原理和不可克隆定理，QKD 可以实现信息论意义下的无条件安全通信(32)。中国的墨子号量子科学实验卫星已经实现了千公里级的星地量子通信，展示了量子通信的巨大潜力。
/ h5 M# `- V2 l- Y, \. B2 S在量子计算方面，量子比特（qubit）可以同时处于 0 和 1 的叠加态，这使得量子计算机在某些问题上具有指数级的计算优势。例如，Shor 算法可以在多项式时间内分解大整数，这对现有的 RSA 加密体系构成了威胁(32)。
  p# O; Q+ G' N; }4 h/ \0 p  }3 W量子信息论的发展还带来了新的信息度量概念。量子熵、量子互信息、量子相对熵等概念扩展了经典信息论的工具箱(32)。这些新概念不仅在量子信息处理中有用，也为理解量子物理提供了新的视角。
4.1.3 非渐近信息论与有限码长分析

传统信息论主要关注渐近性能（当码长趋于无穷大时的极限），但实际通信系统总是使用有限长度的码(144)。非渐近信息论研究有限码长情况下的信息传输性能，为实际系统设计提供更精确的理论指导。
( G) f4 h! `2 q9 E# C' `近年来，非渐近信息论取得了重要进展。Polyanskiy 等人提出了二阶和三阶编码速率的概念，用来描述有限码长下速率与码长、错误概率之间的精确关系(145)。这些结果对于 5G/6G 中的短包通信（如 URLLC 场景）具有重要意义。
有限码长分析的一个重要应用是低延迟通信。在工业控制、自动驾驶等实时应用中，数据包长度通常很短（几十到几百比特），传统的渐近理论不再适用(149)。非渐近信息论为这些应用提供了性能分析工具和设计指导。
/ @1 q" n$ G8 ?1 G* m7 g- v4.2 6G 及未来通信系统中的信息论

2 j% T+ l! ^1 m- p4.2.1 智能反射面、太赫兹通信等新技术

9 ]/ ?: t# W) Z6G 通信系统将采用多种革命性技术，这些技术都需要信息论的指导。智能反射面（IRS）是其中最具潜力的技术之一(105)。
2 P! s4 p) e  W# F智能反射面由大量可调节的反射单元组成，可以动态改变无线信道的传播特性。通过优化反射单元的相位和振幅，可以增强期望信号、抑制干扰信号。信息论分析表明，IRS 可以显著提高系统的可达速率和能量效率(107)。
# I* r* ~& [5 k# ?3 L3 p太赫兹通信是另一个重要的 6G 技术。太赫兹频段（0.1-10 THz）具有巨大的带宽潜力，可以支持超高速数据传输。然而，太赫兹信道具有严重的路径损耗和分子吸收。信息论研究正在探索如何在这些限制条件下实现高效的通信(110)。
, ?& {: V# _7 o" k4.2.2 通信感知一体化（ISAC）

2 U% u, B3 `! d6 E8 f% p通信感知一体化（ISAC）是 6G 的重要特征，它将通信和雷达感知功能集成到同一个系统中(105)。这种融合不仅可以提高频谱效率，还能带来新的应用场景。
信息论为 ISAC 系统的设计提供了理论基础。通过分析通信信息和感知信息之间的互信息，可以优化系统的资源分配策略。例如，下行链路可以同时传输通信数据和感知探测信号，上行链路则可以同时传输通信反馈和感知测量结果(107)。
4.2.3 边缘计算与联邦学习中的信息优化
' f: l+ o: o* p) z
8 h( Y/ _; K' v- t! s0 Q% ^1 e* k, B' S边缘计算和联邦学习是 5G/6G 时代的重要技术，它们都涉及信息的分布式处理和传输(113)。信息论在这些领域的应用主要体现在以下几个方面：
首先是边缘缓存优化。通过分析内容的流行度分布和用户请求模式，可以用信息论的方法来设计最优的缓存策略。目标是最大化缓存命中率，同时最小化内容更新的开销(136)。
其次是联邦学习中的通信优化。联邦学习需要在保护数据隐私的前提下，通过多次迭代来训练模型。信息论方法可以用来优化模型参数的传输策略，在保证模型性能的同时减少通信开销(113)。差分隐私技术也与信息论密切相关，通过限制敏感信息的互信息来提供隐私保护。
; `; {& G7 p0 D' C$ e0 ]4.3 跨学科融合的新方向

4.3.1 认知科学：信息论与大脑认知机制

信息论正在成为研究大脑认知机制的重要工具(165)。大脑可以被视为一个复杂的信息处理系统，从感觉输入到认知决策，整个过程都涉及信息的编码、传输和处理。
整合信息理论（IIT）是这一领域的代表性理论。IIT 试图用量化的方法来测量意识的程度，其核心概念是整合信息 Φ(166)。根据 IIT，一个系统的意识程度取决于它产生整合信息的能力：既要有丰富的信息内容（分化性），又要有统一的整体体验（整合性）(169)。
信息论还被用来分析神经网络的信息处理能力。通过计算神经元群体的熵和互信息，可以理解大脑如何编码和传输信息。例如，在视觉皮层中，神经元的响应可以用信息论的术语来描述：它们通过调整 firing rate 来最大化对刺激的互信息(167)。
; W6 O2 u# t1 o: Q4.3.2 复杂系统理论：自组织与涌现现象

  a9 g, F" W. j! e信息论在复杂系统研究中发挥着越来越重要的作用。复杂系统的一个关键特征是自组织现象：系统在没有外部指导的情况下，通过局部相互作用产生全局有序结构(154)。
) D8 p) k- ~5 v) G# N3 B信息论提供了量化自组织程度的工具。例如，互信息可以用来测量系统不同部分之间的协同程度。当系统从无序状态转变为有序状态时，互信息通常会增加。这为理解相变和临界现象提供了新的视角(154)。
2 p7 R' S# b, Z2 ^涌现是复杂系统的另一个重要特征。涌现现象指的是系统整体表现出其组成部分所不具备的性质。信息论正在被用来研究涌现的机制和条件。通过分析系统层次之间的信息流动，可以理解高层次性质如何从低层次相互作用中涌现出来(157)。
4.3.3 大语言模型：信息论视角下的理解与优化

4 ^3 j" Y) v7 z4 }8 ^- ^3 I4 J3 h大语言模型（LLM）的成功引发了研究者对其工作机制的深入思考。信息论为理解和优化这些模型提供了新的视角(158)。
从信息论的角度来看，训练大语言模型的过程可以理解为一个压缩任务：模型通过学习语言的统计规律，将大量的文本数据压缩到有限的参数中(162)。这种压缩过程需要在保留有用信息和最小化参数数量之间进行权衡，这正是信息瓶颈理论所描述的场景。
研究者们提出了多种基于信息论的 LLM 优化方法。例如，"Learning to Think" 框架通过信息论的奖励信号来优化模型的推理过程，使模型能够用更少的 token 完成复杂推理(159)。另一个研究方向是利用信息论来提高模型的可解释性，通过分析模型内部的信息流动来理解其决策过程(163)。
3 }  O3 l0 z' E$ V熵正则化是另一个重要的研究方向。通过在损失函数中加入熵项，可以防止模型过拟合，提高其泛化能力。研究表明，适当的熵正则化可以使模型在各种任务上表现更好(164)。
4.4 产业发展趋势与市场前景
' `; f8 V/ _% j: o5 v/ N
$ M* {! H, }# b) |# e4.4.1 量子信息产业的商业化进程

量子信息产业正在从实验室走向市场。根据最新的市场研究报告，全球量子计算市场规模预计将从 2025 年的约 5 亿美元增长到 2030 年的 73 亿美元，年复合增长率达 34.6%(141)。
量子通信的商业化进展尤为迅速。中国已经建成了总长超过 7000 公里的量子通信骨干网络，连接了北京、上海、合肥等主要城市(32)。在金融领域，量子通信已经被用于银行间的安全数据传输。预计到 2030 年，量子通信设备市场规模将达到数百亿美元(137)。
量子计算的商业化也在加速。IBM、谷歌、微软等科技巨头都在大力投入量子计算研发。IBM 的量子路线图显示，到 2033 年将建成包含数千个量子比特的量子中心超级计算机(139)。这些量子计算机有望在药物发现、材料设计、金融建模等领域带来革命性突破(140)。
4.4.2 6G 通信技术的标准化与产业化
# U! u9 A, d. ?: i1 @
6G 通信技术的标准化工作正在紧锣密鼓地进行。根据 ITU 的时间表，6G 标准预计在 2026 年完成技术框架制定，2030 年正式商用(110)。
# ^, q! O3 w* k, q" I2 [0 A3 w6G 的市场前景非常广阔。根据市场预测，到 2030 年，6G 全球市场规模将达到 1.5 万亿美元，其中基础设施投资占 40%，设备和终端占 35%，服务收入占 25%(105)。6G 不仅是通信技术的升级，更是数字经济的基础设施，将推动自动驾驶、远程医疗、元宇宙等新兴产业的发展。
, e& L) O; }5 |9 Q信息论在 6G 标准化中发挥着核心作用。语义通信、智能反射面、太赫兹通信等 6G 关键技术都需要信息论的理论支撑。预计未来 5 年，信息论专家将在 6G 标准制定中扮演越来越重要的角色。
. Z" Z, m; C# e/ n; H7 j) l$ D4.4.3 人工智能芯片中的信息论应用
% q& @& F5 |0 G/ U
1 K) h0 Y0 \2 S人工智能芯片的设计越来越多地采用信息论的思想。通过优化数据在芯片中的流动和处理，可以显著提高 AI 计算的能效比(115)。
例如，在神经网络加速器的设计中，信息论被用来优化数据的量化和编码。通过分析激活值的分布，可以设计最优的量化策略，在保证精度的同时减少内存占用和计算复杂度。研究表明，基于信息论的量化方法可以将神经网络模型压缩 10 倍以上，而精度损失小于 1%(117)。
, u- Q( P' v2 a2 K2 y/ R* k0 K. s边缘 AI 芯片是另一个重要应用领域。由于边缘设备的计算和功耗限制，需要更加高效的 AI 算法和硬件。信息论方法可以用来设计适合边缘计算的轻量化模型，在有限的资源约束下实现最佳性能(113)。
# \7 t) T3 |+ m5. 结论与展望
$ _: W( R: h0 Q' n
8 H  u. _; X) x$ V  T5.1 信息论发展的关键里程碑总结
" r5 Z  H% u' d/ h9 w4 o* U' U: f
回顾信息论的发展历程，我们可以看到几个关键的里程碑。1877 年玻尔兹曼熵的提出为信息熵的定义奠定了基础(19)。1924 年和 1928 年，奈奎斯特和哈特利的工作将通信问题从工程实践提升到理论分析的层面。
1948 年香农《通信的数学理论》的发表无疑是最重要的里程碑，标志着现代信息论的诞生(1)。香农不仅提出了信息熵、信道容量等核心概念，还证明了具有奠基性意义的编码定理。
6 Q0 X6 P# S8 t8 k3 N在后续的发展中，1950 年汉明码的发明开启了纠错编码的新时代。1993 年 Turbo 码的提出带来了迭代译码革命(48)。2009 年 Polar 码的发明则实现了编码理论的重大突破(57)。
进入 21 世纪，信息论的应用范围不断扩大。从传统的通信系统到人工智能、生物信息学等新兴领域，信息论已经成为现代科技的基础理论之一(118)。
5 e' d# y& l. f5 N5 n$ Z" w7 [6 U* q5.2 未来 5-10 年的关键挑战与机遇

展望未来，信息论面临着诸多挑战和机遇。在理论层面，如何将语义信息纳入统一的理论框架仍然是一个开放问题(133)。量子信息论虽然取得了重要进展，但在实际系统中如何处理退相干等问题仍需深入研究(32)。
在应用层面，6G 通信系统的设计提出了新的挑战。如何在有限的频谱资源下支持海量连接、超高速率、极低延迟等多样化需求，需要信息论提供新的解决方案(110)。边缘计算和联邦学习等新兴技术也需要信息论的理论支撑(113)。
人工智能领域为信息论提供了新的发展机遇。如何用信息论来理解和优化深度学习系统，如何设计更加高效的神经网络架构，这些问题的解决将推动 AI 技术的发展。
5.3 信息论对科学技术发展的深远影响

  u8 l- ^" x+ [7 D8 ~信息论的影响远远超出了通信领域。它改变了我们对信息本质的理解，提供了分析复杂系统的有力工具。在生物学中，信息论帮助我们理解基因如何编码生命信息(121)。在物理学中，信息论与热力学的结合产生了新的研究方向(20)。
信息论的思想甚至影响了我们对宇宙的认识。黑洞信息悖论、量子纠缠的非局域性等问题都与信息论密切相关(32)。一些物理学家甚至认为，信息可能是构成宇宙的基本要素。
& p3 J3 K& U/ ~, I* T在技术层面，信息论的影响无处不在。从互联网到移动通信，从计算机到人工智能，现代信息技术的每一个进步都离不开信息论的指导。可以说，信息论是数字时代的基础理论之一。
展望未来，随着量子技术、人工智能、生物技术等前沿领域的发展，信息论将发挥更加重要的作用。它不仅是这些技术的理论基础，更是连接不同学科的桥梁。在这个信息爆炸的时代，理解和掌握信息论的基本原理，对于每一个科技工作者都至关重要。
信息论的发展历程告诉我们，基础理论研究往往会带来意想不到的应用价值。香农在 1948 年提出的理论，当时看起来可能过于抽象，但却奠定了整个数字通信时代的基础。今天我们在信息论领域的基础研究，也许会在未来带来新的技术革命。
因此，继续加强信息论的基础研究，培养更多的信息论人才，建立完善的产学研合作体系，对于推动科技进步和社会发展具有重要意义。只有深入理解信息的本质规律，我们才能更好地应对信息时代的挑战，创造更加美好的未来。
参考资料
[1] 香农信息论[1948年克劳德·香农提出的理论]_百科
4 B7 L! Z! J- o. Z1 shttps://m.baike.com/wiki/%E9%A6%99%E5%86%9C%E4%BF%A1%E6%81%AF%E8%AE%BA/1720760?baike_source=doubao
8 ~/ Z; p/ Q% j3 H1 R! Z[2] Lecture Notes(pdf) https://web.stanford.edu/~kedart/ee376a_winter1617/Lecture_1.pdf
[3] Explained: The Shannon limit https://news.mit.edu/2010/explained-shannon-0115
, F9 D  e4 W) |+ M2 b4 U[4] What is Information Theory(pdf) https://shannon.engr.tamu.edu/wp-content/uploads/sites/138/2017/06/ShannonPDF.pdf
[5] The essential message : Claude Shannon and the making of information theory https://dspace.mit.edu/handle/1721.1/39429
8 K+ D3 Z/ t- c2 L( @- O1 Y, \5 N3 _# R[6] Happy Birthday, Claude Shannon https://blogs.ams.org/beyondreviews/2016/04/30/happy-birthday-claude-shannon/
[7] 信息论 - 《中国大百科全书》第三版网络版
https://www.zgbk.com/ecph/words?ID=145298&SitEID=1
[8] 数字时代背景下的香农信息论--中国数字科技馆
0 E: |+ C- C9 \# mhttps://www.cdstm.cn/gallery/media/mkjx/qcyjswx_6431/202103/t20210324_1044872.html
[9] 通信人物传记---克劳德・香农:信息论之父_5g 香农-CSDN博客
https://blog.csdn.net/weixin_49761275/article/details/148652582
[10] 计算机界的50位大牛(4)——克劳德・香农:信息时代的传奇先驱_克劳德香农-CSDN博客
https://blog.csdn.net/zhulangfly/article/details/146322749
[11] 中国电信博物馆
* r  _$ B6 F9 x1 H& W8 M" [' Rhttp://museum.chinatelecom.com.cn/yj/txkp/202307/t20230717_75343.html
8 H1 ?4 O' b$ v) M, R. i  S9 {9 r[12] 信息论 | 机器之心
$ Z( E) r" f. K( ], Ehttps://www.jiqizhixin.com/graph/technologies/ef8e251c-d9c4-4eab-b4c6-327cdca79737
[13] 天才科学“玩”家、信息论之父的游戏人生_中科院物理所
- A# x3 _6 U/ q4 C# a5 Chttp://m.toutiao.com/group/7342115547347337778/?upstream_biz=doubao
5 V. {* s& ?( p; O[14] DOCUMENT RsO CUZEWT ROOM 36-41 https://dspace.mit.edu/bitstream/handle/1721.1/4932/RLE-TR-114-14264176.pdf?sequence=1
) V, Z7 Q% r" z4 X: j2 ?& e' b[15] Harry Nyquist 1889 - 1976\nCon(pdf) http://www.archive.control.lth.se/media/Education/DoctorateProgram/2011/StochasticControl/L02pinknyqeight.pdf
. X3 C& ~( W! y' U9 X! x- G8 K* b[16] Shannon–Hartley theorem https://en-academic.com/dic.nsf/enwiki/44237/
3 N8 d# R* j& a2 E4 V3 H[17] Mathematical Theory of\nClaude https://dl.icdst.org/pdfs/files/3e0b4b9f371695ed974d0787bcef4946.pdf
[18] The Establishment of Sampling as a SCIentific Principle—A Striking Case of Multiple Discovery(pdf) https://dornsife.usc.edu/sergey-lototsky/wp-content/uploads/sites/211/2023/06/Sampling-AMSNotices-1.pdf
[19] Information, Entropy, Life, and the Universe https://pmc.ncbi.nlm.nih.gov/articles/PMC9689250/
5 `7 ]0 H$ [# B) k/ O- @+ O[20] The entropic and symbolic components of information - PubMed https://pubmed.ncbi.nlm.nih.gov/31075297/
[21] BOLTZMANN ENTROPY : PROBABILITY AND INFORMATION https://arxiv.org/pdf/0705.02850
0 L4 O! |, O! T$ E5 z[22] 信息论精要:统计力学与信息熵交叉研究的精髓 - CSDN文库
https://wenku.csdn.net/column/7p6vsebvsh
2 c3 J6 Q" K/ S1 m3 ?, G[23] Boltzmann entropy, relative entropy, and related quantities in thermodynamic space https://pubs.aip.org/aip/jcp/article-abstract/102/18/7169/481191/Boltzmann-entropy-relative-entropy-and-related
7 _# }7 m( ?9 ?+ v, F) Q[24] 10.4 Information-theoretic interpretation of thermodynamics https://fiveable.me/statistical-mechanics/unit-10/information-theoretic-interpretation-thermodynamics/study-guide/LvPdf4Po3pqvbGxf
[25] 香农三大定理[信息论的基础理论]_百科
  l' A# N6 `: w6 J' |( mhttps://m.baike.com/wiki/%E9%A6%99%E5%86%9C%E4%B8%89%E5%A4%A7%E5%AE%9A%E7%90%86/994604?baike_source=doubao
& l2 j2 Z" D1 a/ A! K. U[26] Coding and Information Theory (pdf) https://www.cs.csustan.edu/~xliang/Courses2/CS4450-23S/NewLectureSlides/PDF/Chapter05R-B.pdf
[27] Chapter 42
Entropy III - Shann(pdf) https://courses.grainger.illinois.edu/CS574/sp2024/lec/notes/lec/43_entropy_III.pdf
0 {1 l5 g1 c- }8 b' }[28] 香农三大定律_香农第一定律-CSDN博客
https://blog.csdn.net/qq_34623223/article/details/85018986
[29] Information Theory https://www.springer.com/978-3-031-21561-2
[30] 香农定理-CSDN博客
https://blog.csdn.net/qq_44154915/article/details/135554962
[31] The Theoretical Limits of Source and Channel Coding https://ntrs.nasa.gov/api/citations/19910002667/downloads/19910002667.pdf
& _) f- n9 U. G& b/ Y0 A0 Q$ G[32] シャノンの通信路符号化定理 https://ja.wikipedia.org/?curid=3627552
7 v! O) r+ `& z) j( O# _[33] (pdf) http://www.ma.rhul.ac.uk/~uvah099/Maths/Channels19/MT341_2019NotesAll.pdf
0 S9 A) `6 ?' g2 ][34] Introduction to Coding Theory https://people.eecs.berkeley.edu/~venkatg/teaching/codingtheory/notes/notes3.pdf
' E6 Q+ _) s9 b  z7 C[35] 6.895 Essential Coding Theory https://people.csail.mit.edu/madhu/FT04/scribe/lect02.pdf
* r! G8 ~9 w* O" [) t; {, a[36] Formalization of Shannon's Theorems(pdf) https://staff.aist.go.jp/reynald.affeldt/documents/shannon_theorems.pdf
[37] 1.2 Shannon's Theorems and Channel Capacity https://library.fiveable.me/coding-theory/unit-1/shannons-theorems-channel-capacity/study-guide/IL8TPV5rKEAihnv9
- _, z6 {, p6 @" P[38] ERROR MECHANISMS FOR CONVOLUTIONAL CODES https://ntrs.nasa.gov/api/citations/19700005771/downloads/19700005771.pdf
- m. i/ Z# S: v9 _7 P. T. r6 |7 t[39] Código de Hamming https://pt.wikipedia.org/wiki/C%C3%B3digo_de_Hamming
[40] Код Хэмминга https://ru.wikipedia.org/?curid=317173
[41] ERROR-CORRECTING CODES\nAmr Ka(pdf) https://homes.cs.washington.edu/~jrl/teaching/cseP531sp16/presentations/pres3.pdf
' O2 y; y2 L# x2 I[42] LDPC码关键问题剖析与前沿探索.docx-原创力文档
https://m.book118.com/html/2025/0824/6235041121011220.shtm
[43] Richard W. Hamming https://amturing.acm.org/info/hamming_1000652.cfm
. C6 k5 a  r) }5 [$ O3 E0 ~[44] Error detecting and error correcting codes. Offprint https://www.jnorman.com/pages/books/45224/r-w-hamming/error-detecting-and-error-correcting-codes-offprint
[45] Coding Theory https://omniscient.wiki/article/coding_theory
[46] Richard W. Hamming Error Detec(pdf) https://giagunwingcheck.files.wordpress.com/2015/08/richard-w-hamming-error-detecting-and-error-correcting-codes.pdf
[47] (pdf) https://www.kth.se/social/files/54c7f5d9f276542215f0982a/Handout-lecture-4.pdf
[48] 什么是信道编码?信道编码比较-CSDN博客
$ L4 ^' V: q6 [( v5 }% zhttps://blog.csdn.net/dxpqxb/article/details/84389767
[49] 6.962: Week 4 Summary of Discu(pdf) http://web.mit.edu/~6.962/www/www_fall_2000/chanal/summary.pdf
0 w% ~7 a: U9 f9 c! n, e- d% P[50] Redirected from: Gallager codes https://www.computerlanguage.com/results.php?definition=Gallager+codes
[51] Turbo-like Codes Constructions(pdf) https://perso-etis.ensea.fr/declercq/Elsevier/Chapter2_TurboLikeConstructions_Benedetto/00turbocodes_structure.pdf
[52] 8. Coding for Error Correction: the Shannon Bound https://math.mit.edu/~djk/18.310/Lecture-Notes/shannon_bound_2007.html
, ~1 [; ~0 d5 u( l7 D7 c[53] (pdf) https://34.201.211.163/bitstream/handle/1721.1/98262/18-310c-fall-2007/contents/lecture-notes/error_correction.pdf
5 K1 T7 ^$ O( L  }) C: z  D9 f[54] Bridging Shannon and Hamming: List Error-Correction with Optimal Rate(pdf) https://people.eecs.berkeley.edu/~venkatg/pubs/papers/list-decoding-ICM.pdf
, \& |0 f1 K1 p! o5 \& _[55] Error Floors in LDPC Codes: Fast Simulation, Bounds and Hardware Emulation(pdf) http://www.eecs.berkeley.edu/~wainwrig/Papers/ISIT08floor.pdf
: a; X/ |5 ~/ n9 v[56] key term - Shannon's Channel Coding Theorem https://library.fiveable.me/key-terms/combinatorics/shannons-channel-coding-theorem
[57] 那一年，华为与极化码相遇
: n1 J; B5 p6 k6 g2 N# f: chttps://www.hubpd.com/c/2019-08-08/864416.shtml
[58] News Release https://jacobsschool.ucsd.edu/news/release?id=2615
[59] Polar Coding in Certain New Transmission Environments https://vtechworks.lib.vt.edu/handle/10919/115053
) w- n# d- D% R1 a5 \[60] On the Arikan Transformations of Binary-Input Discrete Memoryless Channels* https://arxiv.org/pdf/2510.22896
. y7 _1 e5 h: Z2 |- i' J& h8 D( W[61] ABSTRACT\nPolar codes that has(pdf) https://openlibrary.telkomuniversity.ac.id/pustaka/files/153751/abstract/analisis-exit-untuk-iterative-decoding-pada-polar-codes.pdf
[62] Polar codes with large exponent using AG code kernels(pdf) http://www.ii.uib.no/~matthew/Talks/Monday/Afternoon/AndersonWCC.pdf
[63] Polar Codes with Near-Optimal Convergence to Channel Capacity(pdf) http://reports-archive.adm.cs.cmu.edu/anon/usr0/anon/home/ftp/usr/anon/usr0/ftp/2022/CMU-CS-22-102.pdf
[64] Best Readings in Polar Coding https://research.monash.edu/en/publications/best-readings-in-polar-coding
[65] Secure Polar Coding for Adversarial Wiretap Channel https://www.arxiv.org/pdf/2003.00240v2.pdf
[66] EE 376A: Course Outline https://web.stanford.edu/class/ee376a/files/polarcodes.pdf
& U; Z) I! j9 J9 e[67] On the Automorphism Group of Polar Codes(pdf) https://arxiv.org/pdf/2101.09679v1
7 ?; L+ p  t  e6 {3 E) v5 J; g[68] Note: Information Theory, Axiomatic Foundations, Connections to Statistics https://www.stat.cmu.edu/~cshalizi/350/2008/lectures/06a/lecture-06a.pdf
* l" `4 ^1 e6 g" v% v$ h! ~7 @[69] Supplemental Material: Axiomatic relation between thermodynamic and information-theoretic entropies. https://authors.library.caltech.edu/73182/2/supplemental_material.pdf
  @& a$ Y) {0 b" v6 x[70] Generalized Shannon-Khinchin Axioms and
Uniqueness Theorem for Pseudo-additive Entropies https://www.arxiv-vanity.com/papers/1311.0323/
) A8 H5 @4 @% V8 ?, R5 q" [9 k[71] 学习笔记 | 信息论
+ S2 }, y9 n# [5 r8 |1 ^" Chttps://haitonglan.github.io/p/%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%E4%BF%A1%E6%81%AF%E8%AE%BA/
2 j  U' S" ^9 r! u5 q, j) t- N. s) g% ^[72] On Shannon-Jaynes Entropy and Fisher Information https://wiki.iac.isu.edu/images/b/bc/0708.2879.pdf
% F: ?5 J* y+ y! Q" j* ~* s( l/ n[73] Information entropy https://www.chemeurope.com/en/encyclopedia/Information_entropy.html
[74] arXiv:2407.08962v1 [cond-mat.s(pdf) http://arxiv.org/pdf/2407.08962
( V3 e  K8 q1 Q, \  M6 T[75] 人工智能之数学基础 信息论:第一章 基础概念-腾讯云开发者社区-腾讯云
https://cloud.tencent.com/developer/article/2609119?policyId=1004
[76] Lecture 10: Mutual Information(pdf) https://people.ece.cornell.edu/zivg/ECE_5630_Lectures10.pdf#:~:text=3.The
[77] Mutual information and Kullback-Leibler divergence http://users.ics.aalto.fi/aapo/papers/NCS99web/node26.html
1 U  S: |- m. u[78] Kullback–Leibler divergence https://static.hlt.bme.hu/semantics/external/pages/Bernoulli-s%C3%A9ma/en.wikipedia.org/wiki/Relative_entropy.html
7 F! I7 u! G$ O; S* v6 m4 ^5 K[79] Capacity of AWGN channels(pdf) https://ocw.mit.edu/courses/6-451-principles-of-digital-communication-ii-spring-2005/cc4381c9d29759cab78daa5bd1405664_chap_3.pdf
[80] 【信道容量与香农定理】香农定理定义了在特定信噪比下信道的最大数据传输速率的理论上限 - CSDN文库
https://wenku.csdn.net/column/pqza2yhww9
[81] Information Theory http://www.wu.ece.ufl.edu/books/EE/infotheory/summary.html
[82] (pdf) https://mcube.lab.nycu.edu.tw/wiki/core/uploads/Course/IT2012/ITch0_2012.pdf
- J% d& q. d6 e[83] EE376A/STATS376A Information Theory Lecture 8: Channel Capacity, Continuous Random Variables(pdf) https://web.stanford.edu/class/ee376a/files/2017-18/lecture_8.pdf
+ W( _5 n$ o3 o" t* e$ x, {[84] The Channel Capacity Increases with Power https://arxiv.org/pdf/1108.0391v1
* }3 Q( i, S& a7 ~6 @0 G9 k# O* E) g4 U8 U, C[85] Gaussian channel and Shannon–Hartley theorem (Chapter 14) - Classical and Quantum Information Theory https://www.cambridge.org/core/product/D11955EEE45E882240DB6B489BB9C1D3
! A* c& K# l% _) A[86] (pdf) http://dsp7.ee.uct.ac.za/~nicolls/lectures/eee482f/04_chancap_2up.pdf
/ \9 g1 s$ ^4 }+ H1 f1 {! f[87] (pdf) https://uomustansiriyah.edu.iq/media/lectures/5/5_2023_11_13!11_12_50_PM.pdf
[88] Shannon-Hartley-Gesetz https://de.wikipedia.org/wiki/Shannon-Hartley-Gesetz
[89] Teorema de Shannon–Hartley https://pt.wikipedia.org/wiki/Teorema_de_Shannon%E2%80%93Hartley
7 o% K! g( l# `3 c: q[90] Lectures notes for STSCI6940: Topics in high-dimensional inference https://courses.cit.cornell.edu/stsci6940/notes6940.pdf
[91] Finite-Time Capacity: Making Exceed-Shannon Possible?(pdf) https://web1.arxiv.org/pdf/2111.00444v1.pdf
[92] Semidefinite Programming Approach to Gaussian Sequential Rate-Distortion Trade-offs https://dspace.mit.edu/handle/1721.1/121571
' i$ H+ d- z( T+ d9 `3 i" Q, z[93] Rate-Distortion Function Upper Bounds for Gaussian Vectors and Their Applications in Coding AR Sources - PubMed https://www.ncbi.nlm.nih.gov/pubmed/33265489
9 T% f& w8 B" _* _+ h[94] On the Computation of the Gaussian Rate-Distortion-Perception Function(pdf) https://eurecom.eu/publication/7509/download/comsys-publi-7509_1.pdf
[95] (pdf) https://www2.isye.gatech.edu/~yxie77/ece587/Lecture21.pdf
; d9 ]1 }: A, Z. p: k[96] On the Rate-Distortion-Perception Function for Gaussian Processes https://arxiv.org/html/2501.06363v1
[97] Rate Distortion Function of Gaussian Asymptotically WSS Vector Processes - PubMed https://pubmed.ncbi.nlm.nih.gov/33265808/
[98] (pdf) https://web.stanford.edu/class/ee276/files/previous_notes/lecture_13.pdf
% g+ b3 C2 o/ G2 t+ X  h[99] § 24. Rate distortion: achieva(pdf) https://www.ocw.mit.edu/courses/6-441-information-theory-spring-2016/aaa8d18ddecde45f97134d3f3dcee4a3_MIT6_441S16_chapter_24.pdf
. A" k7 M8 `' ~' l8 g& }[100] A Revisit to Rate-distortion Problems via Optimal Weak Transport Theory https://arxiv.org/html/2501.09362v1
[101] Geometric Programming Duals of Channel Capacity and Rate Distortion(pdf) https://www-leland.stanford.edu/~boyd/papers/pdf/gp_chan_cap.pdf
" E0 j6 m8 G- A9 J: d3 r[102] On Rate-Distortion With Mixed Types of Side Information http://authors.library.caltech.edu/4002/1/FLEieeetit06.pdf
# Y: x3 E7 |: T+ {[103] Rate-Distortion Optimization G http://proceedings.mlr.press/v119/kato20a/kato20a-supp.pdf
[104] Rate-Distortion-Perception Tradeoff for
Gaussian Vector Sources https://arxiv.org/html/2406.18008v2
[105] Electromagnetic Information Theory: Fundamentals and Applications for 6G Wireless Communication Systems(pdf) https://ncrl.seu.edu.cn/_upload/article/files/ce/ac/8cb13f4a4af08213d68d9c598be9/556bd014-d7f1-4f7e-8ade-0d7a1ff809cb.pdf
[106] MIMO通信的机理及信道容量的计算 P22314023吴婧怡_mimo历史以及演进-CSDN博客
: C& ]; ]5 k- F/ `( thttps://blog.csdn.net/lily_ahu/article/details/148651427
1 H9 n! F1 j/ [1 H[107] Towards 6G MIMO: Massive Spatial Multiplexing, Dense Arrays, and Interplay Between Electromagnetics and Processing(pdf) https://web3.arxiv.org/pdf/2401.02844
[108] Massive MIMO Systems for 5G and beyond Networks—Overview, Recent Trends, Challenges, and Future Research Direction https://pmc.ncbi.nlm.nih.gov/articles/PMC7284607/
/ s1 `& D# r- A8 l% |[109] IEEE BITS | The Information Th(pdf) https://www.itsoc.org/sites/default/files/2022-06/BITS%206G%20CFP.pdf
: z1 H" O8 @8 k4 K# u9 X( g( Q4 u[110] 5G+/6G Research interests https://home.iitk.ac.in/~rohitbr/5g6g.html
[111] 信息瓶颈_百科
https://m.baike.com/wiki/%E4%BF%A1%E6%81%AF%E7%93%B6%E9%A2%88/20619491?baike_source=doubao
[112] Theory and Application of the Information Bottleneck Method https://pmc.ncbi.nlm.nih.gov/articles/PMC10968930/
) t) L6 w( R7 x( |[113] On the Difference between the Information Bottleneck and the Deep Information Bottleneck https://pubmed.ncbi.nlm.nih.gov/33285906/
0 v7 F& _/ {9 d$ w4 Z[114] A Generalized Information Bottleneck Theory of Deep Learning https://arxiv.org/html/2509.26327v2
/ j! m& s) M$ [# |! a# w& s( O[115] Estimating Information Flow in Deep Neural Networks https://www.ibm.com/blogs/research/2019/06/deep-neural-networks/
& s: F8 z( ^) R, y# G4 |[116] The Information Bottleneck the(pdf) https://picermwebsitecit.services.brown.edu/materials/Abstracts/sp-s19-w1/The_Information_Bottleneck_theory_of_Deep_Learning_and_the_computational_benefit_of_the_hidden_layers_]_Naftali_Tishby,_Hebrew_University_of_Jerusalem.pdf
[117] Estimating Information Flow in Neural Networks(pdf) https://arxiv.org/pdf/1810.05728v1
7 ~4 w6 o5 v. v( q5 A2 Z- x5 d! ^, Y[118] Information theory applications for biological sequence analysis - PubMed https://pubmed.ncbi.nlm.nih.gov/24058049/
[119] INFORMATION THEORY AND BIOLOGICAL SEQUENCES: INSIGHTS FROM AN EVOLUTIONARY PERSPECTIVE(pdf) https://erilllab.umbc.edu/wp-content/uploads/sites/41/2016/04/978-1-62100-325-0_ch1_noPW.pdf
[120] Information Theory of Genomes(pdf) https://arxiv.org/pdf/q-bio/0612038v1
* d9 ^2 s3 I1 e0 @3 |% }[121] 生物信息学新视角:信息论在遗传信息传递中的应用 - CSDN文库
https://wenku.csdn.net/column/5tv9cweea4
[122] Progress in and Opportunities for Applying Information Theory to Computational Biology and Bioinformatics https://pmc.ncbi.nlm.nih.gov/articles/PMC9323281/
[123] Information theory as a model of genomic sequences(pdf) http://math.utah.edu/~palais/dnamath/DNAPapers/Encyclopedia_Info-Theory_Genomics2005a.pdf
[124] An Information Theoretic Approach for the Discovery of Irregular and Repetitive Patterns in Genomic Data https://eecs.wsu.edu/~cook/pubs/csb07.pdf
[125] Theoretical perspectives on protein folding - PubMed https://ncbi.nlm.nih.gov/pubmed/20192765
/ A* l0 g2 G  Q3 q: g" U9 f[126] What protein folding teaches us about biological function and molecular machines - PubMed https://pubmed.ncbi.nlm.nih.gov/25559307/
[127] Molecular Information Theory Meets Protein Folding https://pubs.acs.org/doi/abs/10.1021/acs.jpcb.2c04532?ref=vi_onuchic-festschrift
[128] Protein structure and evolution: are they constrained globally by a principle derived from information theory? - PubMed https://pubmed.ncbi.nlm.nih.gov/25970335/
6 T5 `+ w, F, ]5 [% `4 h[129] Theory of protein folding - PubMed https://pubmed.ncbi.nlm.nih.gov/15102452/
[130] Universal Architectural Concepts Underlying Protein Folding Patterns https://research.monash.edu/files/351883584/344452905_oa.pdf
[131] 北京邮电大学发布未来信息通信发展“拐点技术”_中国青年报
http://m.toutiao.com/group/7562830460426912283/?upstream_biz=doubao
[132] Learning Semantics: An Opportunity for Effective 6G Communications(pdf) https://zenodo.org/records/5909652/files/CCNC_2022.pdf?download=1
[133] Semantic Communications for 6G Future Internet: Fundamentals, Applications, and Challenges(pdf) https://arxiv.org/pdf/2207.00427v1/1000
. s2 k- |; X$ C. v  S[134] A Comprehensive Review of AI-Native 6G: Integrating Semantic Communications, Reconfigurable Intelligent Surfaces, and Edge Intelligence for Next-Generation Connectivity https://www.frontiersin.org/journals/communications-and-networks/articles/10.3389/frcmn.2025.1655410/abstract
# N2 d& K0 |& K: V, I/ ~[135] 6G Networks: Beyond Shannon Towards Semantic and Goal-Oriented Communications(pdf) https://arxiv.org/pdf/2011.14844v1
[136] Towards Native AI in 6G Standardization: The Roadmap of Semantic Communication(pdf) https://arxiv.org/pdf/2509.12758v1
9 N. v# N  {- `9 X) i3 h" @[137] 2025-2030量子信息产业:格局演变与技术演进--手机中研网
& h+ L* o& U) T' o! ~) Y' Jhttps://m.chinairn.com/hyzx/20250522/092428612.shtml
[138] Quantum computing over the next five years: Scenario planning for strategic resilience https://www.deloitte.com/us/en/insights/topics/emerging-technologies/quantum-computing-futures.html?icid=_click
[139] IBM Quantum Roadmap https://www.ibm.com/roadmaps/quantum/2030/
[140] The Year of Quantum: From concept to reality in 2025 https://www.mckinsey.com/capabilities/mckinsey-digital/our-insights/the-year-of-quantum-from-concept-to-reality-in-2025?hsid=881de821-44d8-4a2b-a571-295182d7ebae
! K: w( ]6 B9 V[141] (pdf) https://pnr-files.pro1.gus.wdc.dianum.io/globenewswire/articles/3118002/en/global-quantum-computing-market-report-2025.pdf
3 T, X8 S" P, F1 r2 j: P[142] Quantum Leap in 2026? IONQ & RGTI in the Lead, QUBT Lags https://www.zacks.com/stock/news/2805831/quantum-leap-in-2026-ionq-rgti-in-the-lead-qubt-lags
[143] Quantum Computing Moves from Theoretical to Inevitable https://www.bain.com/insights/quantum-computing-moves-from-theoretical-to-inevitable-technology-report-2025/
[144] Non-Asymptotic Results for Point to Point Channels https://lids.mit.edu/news-and-events/events/non-asymptotic-results-point-point-channels
[145] Finite-Blocklength Information Theory https://web3.arxiv.org/pdf/2504.07743
[146] Nonasymptotic Oblivious Relaying and Variable-Length Noisy Lossy Source Coding(pdf) https://yanxiaoliu-mike.github.io/preprints/preprint_bottleneck.pdf
( E; J, `3 |$ z9 K[147] A Hierarchy of Information Quantities for Finite Block Length Analysis of Quantum Tasks(pdf) https://arxiv.org/pdf/1208.1478v3
( g4 F% Z0 d: h. D3 C. G+ k6 R[148] On Noncoherent Multiple-Antenna Rayleigh Block-Fading Channels at Finite Blocklength(pdf) https://arxiv.org/pdf/2503.01504v3
[149] Finite-Length Information Theory https://www.tsc.uc3m.es/~gvazquez/finite-length-information-theory.html
: G6 \: t; k2 Q& M1 m8 r4 A[150] Linear Programming Based Finit https://ita.ucsd.edu/workshop/18/files/paper/paper_4946.pdf
[151] Tononi亲临解读丨整合信息论:意识本位的研究新范式?
https://c.m.163.com/news/a/KEB5FM5A0511D05M.html
6 F* ?4 A/ I' b" u8 f9 |[152] Theory and metatheory of information science: A new interpretation https://www.researchgate.net/publication/228717437_Theory_and_metatheory_of_information_science_A_new_interpretation
[153] Formal Description of Hyperdimensional Information Emergence Theory [Dimension: 12] v36.0 https://github.com/loning/universe/blob/cosmos/formal_theory/formal_theory_hyperdimensional_information_emergence_en.md
0 C# x( a  n, v4 A[154] Debates: Does Information Theory Provide a New Paradigm for Earth Science? Emerging Concepts and Pathways of Information Physics https://agupubs.onlinelibrary.wiley.com/doi/10.1029/2019WR025270
[155] INFORMATION FLOW IN SELF-SUPERVISED LEARNING https://openreview.net/pdf?id=WfjJOEfAf7
$ |6 P7 r$ \  v7 J5 H2 p[156] Metacognitive Information Theory https://direct.mit.edu/opmi/article/116663/Metacognitive-Information-Theory
# W" c" f6 W0 F) c& c6 k- c3 ^[157] Existing in the Information Dimension https://www.taylorfrancis.com/books/mono/10.4324/9781003460541/existing-information-dimension-daniel-boyd
. _1 |8 n, k6 e- P9 v[158] 研究提出基于信息论的大模型强化学习微调框架----中国科学院
http://www.cas.cn/syky/202510/t20251024_5086105.shtml
8 }- v; b( C( ?7 H[159] Learning to Think: Information-Theoretic Reinforcement Fine-Tuning for LLMs https://arxiv.org/html/2505.10425v1
  I* H7 ]+ u6 u% d3 V  w; p[160] BackSlash: Rate Constrained Optimized Training of Large Language Models(pdf) https://raw.githubusercontent.com/mlresearch/v267/main/assets/wu25ai/wu25ai.pdf
  M' \. H  I1 ?# Y  Y% v6 V. |[161] Learning to Think: Information-Theoretic Reinforcement Fine-Tuning for LLMs https://openreview.net/forum?id=22CqLfjiVl
5 k+ G3 N) {2 g' J7 ^8 n[162] b'Understanding LLM Behaviors (pdf) https://arxiv.org/pdf/2504.09597v4.pdf
[163] Revisiting LLM Reasoning via Information Bottleneck https://arxiv.org/html/2507.18391v1
[164] One-shot Entropy Minimization https://arxiv.org/html/2505.20282v4
[165] Brain activity and cognition: a connection from thermodynamics and information theory - PubMed https://pubmed.ncbi.nlm.nih.gov/26136709/
! V$ p. p& j$ Q0 ^[166] Consciousness Research Interest Group https://oir.nih.gov/sigs/consciousness-research-interest-group
0 u8 l: G7 `& E& `' V' z) O[167] 1 Introduction https://www.frontiersin.org/journals/computational-neuroscience/articles/10.3389/fncom.2024.1510066/xml/nlm
% R; q& ^$ W5 y* L: @8 c[168] A Unified Information Theory of Subjective Cognition - Quantum Information Processing from Neuron to Consciousness(pdf) https://www.chinaxiv.org/user/view.htm?filetype=pdf&uuid=cd3029f5-3e42-4ee9-b961-8c25c71665c0
[169] Integrated information theory: from consciousness to its physical substrate - PubMed https://pubmed.ncbi.nlm.nih.gov/27225071/
+ G, q6 u3 D8 o5 y[170] 资讯统整理论 - 维基百科，自由的百科全书
9 c3 w( C) [, Shttps://zh.m.wikipedia.org/zh-cn/%E8%B3%87%E8%A8%8A%E7%B5%B1%E6%95%B4%E7%90%86%E8%AB%96
[171] 基于信息论的智能驾驶可解释多模态感知(pdf)
# N5 P9 s2 s; Jhttp://scis.scichina.com/cn/2024/SSI-2023-0086.pdf
[172] Information-theoretic Abstraction of Semantic Octree Models for Integrated Perception and Planning(pdf) https://natanaso.github.io/ref/Larsson_OctreeAbstraction_ICRA23.pdf
. v, g+ {) d  l8 v% y6 V' x[173] Select2Drive: Pragmatic Communications for Real-Time Collaborative Autonomous Driving(pdf) https://arxiv.org/pdf/2501.12040
[174] Title:Are All Data Necessary? Efficient Data Pruning for Large-scale Autonomous Driving Dataset via Trajectory Entropy Maximization https://arxiv.org/pdf/2512.19270v1
[175] Interpretable Decision-Making for End-to-End Autonomous Driving https://arxiv.org/html/2508.18898v2
/ B/ Y4 }) n/ a$ G  z' H$ x' \[176] 基于“度量-语义-决策”空间的自动驾驶决策
http://ch.whu.edu.cn/article/doi/10.13203/j.whugis20250115
  R4 w$ D) V; M# x[177] Artificial Intelligence Applications in the Development of Autonomous Vehicles: A Survey https://www.ieee-jas.net/en/article/doi/10.1109/JAS.2020.1003021
4 \3 c5 h4 f1 f[178] (pdf) https://www.ipb.uni-bonn.de/wp-content/papercite-data/pdf/springerbook-slamchapter.pdf
4 d5 P$ W" {' P: u3 C0 v' s3 I[179] An Information Theoretic Framework for Camera and Lidar Sensor Data Fusion and its Applications in Autonomous Navigation of Vehicles. https://deepblue.lib.umich.edu/handle/2027.42/107286
[180] Efficient Optimization of Information-Theoretic Exploration in SLAM(pdf) http://aaai.org/Papers/AAAI/2008/AAAI08-217.pdf
: `1 Y# j7 Z+ A$ e0 p8 b1 @[181] (pdf) http://congres.cran.univ-lorraine.fr/2014/ICIUS%202014/Registrated%20Papers/Paper%20130.pdf
[182] Simultaneous Localization and Mapping (SLAM) https://courses.csail.mit.edu/6.141/spring2015/pub/lectures/Lec16-SLAM.pdf
, F, h0 i! H: a; \& F' t[183] Versatile Inference Algorithms using the Bayes Tree for Robot Navigation https://dspace.mit.edu/handle/1721.1/148286?show=full
2 _( y# M- y9 k" T& G[184] Simultaneous Mapping and Localization with Sparse Extended Information Filters: Theory and Initial Results https://www.researchgate.net/publication/227066628_Simultaneous_Mapping_and_Localization_with_Sparse_Extended_Information_Filters_Theory_and_Initial_Results