从信息论到信息科学理论论文

开篇：润墨网以专业的文秘视角，为您筛选了一篇从信息论到信息科学理论论文范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

(一)

在科学史上，对通讯的研究并不是什么新鲜事，甚至在牛顿以前，这类问题就在物理学中出现了，特别是在费尔马、惠更斯和莱布尼茨的著作中出现过。

然而，信息作为具有一般性质的科学概念的提出乃是近代科学史上的一个重大成就。它的提出可以追溯到19世纪。随着奥地利物理学家玻耳兹曼把统计学彻底地引人物理领域，使物理学家对客观世界中存在的不确定性和偶然性不得不加以考虑，从而把研究偶然性作为一种科学方法最早引入物理学。玻耳兹曼把嫡(H)函数引人统计物理学，对嫡首先作了微观解释，指出墒是关于一个物理系统分子运动状态的物理量，表示系统的混乱程度，并且首次把嫡和信息联系起来。在物理学领域中，把研究偶然性作为一种明确的科学方法，并且把嫡与信息联系起来，就为信息的料学概念的产生、信息量的测度提供了方法与理论前提，虽然他们的研究在当时已经涉及到有关信息方面的问题，但限于当时的科学技术水平，未能明确地定义信息概念。

在19世纪，除了物理学中引人统计方法外，在通信领域中，在处理编码问题上也包含有统计的思想，这就是1832年莫尔斯(5.F.B.M。rse)提出的点•划莫尔斯电码，当时有意识地引入一个新的因素，就是统计的观点。莫尔斯在设计他的电码时，将常用字的码编得短些，不常用字的码编得长些，这样可以节省传输时间，提高传输效率。不过当时未能对此进行科学的总结，未能应用相应的数学工具予以定量描述。

本世纪20年代奈奎斯特(H.Nyquist)与哈特莱(L.Hortley)最早研究了通信系统传输信息的能力，提出用对数作为信息量的测度。1924年，奈奎斯特发表了《影响电极速度的某些因素。。四年后(1928年)，哈特莱发表了仅信息传输、，首次提出了消息是代码、符一号，它是具体的，代表着信息的具体方式。消息中载荷着信息，信息是包含在消息中的抽象量，从而区别出信息和消息在概念上的不同。并且提出用消息出现概率的对数来度量其中所包含的信息，如从s个符号中选出N个符号组成一则消息，则共有S”个可能性，其信息量用对数表示则为:H二NlogS。哈特莱的这一理论可以看作是现代信息理论的起源，从而为申农(c.sh。nn。n)的信息论奠定了思想基础。进人40年代后，随着雷达、无线电通讯和电子计算机、自动控制相继出现和发展，以及防空系统的需要，促使许多科技工作者在各自的工作岗位_L对信息问题进行了大量的研究，正是由于实践的推动，使得许多科学家能够从不同的角度对信息论中的一些概念和理论得出一致的结论。维纳在t控制论，一书中指出，单位信息量的思想差不多在同一时候由好几位科学家提了出来，其中有统计学家费希尔(R.A.Fisher)以及申农和维纳本人。可见，信息概念、信息量以及信息理论的产生有其历史的必然。

1948年申农发表了著名论文《通讯和数学理论》，1949年又发表了另一篇论文‘在噪声中的通信，。当时，申农在贝尔电话公司工作。在研究过程中，他为了对信息进行数学处理，就需要把通信系统中的信号、消息等等具体内容(如信息的语义)舍弃，把信源发生的信息仅仅看作一个抽象的量。同时，由于通信的对象—信息具有随机性的特点，因此申农把用于物理学中的数学统计方法移植到通信领域，从而提出了信息嫡的数学公式，从量的方面来描述信息的传输和提取的问题，并由此给出信息的定义，提出了信息量的概念。中农在，通信的数学理论》一文中，把信息定义为“两次不定性之差”，通信就是减少或消除通信者的某种不定性，而收信人被消除的不定性的大小就表示其所收到的信息量。对信源自身的信息量用什么名称表示呢?申农采用了嫡这一概念，在使用这一概念时，申农曾征求过著名数学家冯•诺意曼(J.v.Neumann)的意见，当时申农曾想把它称为‘不定性，，诺意艾建议可以称它为“嫡”，其理由之一是‘不定性，函数在统计力学中已经用在墒的概念下面。可见申农的信息嫡概念是从物理学中借用过来的。他用来表示信源信息量的墒公式与热力学嫡公式有一区别，在信息量公式中冠以负号，而热力学中则没有。维纳曾说过:“信息量是一个可以看作几率的量的对数的负数，实质上就是负墒。”①这一点恰恰说明，它与热力学公式所代表的方向相反，不是表示系统的无序状态，而是表示系统的有序程度，表示系统获得信息后，无序状态的减少或消除。除了上述贡献外，申农还提出了通信系统模型以及编码定理等方面有关信息理论的问题。申农的这两篇著作奠定了现代信息理论的基础，而申农也因此成为信息论的奠基人。此后，信息论就成为一门独立的边缘学科。

40年代通信工作所遇到的一个突出问题就是怎样从收到的信号中滤除各种噪声，以及在控制火炮射击的随动系统中如何跟踪一个具有机动性的活动目标，而噪声的瞬时值或射击目标位置的有关信息都是随机的，这样，也就要求用概率和统计方法进行研究，用统计模型进行处理。维纳正是在研究这些问题的基础上，差不多和申农同时发表了两本著作:《控制论，(1948年)与。平稳时间序列的外推、内插和平滑化，(1949年)。维纳从控制和通信的角度研究了信息问题，主要是从自动控制的观点研究信号被噪声干扰时的信号处理问题，建立了“维纳的滤波理论”(通信与控制中的滤波问题，指的是从获得的信号与干扰中尽可能地滤除干扰，分离出所期望的消息)。接着在1950年发表了，人有人的用处》一书。在上述著作中，维纳提出了测量信息量的数学公式，叙述了信息概念形成的思想前提，同时把信息的概念又进一步推广，认为信息不仅是通信领域的研究对象，而且与控制系统有密切联系。维纳正是抓住了通信与控制系统的共同特点，站在一个更为概括的理论高度，揭示了它们的共同本质，即通信与控制的共同特点的关键并不是环绕着电工技术，而是环绕着更为旅本的信息概念。因此维纳把信息概念在更为一般化的形式中概括为“信息是组织程度的度量”，“是负墒”，“是我们适应外部世界，并且在使这种适应为外部世界所感到的过程中，同外部世界进行交换内容的名称。”从维纳给出的信息定义中可以看出，维纳把信息的概念进一步扩大到控制论领域，把信息看作是人、动物或机器等控制系统与外界进行调节过程中相互作用、相互交换的内容。控制系统通过与外界交流信息，达到实现最佳控制的目的，因此信息论成为控制论的一个基础理论。美国的另一名统计学家R.A.费希尔则从古典统计的理论角度研究了信息理论，提出了单位信息量问题。

由上可知，申农、维纳、费希尔各自从不同的方面(申农从信息编码方面、维纳从滤波理论方面，费希尔则从古典统计理论方面)研究了信息概念、信息量以及其他信息理论问题。虽然角度不同，但却有着共同之处:他们认为通信的对象带有随机性，通信的目的在于消除收信人的不定性，因此信息就是消除不定性，即负嫡，要对消息作定量的研究，就必须略去其具体质的方面和相应的具体内容，把信号的共同特征抽取出来，单纯从量的方面进行度量，为此就要用统计平均信息的概念来量度它的概率分布，从而提出用统计数学方法处理通信的理论问题。维纳和申农各自证明，如果某事件具有n种独立的可能结果:x，，xZ，“一x。，这些结果出现的概率分别为p(x:)，P(x:)，“一p(x。)，且有艺P(x;)=‘，则该事件所具有的不‘。l定性数量H(x)(嫡函数)为:.H(x)(嫡函数)一艺p(x、)‘ogp(x;)1.1当对数底为2时，H(x)的单位为比特(Bit)a信息量等于被消除的不定性的数量，这是申农等人信息理论最重要的结果之一。从此，通信科学就由定性阶段进人定量阶段，并为信.良论及信息科学的研究奠定了初步的理论基础。

申农、维纳等所提出的信息、信息量的概念及信息理论，只能对某些信息作定量的描述，而对信息的质和其他方面则未予考虑。如信源所发出的信息，它的语义(意义)如何:怎样对它定量描述r信宿收到信息后的效用如何，价值如何，怎样定量?这些问题涉及意义信息、有效信息、相对信息、主观信息等等问题，这些正是申农理论不足之处。正如韦弗尔(w.weover)于1949年在，通信的数学理论的近期成就，一文中所指出的，申农信息论所企图解决的是技术问题，不涉及意义问题和实效性问题。1953年哥尔德曼(5.Goldmon)也曾经指出过申农理论的缺点，提出申农的信息理论并没有考虑信息的内容以及接受者对它的使用价值和重要性。这些问题，申农当时虽然知道，但限干历史条件，却未能加以解决。

(二)

任何信息都包含三个方面，即从客观描述信息量的统计模型、语义(意义)信息和有效信息(信息价值)。早在1949年，韦弗尔与申农曾经共同提出过信息问题可分为三级:第一级即申农所研究的向题，称通信的技术问题，第二级是信息的意义问题;第三级是信息的实效性问题。由于历史条件的限制，申农的理论只是从通信的技术角度，解决信息的客观量度问题，而对第二级、第三级问题，即语义信息和有效信息，申农假定对任何观察者只是一个常数，未能予以研究。

进人70年代，申农的信息理论已经越过通信领域，而广泛渗人其他学科。特别是随着系统科学的进展，人们所研究的领域已经进入复杂系统、大系统、超大系统，如航天、人脑、社会经济、智能等各种复杂的大系统，这类系统不仅结构与功能复杂，涉及大量的参数与变量，而且具有模糊性，因而不能不考虑信息的产生、使用，从而涉及信息的语义和信息的效用，以及模糊信息等问题。所以仅仅研究给定的信源以及它所发出的信息统计特性是远远不够的。正是由于这种需要，即研究对象的扩张，因而对信息概念、信息嫡以及语义信息、有效信息等问题，要求有比以前更为确切的理解和更为一般性的理论，从而出现了信息科学。可见信息科学的提出是与大系统理论、系统工程的发展、系统科学的产生分不开的。它们在实质上都是以大系统和复杂系统作为研究对象。不过研究的角度不同，这意味着人类认识史和科学史已进入一个新的历史时期，要求在新的水平上重新对整体性的对象加以研究。

正是因为信息科学是在新的水平上以整体性的复杂系统作为自己的研究对象，因此它所研究的范围不只是通信领域中有关信息的获取、变换、传输、处理等问题，它必须克服原有的局限性，以已有的申农信息理论为基础，并与计算机和自动化科学技术、生物学、数学、物理学等各门学科紧密联系，加以发展，所以它所研究的领域要比申农信息论的范围广;同时要克服申农理论的缺陷，研究申农理论中未能解决的问题，如语义信息、有效信息、模糊信息等等。关于这方面的问题，目前也有一些人在进行研究。

语义(意义)信息是指信源发出的信息所包含的意义。任何物体所发出的信息必须具有一定的意义。如用语言表述，则指信息的语义。从广义方面看，人、动物、机器的行为和动作都有一定的意义，如体育教员的示范动作，蜜蜂的舞蹈，昆虫分泌信息素的气味等等都具有一定的含义。从信源发出的信息，如果只从客观的量的方面看，信息量可以相等，但是信息量相等的信息，其意义可以完全不同，比如人们发出“0”的声音，频率不变则没有意义;音调如有变化，当变成阳平(第二调)就表示“哦，怎么啦?”，这里带有疑问的含义，如再变为去声(第四调)，那就表示“啊l我明白了l”，说明问题得到解决，同样三个“0”，其嫡(H)从客观方面看是相等的，但意义却不相同，而且这些不同意义的信息是否能够为信息接受者所理解，理解的程度又如何等等，也因信息接受者的不同而不同。所以关于信息的意义问题，涉及信息发送者发出消息的含义如何定量，同时也涉及信息接受者对发送者的意图的理解程度如何定量，因而涉及信息发送者与接受者双方的主观因素。

有效信息是指信源所发出的消息被收信人收到后所起的效果和作用(亦称信息、的价位)。同样的消息对于不同的对象，在不同的时间、地点和条件，其价值和效果可以完全不同，所以有效信息亦称相对信息。信源发出某一消息，其内容相同，信息墒(H)相等，但对不同的人具有不相等的价值。而同一条消息，对同一对象，在不同的时间、地点和条件，其价位也不一样。

1968年贝里斯(M.Belis)和高艾斯(s.Guia，u)①对信息的量和质(信息的效用)统一迸行考虑，首先提出信息的“量一质”统一量度。他们在已有的有关参量外引人新的参量，即在申农的信息结构中，引人表示实效性的“有效分布”u这一新的重要参量，U=(u、，u:”一u.)，每一个u。是第i个事件出现的效果，有效信息的结构S为EUP。。。。。。E::::::…{E姚仇EulPIree..‘wesell‘﹄一一其中，E={El，E:，……En子代表抽象的随机事件集，p={pl，p:，上的概率分布。由此可以推导证明，得到有效信息I(P，U)为……pn蛋为遍于事件Em1(p;u)一k艺uip“ogp其中。会。，工p，一1，k的意义同于申农信息量公式中所用的，它是与选用的信息单位有关的常数，如取以2为底的对数时，单位为比特，则k二1o当系统对所有事件有效性之间的差别可以忽略不计时，则u、=u(对所有i)，就有:n1(p;u)一ku艺Pi‘ogPi==uHj=1该式表示这时的有效信息是“量”的信息u倍。当有效性都是1个单位，即u，=u=1(对所有i)，则I(P;U)=I(P)=H该式表示还原为申农的负嫡，可见“量”的信息是有效信息的特殊情况。①后来有人把贝里斯和高艾斯二人所提出的量质统一量度信息称为“有效信息”。

1977年加拿大的詹马利(G.Jumarie)研究了“相对信息”，他把信息、信源和信息使用者作为一个有机整体，统一地进行考虑，在数学上作为一个三元组进行处理，由此导出与观察者相关的四个变量以及相对于另一个观察者的相对信息。他认为，对于给定的某个实际总体U(它可以是生物总体、社会总体•一)，给定的观察者R(即信息使用者)，给定了观察者R的一个系统(SIR)—它是总体u的某个子集，系统(sIR)同它的环境(515)交换信息，可以由四个状态变量来描述:内嫡H;(sIR)一R拥有的关于s的内部结构的信息量，外嫡H。(sIR)一s拥有的关于它的环境(乳s)的内部结构的信息量，它具有相对论中的时间性质;目标V(sIR)一系统希望执行的目标，变换势W(SIR)一信息在系统内转换的效率。所有这四个变量都是相对的，因为它们都依赖于观察者R，被它所制约。这四个变量类似于相对论中的时空变量，因此可以对它们施行洛伦兹变换，由这个变换就得到另一观察者R‘的相对信息:内相对信息I，(SIRIR’)一由R提供给R’的关于s的内部结构的信息，外相对信息I。(sIRIR’)一由R提供给R’的关于S的外部结构的信息。同样可以进行多级变换，从而得到多级相对信息。他认为，在一定条件下，申农信息是相对信息的特殊情况，而模糊信息也可以看作是相对信息的特例。这样，对相对信息的描述就可以作为一种研究方法，对语义信息和主观信息(它们随观察者不同而不同)进行研究。②关于语义信息、有效信息、相对信息的研究，虽然进行了一定的工作，取得了某些进展，但总的说来，还不够成熟，尚未取得令人满意的结果。

模糊信息是指现实世界中有一类事物的信息其界限是模糊的，呈现出亦此亦彼性，没有明确的界限，如疾病信息:血沉快、心率慢、胆固醇高、血压低等等，这种快与慢，高与低的界限都是很不明确的。模糊信息对应的不定性是由消息本身内容与含义的模糊度的性质引起的，而模糊度则由模糊集的测度来定义。所以把建立在模糊集合论基础上，研究由于消息①王鼎昌:““量一质”信息与控制系统”，《信息与控制，，1981年第1期，第5一6页。②钟义信:“信息的现状与未来”，《北京邮电学院学报》，1978年第1期，第72一73页。本身内容与含义的模糊不确定性而引人的信息称为模糊信息。

1965年美国控制论学者(L.A.Zodeh)提出了模糊集的概念，开辟了模糊数学这一重要研究领域。1968年他在另一篇题为:《通信:模糊算法》中提出模糊数学可以用于信息处理。他说:“所要介绍的概念在性质上虽然是模糊的，而不是精确的，但最终将证明它在很多问题，例如信息处理、控制、系统辨别、人工智能，或是更一般地说，在包含不完全或不肯定的数据决策过程中都是有用的。”①以后不少学者对模糊信息进行了不少工作。1972年意大利人A.德路卡(A.Deluca)首先研究了纯模糊性所引入的不定性，将申农的概率嫡的概念移植到模糊集上，定义了建立在模糊集合上的非概率的模糊嫡。②由于模糊性与随机性在本质上是两类不同性质的不确定性，一般模糊性是指事件本身内容及含义的不确定性，而随机性则指事件是否发生的不确定性，在实际活动中，研究模糊信息是否发生，既要考虑消息本身内容的模糊不定性，又要考虑模糊事件是否发生的随机性上的不定性，有人把这种具有双重不定性的信源称为广义信源，其信源嫡称广义嫡，要用概率、模糊集合、模糊事件概率对其进行定量描述。③当然，在模糊集合论基础上建立起来的“嫡”和信息概念，前正处于发展的初期，许多方面并不统一，因此，要建立系统的模糊信息论，还需要做大量的工作。

作者：周桂如 王雨田 单位：北京邮电学院 中国社会科学院哲学研究所)