第572章 信息的本质!物质or能量?信息熵!(2 / 6)
这个问题在普通人看起来十分简单,但如果想要从科学上进行严格证明那就非常困难了。
后来,随着计算机理论的出现,科学家们对于信息定量的需求越来越迫切。
于是,信息论诞生了。
它是专门研究信息的理论。
真实历史上,1948年,美国数学家、密码学家香农发表了一篇震惊学界的论文:《通信的数学理论》。
在这篇论文里,香农首次提出了“信息熵”的概念。
他借鉴了热力学中关于熵的概念,把信息中排除了冗余信息后的平均信息量称为“信息熵”。
在热力学中,熵表示微观系统可能的状态数量,或者是混乱程度。
而信息熵表示各个可能事件发生的概率。
在论文中,香农给出了信息熵的数学表达公式:h(x)=-∑plogp(p表示事件发生的概率)。
至此,对于信息的量化度量问题得到解决,科学家们以后就可以用定量的方式来研究信息。
这时,可以给信息下一个较为严格的定义:
“信息是用来消除不确定性的东西,不确定性越大,信息量越大。”
但是这里要注意一个问题。
信息熵是建立在计算机通信、01编码等基础上的严格数学概念。
它是专门为了计算机而诞生的一门理论科学。
在具体操作和计算层面上,信息熵可以理解为存储信息所需的最小比特数。
而真实世界的信息熵计算是非常非常复杂的,甚至根本没有办法计算。
一般都是通过信息熵的变化量来解决问题。
此外,同样的一句话,可能不同的人从这句话中得到的信息量都是不一样的。
比如同样一张脸,有人得出“美”的信息,有人却得出“丑”的信息。
这种带有联想和个人经验性质的抽象信息,不是香农提出的信息熵所包含的范围。
总之,香农发表这篇论文,提出信息熵概念,标志着信息论的诞生。
他本人也顺理成章地被称为“信息论之父”。
信息论出现之后,计算机理论和技术得到了飞跃式的发展。
并且催生出后来璀璨至极的信息时代。
这时,可能有人发现问题了。
“咦?那信息和麦克斯韦妖有什么关系?”
“甚至它和物理学又有什么关系吗?”
在信息论发展早期,没有人能说清楚信息和真实物理世界的关系。 ↑返回顶部↑
后来,随着计算机理论的出现,科学家们对于信息定量的需求越来越迫切。
于是,信息论诞生了。
它是专门研究信息的理论。
真实历史上,1948年,美国数学家、密码学家香农发表了一篇震惊学界的论文:《通信的数学理论》。
在这篇论文里,香农首次提出了“信息熵”的概念。
他借鉴了热力学中关于熵的概念,把信息中排除了冗余信息后的平均信息量称为“信息熵”。
在热力学中,熵表示微观系统可能的状态数量,或者是混乱程度。
而信息熵表示各个可能事件发生的概率。
在论文中,香农给出了信息熵的数学表达公式:h(x)=-∑plogp(p表示事件发生的概率)。
至此,对于信息的量化度量问题得到解决,科学家们以后就可以用定量的方式来研究信息。
这时,可以给信息下一个较为严格的定义:
“信息是用来消除不确定性的东西,不确定性越大,信息量越大。”
但是这里要注意一个问题。
信息熵是建立在计算机通信、01编码等基础上的严格数学概念。
它是专门为了计算机而诞生的一门理论科学。
在具体操作和计算层面上,信息熵可以理解为存储信息所需的最小比特数。
而真实世界的信息熵计算是非常非常复杂的,甚至根本没有办法计算。
一般都是通过信息熵的变化量来解决问题。
此外,同样的一句话,可能不同的人从这句话中得到的信息量都是不一样的。
比如同样一张脸,有人得出“美”的信息,有人却得出“丑”的信息。
这种带有联想和个人经验性质的抽象信息,不是香农提出的信息熵所包含的范围。
总之,香农发表这篇论文,提出信息熵概念,标志着信息论的诞生。
他本人也顺理成章地被称为“信息论之父”。
信息论出现之后,计算机理论和技术得到了飞跃式的发展。
并且催生出后来璀璨至极的信息时代。
这时,可能有人发现问题了。
“咦?那信息和麦克斯韦妖有什么关系?”
“甚至它和物理学又有什么关系吗?”
在信息论发展早期,没有人能说清楚信息和真实物理世界的关系。 ↑返回顶部↑