《超越学科的认知基础》2015孙一乔学习报告-第九周

第九周：《信息论、未来学校讨论》

正文

信息论

背景

信息论是谈另一个话题时提到的orientation metaphor，上课时候讨论到了经典的信息论公式 H（x）=-log（p）。

那个公式是信息熵的话题是我在课上提出来的，上课的时候放了一个视频，来讲解为关于为什么要用信息熵来表示信息量的大小，以及对信息量与-log（p）的感性认识。

由于在生活经验中没有类似的metaphor，所以很难对信息这个概念进行类比，无法直观的理解，所以一些我的同学没有听得太明白，下课跑来问我。

由于太紧张，以及问我问题的小学妹太可爱，所以没有讲的太清楚。回去以后就自己重新温习了这个概念，并且努力用类比的方式将他描述了出来。

输入

香农《信息论》

输出

定义：信息论认为信息是消除不确定性 的东西

比如：张中了彩票，这个事情消除了张是否中彩票这个事情的不确定性。

随便去找一些日常的dialog：

（1）“唐瑞祥的报告没有交” 消除了唐瑞祥可能交了可能没交的不确定性。这个信息产生之前，他交报告与否是一个不确定的事情，这个信息产生了，不确定性就消失了

（2）“收到” 消除了赵一全是否收到了TA的信息的可能性。

这些东西被称为信息。

那么：一个信息的信息量大不大，具体有多大是如何量化的呢？

信息的度量定义为H（事件）=-log（pi） pi是这件事情发生的概率。

为什么呢？从两个方面来考虑这个问题。

一、概率越小发生的事情，发生之后消除的不确定性越大，所以信息量也越大。

栗子一： 等概率从1~100产生一个数。 根据产生的结果，产生下面的三个信息 (1)这个数字是1（2）这个数字小于10 （3）这个数字小于等于50 显然：发生的概率：（1）1% （2）9% （3）50% 第三个信息消除了一半的不确定性，第二个信息消除了大半不确定性，第一个消除了所有的不确定性。 给你信息（1），你也能导出（2）和（3），所以（1）包含的信息量更大。

栗子二：8张彩票，1个是有奖的。 信息：（1）1号有奖 （2）2号没奖 这两个信息的关系很显然，能自己推导一下吗~ 课程上给的例子，你可以用这个做个对比，你可以想象有4个人ABCD，第一个例子是ABCD一人两张彩票，第二个例子是A4张，B2两张，CD各一张。

所以，一个信息里消除的不确定性事件的概率越小，信息量越大

用公式来说，假设A事件发生概率是p，信息量是H，H和p负相关。

二、（~_~好像不能用范式，只能解释一下）

           比如栗子一的实验，连续进行两次实验，叫lab1和lab2，产生两个数a，b。
           那么每一次实验完成以后，分别给出信息H1和H2，和先做完实验，再给出连续的信息H。这两个信息量应该是一样的。
           比如实验随机产生了1,99.
           第一种方式：

H1：a=1，发生的概率为1% H2：b=99 发生的概率为1% 第二种方式： H ：a=1，b=99，发生的概率为1%*1%=1%%

要满足H=H1+H2。而且p=p1*p2，显然对数满足这个性质~ H就是利用这两个结论而设计的： （1）H和p负相关 （2）H=H1+H2 分析一下~ H=-log（p）=log（1/p） （1）p越大H越小 （2）上文的例子中，H发生的概率为：p=p1*p2=1%*1%， H1和H2发生的概率都为p1=p2=1%

H=-log（1%*1%），H1=H2=-log（1%）

显然：H=H1+H2 这就是用-log（p）来代表一个信息的信息量的原因啦~log的底数是无所谓的~ 课上说的信息熵，就是这个H的均值。它代表了各个随机结果带来的不确定性的均值。 H（X）=E（X=xi）=-pi*log（pi） X是事件，xi是各个事件，pi是xi的概率，E（X=xi）是求均值，后面是套的均值公式。 你可以自己把例子带入这个范式里面去感受一下，应该就懂了~ 比如X是产生一个1~100的自然数，xi：产生的数是i，pi=1%

未来的学校

学校当前的目标是培养可满足未来需求的学习者 学校=未来实验室

参考资料

1.《超越学科的认知基础》 各小组学习报告

2讨论内容：顾学雍 清华学堂109 2015/11

3.跨越学科的认知基础 课堂内容

4.Resources from Wikipedia and Other websites