第二十三章 信息生命体（三） (第2/2页)
好书推荐：
黑水葬
过去和未来之间的互信息，衡量某个过程可以通过观察其过去的行为来解释的未来的不确定性；主动信息 A(x)也提供了类似的度量，但它不考虑整个过程的未来，而只关注和预测过程中即将抵达的下一个状态（Lizier et al. 2012a）：
（其中
代表 x 中从时间点 n 开始过去 k 个状态：{x-+1，...， x-1， x}。）
虽然互信息允许定义和量化信息，但它只是一个对称的量，不能捕捉到随机过程之间的方向性关系（如信息传递）。为克服这一信息量化处理的局限性，Schreiber（2000）引入了传递熵（transfer entropy）的概念，它是给定某个随机过程过去（如历史信息）和一个或多个其它过程当前知识了解下，对该过程未来状态的不确定性减少的一种度量（Schreiber 2000; Kaiser Schreiber 2002）：
其维恩图表示如图2。传递熵利用时间方向性来克服互信息对称性的限制，它是对两个或多个过程之间的定向传递的预测信息的度量（Lizierprokopenko 2010），因此也不一定就意味着因果作用（James et al. 2016）；但它的逐点变量（point-wise，或局部变量）可以为集群行为的时空动力学提供有用的洞见（Lizier et al. 2008b）。