人工智能-信息熵、平均分支因子

Infomation Gain,Average Branching Factor

Posted by Kingtous on May 27, 2019

信息熵(Infomation Gain)

计算公式:

H(S)此数使用交叉熵(Entropy)

$Entropy=-\sum_{i=1}^{K}p_klog_2{p_k}$

$Gini=1-\sum_{i=1}^{K}{p_k}^2$

$Classification~Error = 1-max_{i}p_k$

示例

Wind(9+,5-) -> Weak(6+,2-)

​ |

​ V

Strong(3+,3-)

Wind:

Weak,Strong同理可得

PS:若要作为测试结点,Gain需要最大

互信息

平均分支因子(Average Branching Factor)

平均在每个格子能移动的步数的平均数

以八数码为例:

1 2 3
4 5 5
7 8  

四角(1,3,7,空格)可向2个方向移动

四角中心(2,4,6,8)的4格可向3个方向移动

中心(5)的一格可向4个方向移动

故可计算:

参考