ID3算法

ID3算法 (Iterative Dichotomiser 3 迭代二叉树3代)是一个由Ross Quinlan发明的用于决策树的算法.

这个算法是建立在奥卡姆剃刀的基础上: 越是小型的决策树越优于大的决策树(简单理论).尽管如此,该算法也不是总是生成最小的树形结构.而是一个启发式算法.奥卡姆剃刀阐述了一个信息熵的概念:

$I_{E}(i)=-\sum _{j=1}^{m}f(i,j)\log _{2}f(i,j).$