victory的博客

长安一片月,万户捣衣声

0%

机器学习 | AdaBoost

AdaBoost

集成方法

集成方法(ensemble method)/元算法(meta-algorithm):将不同的分类器组合起来的组合结果

集成方法的多种形式
1.不同算法的集成
2.同一种算法在不同设置下的集成
3.数据集不同部分分配给不同分类器之后的集成

基分类器一般采用的是弱可学习(weakly learnable)分类器,通过集成方法,组合成一个强可学习(strongly learnable)分类器

弱可学习:
是指学习的正确率仅略优于随机猜测的多项式学习算法

强可学习:
指正确率较高的多项式学习算法。

集成学习的泛化能力一般比单一的基分类器要好,这是因为大部分基分类器都分类错误的概率远低于单一基分类器的。

集成方法主要包括Bagging和Boosting两种方法,Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来,形成一个性能更加强大的分类器,更准确的说这是一种分类算法的组装方法,即将弱分类器组装成强分类器的方法。

Bagging

Boosting

Bagging、boosting二者之间的区别

总结

AdaBoost

分类器性能评价

总结