机器学习算法优缺点对比及选择（汇总篇）
|
逻辑回归属于判别式模型，同时伴有很多模型正则化的方法（L0， L1，L2，etc），而且你不必像在用朴素贝叶斯那样担心你的特征是否相关。与决策树、SVM相比，你还会得到一个不错的概率解释，你甚至可以轻松地利用新数据来更新模型（使用在线梯度下降算法-online gradient descent）。如果你需要一个概率架构（比如，简单地调节分类阈值，指明不确定性，或者是要获得置信区间），或者你希望以后将更多的训练数据快速整合到模型中去，那么使用它吧。 Sigmoid函数：表达式如下: 
优点： 1. 实现简单，广泛的应用于工业问题上； 2. 分类时计算量非常小，速度很快，存储资源低； 3. 便利的观测样本概率分数； 4. 对逻辑回归而言，多重共线性并不是问题，它可以结合L2正则化来解决该问题； 5. 计算代价不高，易于理解和实现。 缺点： 1. 当特征空间很大时，逻辑回归的性能不是很好； 2. 容易欠拟合，一般准确度不太高； 3. 不能很好地处理大量多类特征或变量； 4. 只能处理两分类问题（在此基础上衍生出来的softmax可以用于多分类），且必须线性可分； 5. 对于非线性特征，需要进行转换。 logistic回归应用领域： 1. 用于二分类领域，可以得出概率值，适用于根据分类概率排名的领域，如搜索排名等； 2. Logistic回归的扩展softmax可以应用于多分类领域，如手写字识别等； 3. 信用评估； 4. 测量市场营销的成功度； 5. 预测某个产品的收益； 6. 特定的某天是否会发生地震。 3.3 线性回归 线性回归是用于回归的，它不像Logistic回归那样用于分类，其基本思想是用梯度下降法对最小二乘法形式的误差函数进行优化，当然也可以用normal equation直接求得参数的解，结果为： 
而在LWLR（局部加权线性回归）中，参数的计算表达式为: 
由此可见LWLR与LR不同，LWLR是一个非参数模型，因为每次进行回归计算都要遍历训练样本至少一次。 优点： 实现简单，计算简单。 缺点： 不能拟合非线性数据。 3.4 最近邻算法——KNN KNN即最近邻算法，其主要过程为： 1. 计算训练样本和测试样本中每个样本点的距离（常见的距离度量有欧式距离，马氏距离等）； 2. 对上面所有的距离值进行排序(升序)； 3. 选前k个最小距离的样本； 4. 根据这k个样本的标签进行投票，得到最后的分类类别。 如何选择一个最佳的K值，这取决于数据。一般情况下，在分类时较大的K值能够减小噪声的影响，但会使类别之间的界限变得模糊。一个较好的K值可通过各种启发式技术来获取，比如，交叉验证。另外噪声和非相关性特征向量的存在会使K近邻算法的准确性减小。近邻算法具有较强的一致性结果，随着数据趋于无限，算法保证错误率不会超过贝叶斯算法错误率的两倍。对于一些好的K值，K近邻保证错误率不会超过贝叶斯理论误差率。 KNN算法的优点 1. 理论成熟，思想简单，既可以用来做分类也可以用来做回归； 2. 可用于非线性分类； 3. 训练时间复杂度为O(n)； 4. 对数据没有假设，准确度高，对outlier不敏感； 5. KNN是一种在线技术，新数据可以直接加入数据集而不必进行重新训练； 6. KNN理论简单，容易实现。 缺点 1. 样本不平衡问题（即有些类别的样本数量很多，而其它样本的数量很少）效果差； 2. 需要大量内存； 3. 对于样本容量大的数据集计算量比较大（体现在距离计算上）； 4. 样本不平衡时，预测偏差比较大。如：某一类的样本比较少，而其它类样本比较多； 5. KNN每一次分类都会重新进行一次全局运算； 6. k值大小的选择没有理论选择最优，往往是结合K-折交叉验证得到最优k值选择。 KNN算法应用领域 文本分类、模式识别、聚类分析，多分类领域 3.5 决策树 决策树的一大优势就是易于解释。它可以毫无压力地处理特征间的交互关系并且是非参数化的，因此你不必担心异常值或者数据是否线性可分（举个例子，决策树能轻松处理好类别A在某个特征维度x的末端，类别B在中间，然后类别A又出现在特征维度x前端的情况）。它的缺点之一就是不支持在线学习，于是在新样本到来后，决策树需要全部重建。另一个缺点就是容易出现过拟合，但这也就是诸如随机森林RF（或提升树boosted tree）之类的集成方法的切入点。另外，随机森林经常是很多分类问题的赢家（通常比支持向量机好上那么一丁点），它训练快速并且可调，同时你无须担心要像支持向量机那样调一大堆参数，所以在以前都一直很受欢迎。 决策树中很重要的一点就是选择一个属性进行分枝，因此要注意一下信息增益的计算公式，并深入理解它。 （编辑：核心网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
