导　　师： 何昭水

授予学位： 硕士

作　　者： ;

机构地区： 广东工业大学

摘　　要： 支持向量机是机器学习研究中的一个重要的分支，自从这一模型被提出以来取得了飞速的发展。乘性更新法则是其中一种作用于该模型目标函数的创新迭代工具，得到了广大研究者的关注。　　支持向量机的主要实现技术框架是序列最小优化（Sequential Minimal Optimi-zation, 简称SMO）算法，这种框架运算速度快，但编程复杂。为了便于实现编程， Sha Fei提出了基于乘性更新法则的非负二次规划算法。这种算法的优点有：（1）运算简单，易于编程。二次规划的所有变量可以并行运算。不同于 SMO 算法每次只能同时对两个变量进行迭代。（2）对硬件要低。　　支持向量机目标函数的求解可以等价为带有约束条件的二次规划的优化。Sha Fei 算法提供了一种直接优化的乘性更新法则，即不需要固定的工作子集，也不需要对每一步的学习率仔细检查，使得所有的支持向量可以并行迭代。该算法进一步在等式约束的非负二次规划中直接求解出等式约束系数的迭代公式，从而推导出乘性更新法则并将其运用于支持向量机中。大量实验表明，其运算速度比SMO慢。　　本文针对Sha Fei框架运算速度慢这一缺点，开展了以下工作，提出了一种新算法：　　（1）在求解非负二次规划问题中，本文在Sha Fei框架的基础上重新构造辅助函数，提出一种新的乘性更新法则。该更新法则的数学表达式中无根号运算，相比于Sha Fei框架算法，更易于编程实现。该法则的理论基础是把半正定矩阵分解为两个矩阵，分别包含半正定矩阵的正负元素。对正元素部分构造辅助函数，其构造方法类似于Sha Fei框架中该矩阵辅助函数的构造。不同的是，负元素部分的辅助函数构造不再利用对数函数来构造而是直接利用一个简单的线性函数来构造，从而推导出新的乘性更新法则。　　（

关 键 词： 支持向量机 非负二次规划 机器学习 乘性更新规则

领　　域： []