维语网页中n-gram模型结合类不平衡SVM的不良文本过滤方法后印本

作者： 如先姑力·阿布都热西提 ¹ 亚森·艾则孜 ¹ 郭文强 ²
作者单位：

1. 新疆警察学院信息安全工程系

2. 新疆财经大学计算机科学与工程学院
提交时间：2018-10-11 09:20:10

摘要: 随着新疆地区网络的建设发展，产生了大量维吾尔语网页。为了构建健康网络环境，提出了一种结合n-gram统计模型和类不平衡支持向量机（SVM）分类器的维语文本过滤方法。首先，将网页文本进行预处理操作，通过n-gram统计模型来初步提取词干；然后，对词干进行语义分析，将具有相似含义的词干聚合为一类，以此降低词干维度；最后，在传统SVM中引入一个控制超平面之间距离的参数，构建一种类不平衡SVM，使其能够很好地分类具有非线性不可分和不平衡性的维吾尔语文本。实验结果表明，该方法能够准确分类出不良文本，且具有较短的分类时间。

维吾尔语网页不良文本过滤 n-gram词干提取类不平衡SVM

分类： 计算机科学 >> 计算机科学的集成理论

期刊：

计算机应用研究

投稿状态： 已在期刊出版
引用： ChinaXiv:201810.00040 (或此版本 ChinaXiv:201810.00040V1)
DOI:10.12074/201810.00040V1
CSTR:32003.36.ChinaXiv.201810.00040.V1
科创链TXID： 4c149d25-0603-4cb2-9907-d27f560036ad
推荐引用方式： 如先姑力·阿布都热西提,亚森·艾则孜,郭文强.维语网页中n-gram模型结合类不平衡SVM的不良文本过滤方法.计算机应用研究:https://chinaxiv.org/abs/201810.00040.[ChinaXiv:201810.00040V1] (点此复制)

版本历史

[V1]

2018-10-11 09:20:10

ChinaXiv:201810.00040V1

下载全文

1. 一种基于BERT和文本相似度的先进的ICD9术语标准化方法	2020-10-27
2. 基于双向LSTM和GBDT的中医文本关系抽取模型	2018-10-11
3. 维吾尔文情感分类特征建设研究	2018-10-11
4. 基于WMF_LDA主题模型的文本相似度计算	2018-06-19
5. 利用N-gram和语义分析的维吾尔语文本相似性检测方法	2018-05-24
6. 维吾尔文论坛中基于术语选择和Rocchio分类器的文本过滤方法	2018-05-18
7. 一种改进过采样算法在类别不平衡信用评分中的应用	2018-04-12


公开评论匿名评论仅发给作者

维语网页中n-gram模型结合类不平衡SVM的不良文本过滤方法 后印本

版本历史

相关论文推荐

维语网页中n-gram模型结合类不平衡SVM的不良文本过滤方法后印本