大数据环境下频繁项集挖掘的研究

编号 zgly0000966530

文献类型 期刊论文

文献题名 大数据环境下频繁项集挖掘的研究

作者 李挥剑 

作者单位 交通运输部管理干部学院信息技术应用研究所 

母体文献 青岛科技大学学报;自然科学版 

年卷期 2015(2)

页码 224-231

年份 2015 

关键词 分布式数据挖掘  频繁项集挖掘  MapReduce  Hadoop  Eclat算法 

文摘内容 多种频繁项集挖掘(FIM)方法组合用来对大数据进行挖掘会暴露很多问题。针对暴露的问题,在MapReduce平台上对两种频繁项集挖掘算法进行了研究。采用两种新的大数据集挖掘方法:Dist-Eclat和BigFIM,前者侧重于速度,利用基于k-FIs的简易负荷平衡方案来解决问题。而后者通过先验变体对k-FIs进行挖掘后将找出的频繁项集分配给映射程序,通过优化后在真正大的数据集上运行。最后通过实验证明该方法时间复杂度较低,数据量越大优势将越明显,扩展效果越好。