项目名称

项目单位

山东省科学院情报研究所

项目

负责人

姓名

职称

电话

项目简介

（500字内）

该项目依托Hadoop平台为网络数据的挖掘与分析提供解决方案。研究内容包括：

1）在数据采集层，采用分布式定向采集体系架构，准确地定位包含有价值信息的目标站点，采用多机多线程、异步通讯、本地DNS缓存以及基于BloomFilter的大规模链接查重等机制实现原始数据的高效并行化采集；

2）在大数据基础支撑层，基于Hadoop架构所提供的数据存储和管理功能，分析网络中各种非结构化、半结构化的海量网络数据，按照各类型数据特点不同，自动选择合适的存储方式进行存储，并提供针对不同数据格式的导入方式；

3）在数据实时性方面，采用滑动窗口和多窗口技术分块所要处理的数据实现流数据挖掘与分析；

4）在数据分析层面，依托MapReduce提出了并行支持向量机方法、基于MapReduce模式的贝叶斯分类方法、基于MapReduce模式的K-modes聚类方法、基于MapReduce的ECLAT频繁项集挖掘方法以及基于MapReduce的关系代数运算实现数据的并行挖掘；

5）在数据可视化方面，提供多种方式的接口和访问方式实现用户的可用性和易用性。

在大数据时代背景下，该项目成功解决了海量数据的采集、分析及可视化展示等问题，技术达到国内领先。

知识产

权情况

已授权发明专利2项

1、基于网络度量指标的文档分类方法，专利号：ZL201410215328.5

2、一种基于方差的文档分类方法，专利号：ZL201410215035.7

申请发明专利8项

1、一种面向网络的多通道大数据采集系统及方法，申请号：201710142262.5

2、一种基于Hadoop的网络数据挖掘与分析平台及其方法，申请号：201710141476.0

3、一种基于大数据的招投标审核方法，申请号: 201710381502.7

4、基于VPN的分布式网络爬虫系统，申请号:201710381510.1

5、基于大数据的区域人才供给量化分析方法，申请号:201710381504.6

6、基于大数据的区域人才供需平衡量化分析方法，申请号:201710381505.0

7、基于大数据的区域人才需求量化分析方法，申请号:201710381520.5

8、网络爬虫系统的负载均衡调节方法，申请号: 201710381508.4

申请实用新型专利2项

1、保密单位网络信息采集分析系统，申请号:201720595003.3

2、中小微企业网络信息采集分析系统，申请号:201720595001.4

软件著作权9项

1、山东省科学院舆情系统V1.0，登记号：2015SR074418

2、基于MapReduce的网络爬虫系统V1.0，登记号：2015SR073880

3、基于多粒度特征表达的短文本语义扩展分类系统V1.0，登记号：2015SR075795

4、基于开放知识库的数字文献语义概念扩展及自动分类系统V1.0，登记号：2015SR073892

5、基于方差的文档分类系统V1.0，登记号：2014SR091922

6、基于网络度量指标的文档分类系统V1.0，登记号：2014SR091923

7、基于Android的手机媒体实时传输系统V1.0，登记号：2016SR203691

8、基于主题关联的跨类型数字资源混合分类系统V1.0，登记号：2016SR203693

9、自进化网络敏感信息源定位平台V1.0，登记号：2016SR205405

成果成熟度

□实验室阶段     □小试阶段    □中试阶段    √市场化阶段

成果转化方式

 □技术转让      □技术开发     □技术入股     □股权投资

□许可使用      þ合作开发     □其他（  ）

成果转

化的融资

需求金额

30万元