招标书15154--网络爬虫软件
各公司、厂商:
上海理工大学管理学院因教学科研的需要,拟购买网络爬虫软件,现网上公开采购信息。欢迎投标!
一、 设备需求清单
网络爬虫软件一套(包括服务器端安装软件和客户端安装软件)
二、主要技术指标:
系统基于云计算技术架构,具备强大稳定的全网数据搜索和采集能力,保证了数据采集的安全性、准确性和可用性。此次采购供货单位需提供≥30个私有云,≥10个客户授权数,≥2个采集模板,日采集数据量不少于50万条每天。
具体功能有:
1:通用性数据采集系统
网站覆盖度广:全网通用,采集范围覆盖国内外数主流网站,支持多语言采集。
采集准确性高:利用先进的浏览器网页解析技术,精准识别采集目标,自定义采集内容,过滤无关链接和广告等垃圾数据。
可视化设计流程:无需专业知识,会上网即可进行使用
2:先进的分布式云采集模式
运行稳定性强:采用先进的云计算分布式架构,保证了采集进程 7×24 小时稳定运行。
海量数据高效采集:采用分布式云集群部署方式,集群可以进行热插拔,规模大小可以灵活变动
云采集定时控制计划:采集任务可以设置定时执行计划,自动采集,自动存储导出,实现真正的无人值守。
3:通用的数据 API 接口
系统将采集到的非结构化和半结构化互联网数据,经过数据系统处理后,得到标准化高价值的数据,存储到传统关系型数据库中,通过 API 接口供用户调用,提高数据资源利用率,促进数据共享,提升数据价值。
4:多用户协作管理平台
多用户管理:可以自主分配用户账号,进行用户权限的管理,利于团队协作。
云端调度和云进程监控:可实时监控服务器运载情况,设置任务优先级,分配资源,查看任务进程。
数据协作分享:系统内部支持多用户的采集规则,数据上传,共享,提高团队内部协作效率
5:完善的整体架构方案
系统内置数据采集系统,数据仓库,数据整合接口为一体化的解决方案,该系统可以独立部署在企业内部,进行外网抓取。也可以部署在内网,进行隔离环境运行。同时八爪鱼采集系统还支持二次开发,可以实现与企业内部系统的无缝对接。
6:分布式云集群部署,海量数据处理能力
系统通过一套中央控制处理机制连接了用户端和云集群服务端。中央控制器接收用户指令,把任务分派到云端的各个节点进行工作,每个云节点相当于一台单机的处理能力,云集群可以实现自动负载的均衡,进行动态伸缩,日均数据千万数据轻松搞定。同时分布式云集群的方式还可以帮助用户轻松避开多防采集措施。
7、强大的数据处理协作平台
系统提供采集强大稳定的采集功能,并提供采集规则配置、采集任务调度、采集任务监控、采集内容管理等丰富全面的管理功能。
8、部署环境:
支持系统:32/64 位 XP / Vista / Win7 / Win8 / Win8.1,并且本软件需要.NET3.5 SP1 支持,Win 7/8 已经内置支持,无需下载,但 XP 系统需要安装,软件会在安装时自动检测是否安装了.NET 3.5 SP1
三、商务及技术服务要求:
1. 投标方在中华人民共和国境内注册、具有独立法人资格、有能力提供招标项目要求的技术及服务,具有良好的商业信誉。
2. 交货及验收:合同签订后1个月以内交货,由用户按合同及产品技术标准验收。
3. 安装调试:供应单位负责将设备系统送达到买方指定地点,在用户现场安装、调试至验收合格,并交付使用。
4. 技术服务及支持:根据用户要求在验收后一年内,不限次对用户相关人员进行使用培训;使参与此项目人员能够完全掌握系统的使用;掌握系统正常情况下的安装、维护及故障排除;供应单位应对最终用户使用中出现的问题及时给予解决,解决方式根据需要可采用上门服务或远程技术支持;
5. 质量保证和售后服务要求:自验收之日起,提供一年的软件免费保修及升级服务,包括免费提供7x24小时及当日四小时上门维护服务。超出维保期后,如果需要继续提供维护及培训服务,维保费用由双方另行协商。
四、其它
技术负责人:纪老师,电话:13901747329
招标截止日期:2015年11月16日上午10:00(标书一式二份密封盖章并注明标号)
标书请寄:上海市军工路上海理工大学公共服务中心102室资产设备与实验室管理处(建议顺丰快递或专人送)
邮 编: 200093
联系电话(传真):021-55272339
联 系 人:费老师
上海理工大学设备招标领导小组
2015年11月6日