电商与营销
项目开发与招商合作,减少重复建设、降低试错成本
  • iWebCrawler 百度谷歌搜索爬虫加速工具1.0开源版发布
  • iWebCrawler 百度谷歌搜索爬虫加速工具(iWebCrawler 搜索爬虫加速工具)
    系统简介:
    iWebCrawler搜索爬虫加速工具提供常见搜索引擎日志分析(重点是百度爬虫);可根据网站提供的符合格式的百度sitemap网站地图,把每天的新产出链接主动推送给百度推送接口,并且能够在推送前过滤掉百度爬虫已抓取链接及系统已推送的链接,从而加快网站收录速度,提升网站权重。可根据用户要求为用户定制百度sitemap网站地图生成功能模块,支持生成百度Sitemap协议三种格式:文本格式、xml格式、Sitemap索引格式,可以根据自己情况来选择任意一种格式组织sitemap;如果文件很大,可以自动拆分为几个小的Sitemap。主动推送功能可以支持任何网站(只要能提供符合格式的百度sitemap网站地图)
    本系统共分三部分
    一、
    爬虫访问记录分析
    二、
    生成百度sitemap网站地图(商业版,可定制)
    三、
    主动推送站点新产出链接(商业版)
    使用说明
    首先导入数据库文件(data文件夹限定site.sql),初始化系统配置

    一、 爬虫记录分析:
    可以分析baidu,google,360,sogou,soso,Yahoo爬虫日志,重点是百度爬虫日志分析
    1. log日志文件分析
    用户需要根据服务器环境选择对应配置


    备注:后台系统配置里的服务器日志环境选择完毕后,日志分析可能显示不对,此时需要根据服务器日志格式手动配置config.php文件,修改对应下标
    在bd_config.php文件夹下面把log_root变量更改为对应文件夹名称(默认apache)

    最后服务器log日志文件上传到log文件夹下的对应目录(只上传文件,不能是文件夹)

    备注:系统在每个文件夹下面已经上传了一个示例文件,仅供用户演示效果,可以删除掉示例文件 效果演示截图

    2.百度爬虫记录 把最新的日志文件里的百度爬虫记录导入到数据库

    二、
    生成百度sitemap网站地图(商业版,可定制)
    支持生成百度Sitemap协议三种格式:文本格式、xml格式、Sitemap索引格式,可以根据自己情况来选择任意一种格式组织sitemap;如果文件很大,可以拆分为几个小的Sitemap。可以根据用户需要定制此功能模块。
    三、主动推送站点新产出链接(商业版)
    先把网站地图文件上传到sitemap文件夹下面(提示:1.只能上传文件,不能是文件夹;2.用户上传的sitemap文件必须符合百度Sitemap协议支持的三种格式:文本格式、xml格式、Sitemap索引格式)

    点击启动主动推送,系统会自动遍历文件所有链接,过滤掉已推送链接与爬虫已抓取链接,只推送新链接到百度接口
    后台登录密码默认为abc123

    iWebCrawler 百度谷歌搜索爬虫加速工具1.0开源版
    立即下载





  • 0
  • 0
  • 0
  • 68
  • 2018-06-14 15:40

发布于 4 天 以前





登录 没有账号请 注册
公开的全部图册
认识更多用户
有 44 张图片
有 0 张图片
有 0 张图片
有 4 张图片
有 356 张图片


© 2009-2018 数开网-专注网络营销、推广引流、外贸SEO及企业自助建站的创业团队项目协作、网上兼职外包众包开源社区