搜狗微信公众号采集方法.docx

微信公众号采集方法
本文介绍使用八爪鱼采集搜狗微信文章（以采集搜索“八爪鱼大数据”出现的文章为例）的方法
采集网站：/
使用功能点：
分页列表信息采集
-?t=1
URL

相关采集教程：
58同城信息采集
豆瓣电影短评采集
步骤1：创建采集任务
1）进入主界面，选择“自定义模式”
（搜狗微信公众号采集方法图1）
2）将要采集的网址URL复制粘贴到网站输入框中，点击“保存网址”
（搜狗微信公众号采集方法图2）
步骤2：创建翻页循环
在页面右上角，打开“流程”，以展现出“流程设计器”和“定制当前操作”两个板块。点击页面中的文章搜索框，在右侧的操作提示框中，选择“输入文字”
（搜狗微信公众号采集方法图3）
输入要搜索的文章信息，这里以搜索“八爪鱼大数据”为例，输入完成后，点击“确定”按钮
（搜狗微信公众号采集方法图4）
“八爪鱼大数据”会自动填充到搜索框，点击“搜文章”按钮，在操作提示框中，选择“点击该按钮”
（搜狗微信公众号采集方法图5）
4）页面中出现了“八爪鱼大数据”的文章搜索结果。将结果页面下拉到底部，点击“下一页”按钮，在右侧的操作提示框中，选择“循环点击下一页”
（搜狗微信公众号采集方法图6）
步骤3：创建列表循环并提取数据
1）移动鼠标，选中页面里第一篇文章的区块。系统会识别此区块中的子元素，在操作提示框中，选择“选中子元素”
（搜狗微信公众号采集方法图7）
2）继续选中页面中第二篇文章的区块，系统会自动选中第二篇文章中的子元素，并识别出页面中的其他10组同类元素，在操作提示框中，选择“选中全部”
（搜狗微信公众号采集方法图8）
3）我们可以看到，页面中文章区块里的所有元素均被选中，变为绿色。右侧操作提示框中，出现字段预览表，将鼠标移到表头，点击垃圾桶图标，可删除不需要的字段。字段选择完成后，选择“采集以下数据”
（搜狗微信公众号采集方法图9）
由于我们还想要采集每篇文章的URL，因而还需要提取一个字段。点击第一篇文章的链接，再点击第二篇文章的链接，系统会自动选中页面中的一组文章链接。在右侧操作提示框中，选择“采集以下链接地址”
（搜狗微信公众号采集方法图10）
字段选择完成后，选中相应的字段，可以进行字段的自定义命名。完成后，点击左上角的“保存并启动”，启动采集任务
（搜狗微信公众号采集方法图11）
6）选择“启动本地采集”
（搜狗微信公众号采集方法图12）
步骤4：数据采集及导出
采集完成后，会跳出提示，选择“导出数据”，选择“合适的导出方式”，将采集好的搜狗微信文章的数据导出
（搜狗微信公众号采集方法图13）
2）这里我们选择excel作为导出为格式，数据导出后如下图
（搜狗微信公众号采集方法图14）
八爪鱼——70万用户选择的网页数据采集器。
1、操作简单，任何人都可以用：无需技术背景，会上网就能采集。完全可视化流程，点击鼠标完成操作，2分钟即可快速入门。
2、功能强大，任何网站都可以采：对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页，均可经过简单设置进行采集。
3、云采集，关机也可以。配置好采集任务后可关机，任务可在云端执行。庞大云采集集群24*7不间断运行，不用担心IP被封，网络中断。
4、功能免费+增值服务，可按需选择。免费版具备所有功能，能够满足用户的基本采集需求。同时设置了一些增值服务（如私有云），满足高端付费企业用户的需要。