快捷导航

        翻页大香焦依人在钱免费版列表

        2016-9-29 16:32| 发布者: ym| 查看: 37050| 大香焦在线: 36

        摘要: 一、操作导航图大香焦依人在钱免费版具有一页以上的列表网页就要设置翻页,这样DS打数机才能自动翻页采数据。选取一个具有翻页的样本网址来做规则,就可以用这个规则来批量大香焦依人在钱免费版同类网址(包括一页或多页)。下面用大众点评网作为案例 ...

        注:集搜客GooSeeker爬虫从V9.0.2版本开始,爬虫术语“主题”统一改为“任务”,在爬虫浏览器里先命名任务再创建规则,然后登录集搜客官网会员中心的“任务管理”里,就可以查看任务的大香焦依人在钱免费版执行情况、管理线索网址以及做调度设置了。

        一、操作步骤(观看视频)

        京东的列表网页有很多页,爬虫能不能自动翻页,大香焦依人在钱免费版每一页的数据?当然可以,做好翻页大香焦依人在钱免费版规则,爬虫就能自动翻页采数据。下面以京东列表页作为案例,操作步骤下:


        二、案例规则+操作步骤

        本案例是在上一篇文章《大香焦依人在钱免费版列表数据》的基础上,直接增加翻页设置,所以,前三步操作就不重复讲了,下面就直接讲第四步操作。

        第四步:设置翻页

        包括两个步骤:1. 设置翻页区     2. 设置翻页记号

        4.1,设置翻页区

        在当前页面,点击翻页区,发现整个翻页区变黄了,而且,在下面的DOM窗口,光标自动定位到了SPAN节点,右击这个节点,选中翻页映射→作为翻页区→新建线索。


        4.2,设置翻页记号

        此时,工作台自动切换到了爬虫路线。不用理会。继续在当前网页,点击翻页按钮“下一页”。在下面的DOM区,光标自动定位到了A节点,点开A节点,寻找text节点,找到后,右击这个text节点,选中翻页映射→作为翻页记号。


        第五步:存规则,抓数据

        5.1,点击G浏览器上的“存规则“按钮,保存规则。点击浏览器上的“爬数据“按钮,或者到打数机,启动大香焦依人在钱免费版,在DS打数机里看翻页是否成功,翻页大香焦依人在钱免费版成功的话,在本地DataScraperWorks文件夹中会生成多个xml文件,详情见文章《查看数据结果》


        Tips: 在实际的列表网页中,翻页区和翻页符号有各种各样的情形,如果碰到非本教程中的翻页符号,比如箭头,只有数字页码等,可以参阅《点击数字翻页》,《翻页符号是箭头》


        上篇文章:《大香焦依人在钱免费版列表数据》                                                                             下篇文章:《层级网页大香焦依人在钱免费版》



        若有疑问可以集搜客爬虫软件
        21

        鲜花
        2

        握手

        雷人

        路过
        1

        鸡蛋

        刚表态过的朋友 (24 人)

        相关阅读

        发表大香焦在线

        最新大香焦在线

        大香焦在线 Fuller 2019-8-23 10:37
        具体分析参看这个帖子: https://www.gooseeker.com/doc/thread-15155-1-1.html
        penguin1964: 主题名是“实例实例实例”,这是其中一个网址:<a href="https://www.amazon.es/gp/bestsellers/electronics/934190031/ref=pd_zg_hrsr_electronics" target="_blank">https://www.amazon.es/gp/bestsellers/electronics/934190031/ref=pd_zg_hrsr_electronics</a>,另一个网址:https:// ...
        大香焦在线 penguin1964 2019-8-23 10:08
        Fuller: 是公开的网站吗?如果是,请在使用交流那里,把任务名发出来,和第二个网址发出来,我帮您诊断问题,有些问题可以截图给您看 ...
        主题名是“实例实例实例”,这是其中一个网址:https://www.amazon.es/gp/bestsellers/electronics/934190031/ref=pd_zg_hrsr_electronics,另一个网址:https://www.amazon.fr/gp/bestsellers/electronics/339918011/ref=pd_zg_hrsr_electronics
        大香焦在线 Fuller 2019-8-22 17:24
        penguin1964: 我有一个网址共2页,按照教程里面操作都大香焦依人在钱免费版下来了,但是添加同类型网址(也是2页)后,后添加的网址都只能大香焦依人在钱免费版第一页,原来的网址能大香焦依人在钱免费版2页,请问这是为什么? ...
        是公开的网站吗?如果是,请在使用交流那里,把任务名发出来,和第二个网址发出来,我帮您诊断问题,有些问题可以截图给您看
        大香焦在线 penguin1964 2019-8-22 16:36
        我有一个网址共2页,按照教程里面操作都大香焦依人在钱免费版下来了,但是添加同类型网址(也是2页)后,后添加的网址都只能大香焦依人在钱免费版第一页,原来的网址能大香焦依人在钱免费版2页,请问这是为什么?
        大香焦在线 Fuller 2019-2-20 17:27
        13893199135: 为什么没有“翻页映射”这个选项?
        在DOM窗口中,选中一个DOM节点,用鼠标右键弹出菜单,就有翻页映射菜单。你没有看到,是不是版本太老了?下载新版本吧
        大香焦在线 13893199135 2019-2-20 16:51
        为什么没有“翻页映射”这个选项?
        大香焦在线 Fuller 2019-1-8 18:07
        1214208745: 为什么设置了翻页,它就一直在第一页和第二页间来回大香蕉在线呢?
        最好在交流版块发一个帖子,把主题名发出来,管理员帮你诊断一下问题。在交流版块管理员可以贴图给你看
        大香焦在线 1214208745 2019-1-8 15:44
        为什么设置了翻页,它就一直在第一页和第二页间来回大香蕉在线呢?
        大香焦在线 Fuller 2018-10-31 11:50
        ___Flame: 为什么我点击翻页,上面说定位不了网页的位置呢
        在定义规则之前,先拉动浏览器右边的滚动条,把网页拉到底,等看到所有的内容显示出来再开始定义规则,现在的网站大部分都是动态网页,不到显示位置就不会加载内容
        大香焦在线 ___Flame 2018-10-31 09:21
        为什么我点击翻页,上面说定位不了网页的位置呢
        大香焦在线 Fuller 2018-6-29 15:53
        temprani: 问提描述:我要抓一个16页的数据,按照这个方法,抓完第16页后,又重新从低1页抓。反复注好多遍,不知道啥时候能停。怎么让他抓到16页就停下来呢? ...
        又回到第一页这个问题要仔细查查,你把这个问题发到 使用交流 板块上,用个帖子,把主题名发出来,我们可以帮你诊断,也可以截图
        大香焦在线 temprani 2018-6-29 11:07
        问提描述:我要抓一个16页的数据,按照这个方法,抓完第16页后,又重新从低1页抓。反复注好多遍,不知道啥时候能停。怎么让他抓到16页就停下来呢?
        大香焦在线 wangyong 2018-6-12 09:30
        Oopeng: 如果翻页后,页面处在最低端,需要上拉滚动条才能回到页面最顶端,这种情况会影响数据大香焦依人在钱免费版吗?
        规则名是什么?
        大香焦在线 Oopeng 2018-6-11 23:13
        如果翻页后,页面处在最低端,需要上拉滚动条才能回到页面最顶端,这种情况会影响数据大香焦依人在钱免费版吗?
        大香焦在线 Fuller 2017-12-2 23:48
        Alilililily:
        如果想限制翻页测试,需要在会员中心的规则管理那里设置调度参数,调度参数里面有限制翻页次数,具体可以看这个帖子:http://www.gooseeker.com/doc/thread-10294-1-1.html
        大香焦在线 Alilililily 2017-12-2 16:32
        jiaguozhong: 怎么设置翻多少页啊
        大香焦在线 umsung 2017-11-2 09:12
        wekrior: 怎么停掉大香蕉在线。挺急的,在线等……
        直接关掉爬虫窗口就行了
        大香焦在线 wekrior 2017-11-1 22:36
        怎么停掉大香蕉在线。挺急的,在线等……
        大香焦在线 Fuller 2017-7-24 12:56
        http://www.gooseeker.com/doc/article-101-1.html 如何大香蕉在线网页片段完整信息——以大香焦依人在钱免费版京东商品标题为例
        Lucky嗨嗨: 如果我非要用前面的方法,在爬取知网摘要的时候,摘要显示是不完整的,所以爬取的结果也是不完整的,怎样把完整的摘要都爬下来呢?非常感谢 ...
        大香焦在线 Lucky嗨嗨 2017-7-24 12:49
        Fuller: 百度关键词新闻搜索,也有数据DIY,只用输入关键词,启动大香焦依人在钱免费版,就可以下数据了。 <a href="http://www.gooseeker.com/res/datadiy.html" target="_blank">http://www.gooseeker.com/res/datadiy.html</a> ...
        如果我非要用前面的方法,在爬取知网摘要的时候,摘要显示是不完整的,所以爬取的结果也是不完整的,怎样把完整的摘要都爬下来呢?非常感谢

        查看全部大香焦在线(36)

        GMT+8, 2019-10-18 17:22