火车头采集器网址采集规则获取内容网址的设置方法_火车头采集器教程-织梦者
当前位置:&>&&>& > 火车头采集器网址采集规则获取内容网址的设置方法
火车头采集器网址采集规则获取内容网址的设置方法
&获取内容网址
有常规模式和高级模式两种。
1.常规模式：该模式默认抓取一级地址，即从起始页源代码中获取到内容页A链接。
它有2种方式：a.自动获取地址链接 b.手动设置规则获取。
2.高级模式：该模式对0级，多级，POST类型网址的抓取有效。
即起始网址就是内容页网址；
或者需要对多级列表网址采集才能得到最终内容页链接；
或者是post网址类型抓取等情况下使用高级模式。
下面对常规模式采集进行具体说明
高级模式 详细教程后续***
[常规模式]a.自动获取地址链接
自动获取地址链接:自动获取该级列表页中所有的a标签&a href=&URL&&内的URL链接
如新浪内地新闻：
获取结果如图：
共81个一级网址，但实际我们需要抓取的1级网址是每页40个，
所以我们可以通过区域设置和链接过滤设置 来获取我们所需要的链接。
用谷歌在网页上右击&&查看网页源代码，分析源码得出：
开始字符串为&ul class=&list_009&&&
结尾字符串为&&!-- 分页 begin --&
这样我们再点击网址采集测试，可以看出结果是正确的。
[常规模式]b.手动设置规则获取
对于有些由脚本生成的网址，采集器不能自动识别，此时就要手动设置规则获取了。
手动设置规则获取设置原理是编写脚本规则，去和源代码里的内容匹配，获取到自己设置的参数即可。
其中提取规则里的[参数]，(*)&，[标签:XXX]&都是通配符，可以统配任意字符，
区别在于[参数]有返回值，一般用于拼接地址，(*)没有返回值，[标签:XXX]有返回值，返回值给标签。
如新浪内地新闻：
有如下源码：
&li&&a href=&.cn/c/nd//doc-ifxirmpy1472664.shtml& target=&_blank&&山西公布政府部门责任清单 建立拒腐机制&/a&&span&(10月10日 20:20)&/span&&/li&
&li&&a href=&.cn/c/nd//doc-ifxirwnr6902154.shtml& target=&_blank&&河南登封市长被举报建寺涉贪 与释延鲁关系密切&/a&&span&(10月10日 20:14)&/span&&/li&
&li&&a href=&.cn/c/nd//doc-ifxirmqc5006034.shtml& target=&_blank&&张家界国土局副局长涉严重违纪被查&/a&&span&(10月10日 19:45)&/span&&/li&
此时，我们可以取其中的一条代码作为循环匹配，把我们要获取的链接替换成[参数]，需要采集到的值替换成标签。 如：
&li&&a href=&[参数]& target=&_blank&&[标签:title]&/a&&span&([标签:time])&/span&&/li&
这些内容可能对你也有帮助
更多可查看火车头采集器教程列表页。
猜您也会喜欢这些文章查看: 2537|回复: 2
‘开始采集地址’后面的附加参数是干什么用的？如图
火车车厢 节
如图，在那个网址后面附加的“&1,3,1,false,false&”是干什么用的？
不带这个参加可以？
本帖子中包含更多资源
才可以下载或查看，没有帐号？
火车车厢 节
“&1,3,1,false,false&”
1，3，1表示列表页的数字变化从1-3，间隔倍数为1。
false,false 是后面那个补零和倒序的开关
火车车厢 节
& & 好的，谢谢~明白了
温馨提示：建议您联系官方定制服务，通过官方支付方式完成支付。您与其他非官方账号发生的交易，我方概不承担责任。网络有风险，交易需谨慎
Copyright &
&Template by
All Rights Reserved.
Powered by热门搜索：
您当前的位置:>>招标项目详情
桐乡市城乡规划局POI地名地址采集项目(第二次)的公开招标公告
桐乡市城乡规划局
地名地址采集项目
的公开招标公告
根据《中华人民共和国政府采购法》、《政府采购货物和服务招标投标管理办法》等规定，受桐乡市城乡规划局委托，就下列项目进行第二次公开招标，欢迎国内合格的投标人前来投标，现将有关事项公告如下：
招标编号：
（采购）201712
二、采购组织类型：
分散采购委托代理
三、招标方式：
四、项目名称：
地名地址采集项目
五、采购内容及数量
预算金额(万元)
简要技术要求、用途
地名地址采集项目
详见招标文件的招标范围和技术要求
六、投标人的资格要求
符合《中华人民共和国政府采购法》第二十二条规定；
具有地理信息系统工程、互联网地图服务测绘乙级及以上资质，并具备相关经营范围及同类项目经验；
必须承担过类似的POI地名地址采集项目，熟悉国家及浙江省地方标准方面相关技术规范；
．本项目不接受联合体投标。
七、报名及招标文件发售方式
报名及发售时间：日至8月31日（每天上午8：30--11：00，下午14：00--16：00，法定节假日及公休日除外）
发售地点：
嘉兴市千秋工程咨询有限公司（桐乡市梧桐街道复兴南路65号三楼313办公室）
招标文件售价：工本费每本500元，售后不退。
八、购买招标文件时应提供资料
（复印件需加盖单位公章）
单位介绍信、企业营业执照副本、企业资质***、类似项目业绩证明材料（合同）。（上述资料需提供原件和复印件，复印
件加盖单位公章，原件审查后退回）；
八、联系方式
桐乡市城乡规划局
联系人： 刘女士
联系***：1
采购代理机构名称：
嘉兴市千秋工程咨询有限公司
桐乡市梧桐街道复兴南路65号三楼
联系人：赵女士
联系***：3
桐乡市城乡规划局
采购代理机构：
嘉兴市千秋工程咨询有限公司
附件信息：