SEO培训

网络爬虫程序

百谷网站推广公司SEO培训提醒您:今天 SEO培训/SEO推广/SEO代理/SEO加盟合作-今天学SEO-明天做CEO 设为首页 | 加入收藏
SEO培训首页     seo培训中心     seo培训资料     seo人才兼职     seo工具     SEO公司     seo技术培训     SEO合作加盟  
SEO培训首页 >> seo技术培训 >>网络爬虫程序
SEO查找:

网络爬虫程序


网络爬虫程序 发布:2010-06-13 16:27:59 查看次数:2235

网络爬虫程序

网络爬虫程序Spider又叫WebCrawler或者Robot,是一个沿着链接漫游Web 文档集合的程序。它一般驻留在服务器上,通过给定的一些URL,利用HTTP等标准协议读取相应文档,然后以文档中包括的所有未访问过的URL作为新的起点,继续进行漫游,直到没有满足条件的新URL为止。WebCrawler的主要功能是自动从Internet上的各Web 站点抓取Web文档并从该Web文档中提取一些信息来描述该Web文档,为搜索引擎站点的数据库服务器追加和更新数据提供原始数据,这些数据包括标题、长度、文件建立时间、HTML文件中的各种链接数目等

网络爬虫程序IP地址搜索策略

  先赋予爬虫一个起始的IP地址,然后根据IP地址递增的方式搜索本IP地址段后的每一个WWW地址中的文档,它完全不考虑各文档中指向其它Web 站点的超级链接地址。优点是搜索全面,能够发现那些没被其它文档引用的新文档的信息源;缺点是不适合大规模搜索。

网络爬虫程序深度优先搜索策略

  深度优先搜索是一种在开发爬虫早期使用较多的方法。它的目的是要达到被搜索结构的叶结点(即那些不包含任何超链的HTML文件) 。在一个HTML文件中,当一个超链被选择后,被链接的HTML文件将执行深度优先搜索,即在搜索其余的超链结果之前必须先完整地搜索单独的一条链。深度优先搜索沿着HTML文件上的超链走到不能再深入为止,然后返回到某一个HTML文件,再继续选择该HTML文件中的其他超链。当不再有其他超链可选择时,说明搜索已经结束。优点是能遍历一个Web 站点或深层嵌套的文档集合;缺点是因为Web结构相当深,,有可能造成一旦进去,再也出不来的情况发生。

网络爬虫程序宽度优先搜索策略

  在宽度优先搜索中,先搜索完一个Web 页面中所有的超级链接,然后再继续搜索下一层, 直到底层为止。例如,一个HTML 文件中有三个超链,选择其中之一并处理相应的HTML文件,然后不再选择第二个HTML文件中的任何超链, 而是返回并选择第二个超链,处理相应的HTML文件,再返回,选择第三个超链并处理相应的HTML文件。一旦一层上的所有超链都己被选择过,就可以开始在刚才处理过的HIML 文件中搜索其余的超链。这就保证了对浅层的首先处理。当遇到一个无穷尽的深层分支时,不会导致陷进WWW 中的深层文档中出现出不来的情况发生。宽度优先搜索策略还有一个优点,即它能在两个HTML文件之间找到最短路径。宽度优先搜索策略通常是实现爬虫的最佳策略,因为它容易实现,而且具备大多数期望的功能。但是如果要遍历一个指定的站点或者深层嵌套的HTML文件集,用宽度优先搜索策略则需要花费比较长的时间才能到达深层的HTML文件。综合考虑以上几种策略和国内信息导航系统搜索信息的特点,国内一般采用以宽度优先搜索策略为主、线性搜索策略为辅的搜索策略。对于某些不被引用的或很少被引用的HTML文件,宽度优先搜索策略可能会遗漏这些孤立的信息源,可以用线性搜索策略作为它的补充。

专业搜索引擎的网络爬虫程序策略

  目前,专业搜索引擎网络爬虫通常采用“最好优先”原则访问WEB,即为快速、有效地获得更多的与主题相关的页面(简称“回报”),每次选择“最有价值”的链接进行访问。由于链接包含于页面之中,而通常具有较高价值的页面包含的链接也具有较高的价值,因而对链接价值的评价有时也转换为对页面价值的评价。

网络爬虫程序的设计中应该注意的问题

  第一个问题是URL地址的标准化:在WWW上,一个URL地址可以有多种表示方法,可以用IP地址表示,也可以用域名来表示。为了避免爬虫重复访问同一地址。第二个问题是避免掉进网络陷阱:网络上的链接情况比较复杂,一些静态的网页可能构成闭环回路。为了避免爬虫在一条循环路线上反复抓取,在把URL加入待搜索地址列表之前都要检查是否已在待搜索的地址列表中出现过。对于动态网页,爬虫应该忽略所有带参数的URL。第三个问题:对于拒绝访问的页面,爬虫应该遵从“漫游拒绝访问规则”。

上一条:搜索引擎的工作原理,搜索引擎是如何工作的
下一条:向搜索引擎提交网站方法
网络爬虫程序相关文章
·电子商务网站SEO+建站 2010-04-27 14:46:45
·搜索引擎最新更新动态 2010-02-07 21:35:27
·SEO最新动态 2010-02-07 21:32:30
·医院SEO注意什么,医院SEO 2010-01-31 13:27:37
·医院网站SEO方法,医院网站SEO网络营销 2010-01-31 13:24:37
·别名解析对收录排名的影响 2011-03-26 09:28:58
·网站内链的做法 2010-12-20 20:44:08
·js对seo的影响和解决办法 2010-07-23 10:13:55
网络爬虫程序培训留言/评论
有0人培训合作留言或对本文发表评论 有哪些网络爬虫程序
SEO网站最新更新
·别名解析对收录排名的影响
·网站内链的做法
·js对seo的影响和解决办法
·独立IP/共享IP对SEO区别
·换服务器IP对SEO的影响
·域名历史对SEO影响
·网站seo检测与分析,网站seo在线检测
·谷歌推广费用,谷歌推广价格,谷歌外贸推广的
·GOOGLE竞价推广技巧
·搜索引擎的工作原理,搜索引擎是如何工作的
·网络爬虫程序
·向搜索引擎提交网站方法
·ICP与IP备案管理系统常见问题总结
·用户行为分析方法,IP网络用户行为分析方法
·友情链接的作用
SEO网站阅读排行
·谷歌推广费用,谷歌推广价格,谷歌外贸推广的
·网站seo检测与分析,网站seo在线检测
·js对seo的影响和解决办法
·GOOGLE竞价推广技巧
·换服务器IP对SEO的影响
·搜索引擎的工作原理,搜索引擎是如何工作的
·独立IP/共享IP对SEO区别
·网站内链的做法
·域名历史对SEO影响
·别名解析对收录排名的影响
·网站出站链接
·怎么知道关键词排名
·链接优化方法
·医院SEO注意什么,医院SEO
·SEO最新动态
合肥seo培训 | 合肥网站推广 | 合肥网站建设公司 | 芜湖网站建设 | 竞价优化外包 | 合肥注册公司 | 纺织培训 | 合肥网络营销
合肥SEO Copyright 2006-2011 SEO培训 百谷网站推广公司 All Rights Reserved版权所有 咨询QQ:1440057471或119191443(满)或114372125
合肥SEO培训地址:合肥市政务区省广电中心旁 www.wcgou.com 电话:0551-63687236(传真)13485707074 皖ICP备06004780号