Yesky首页| 产品报价| 行情| 手机 | 数码 | 笔记本 | 台式机 | DIY硬件 | 外设 | 网络 | 数字家庭 | 评测 | 软件 | e时代 | 游戏 | 图片 | 壁纸 | 群乐 | 社区 | 博客 | 下载
软件频道>程序开发>JavaVBVCDelphiC/C++Web开发微软专栏移动数据库程序人生软件工程|产品中心下载什么是软件架构
您现在的位置: 天极网 > 开发频道 > Google即将开始深度Web索引
全文
群乐:Google

Google即将开始深度Web索引

2008-04-14 10:49 作者: ReadWriteWeb  出处: 天极网 责任编辑:孙蓬阳

  Google 从来都不会停止对信息的追求,去年共有100 Exabyte 的数据被 Google 消化(1Exabyte=1000000000Gigabyte)。据估计,仍有大量的在线数据是 Google 所无法获取的,如那些未被索引的网页,非文本内容,以及需要通过表单发布方可获取的动态内容,即所谓的深度Web。Google 近日在一篇博客文章中宣布,他们即将涉足这些深度Web数据。

  在这篇博客文章中,Google 的 Jayant Madhavan 与 Alon Halevy 说,对于那些文本框,我们会从所在页选择一些词汇填写,对于选择框与复选框,我们会从 HTML 中选择一些值,一旦填写好表单,我们会尝试发布这个表单并对返回的合法,有意义的内容进行索引。

  Google 同时强调,他们会一如既往地尊重 robots.txt 协议,任何在 robots.txt 被禁止的表单都不会被索引。

  据估计,深度 Web 的规模是常规的公开 Web 的数倍,尽管在网络中,有很多数据是 Google 不应涉足的,但表单可以让 Google 在网络中更进一步,Matt Cutts 指出,我们这样做主要不是为了那些通过表单发布而返回的搜索结果,更多是为了发现一些通过常规手段所没能发现的新链接。

  需要指出的是,Google 只索引那些使用 GET 协议的表单,而不会尝试去发布那些使用 POST 协议的表单,所以,你不必担心自己的在线反馈表单收到一堆来自 Google 的垃圾信息。

网友关注
最新上市
编辑推荐
欢迎订阅天极网RSS聚合资讯:http://www.yesky.com/index.xml