来自百度官方的Spider User-Agent字段更新的通知,原文如下:
各位网站管理员,
大家好!
百度网页搜索spider的User-Agent字段内容近期将更新,请大家关注,谢谢!
更换时间:
2011年5月10日
更换内容:
baiduspider在爬取网页时,发送请求的User-Agent字段内容将更新。
目前的字段内容是
Baiduspider+(+http://www.baidu.com/search/spider.htm)
...
Dmoz(The Open Directory Project/ODP)是一个人工编辑管理的目录集合,为大部分搜索引擎提供抓取网站的基础数据,因为Dmoz对网站的收录是严格人工审核的,所以,使网站加入Dmoz不是一件非常容易的事,有的网站收录甚至需要一年多的时间,但是,之所以还有很多的站长们坚持提交,是因为Dmoz收录甚至比每年花费$300付费收录雅虎都要重要。那么如何如何把网站提交到dmoz目录里面呢。
...
