51dev.com IT技术开发者社区

iT氪,it人的社区

教你查看日志中蜘蛛的访问行为

教你查看日志中蜘蛛的访问行为

网站日志,是服务器端自动生成的一个文本记录,详细记载了网站的访问详情,做为站长的你,如果是需要查看访问统计数据,那用51.la或者百度统计 工具就可以了,但是如果你想查看各搜索引擎的蜘蛛是否准时来爬行自己的网站,那就要学会自己查看网站日志文件了。结合我们自己的网站做为一个实例来做一个介绍: 首先利用FTP工具登录服务器端,一般在服务器根目录之下存在一个logs文件夹,这里面装的就是网站日志,当然不同的服务器类型,日志文件的文件夹名称和我介绍的不一样,但没关系,日志文件的扩展名是log。 进入日志文件夹,你会发现,日志文件是按每一天的访问情况为一个文件保存的: ...