1、网站域名选择太长,地址太深
蜘蛛是通过网页代码进行抓取的,一般选取比较简短的域名,方便记忆,不能选用过于太长的域名,目录及最终页面的地址也不宜太长,如果是层级地址太深的话,反而会显得很乱,蜘蛛也很难知道哪里是重点,甚至会截断蜘蛛的爬行,一般层级最多分3层即可。
1、网站域名选择太长,地址太深
蜘蛛是通过网页代码进行抓取的,一般选取比较简短的域名,方便记忆,不能选用过于太长的域名,目录及最终页面的地址也不宜太长,如果是层级地址太深的话,反而会显得很乱,蜘蛛也很难知道哪里是重点,甚至会截断蜘蛛的爬行,一般层级最多分3层即可。