标签:Robots

传递

本博丧心病狂的Robots.txt写法

Han 发布于 4年前 (2015-01-31)

作为一个强迫症患者,对搜索引擎收录结果是极为苛刻的,我的最终目的就是让搜索引擎只收录文章及首页,其他的一律不展示。 建站之初就已经写好了Robots.txt,来防止收录其他页面,标签/分页/归档等等统统禁止抓取。 今天site本网址的时候发现了漏网之鱼,竟然出现了两篇相同的文章,...

阅读(1281)评论(0)