本博丧心病狂的Robots.txt写法
Han 发布于 7年前 (2015-01-31)
作为一个强迫症患者，对搜索引擎收录结果是极为苛刻的，我的最终目的就是让搜索引擎只收录文章及首页，其他的一律不展示。 建站之初就已经写好了Robots.txt，来防止收录其他页面，标签/分页/归档等等统统禁止抓取。 今天site本网址的时候发现了漏网之鱼，竟然出现了两篇相同的文章，...
Han 发布于 7年前 (2015-01-31)
作为一个强迫症患者，对搜索引擎收录结果是极为苛刻的，我的最终目的就是让搜索引擎只收录文章及首页，其他的一律不展示。 建站之初就已经写好了Robots.txt，来防止收录其他页面，标签/分页/归档等等统统禁止抓取。 今天site本网址的时候发现了漏网之鱼，竟然出现了两篇相同的文章，...