在将网站改版更换链接样式后，如果网址发生大的改变，并且不希望谷歌再索引和收录以前的网址，需要更新robots.txt文件，并将它提交给谷歌。
在自动抓取过程中，谷歌 的抓取工具会自动发现 robots.txt 文件所做的更改，并每 24 小时更新一次缓存的版本。如果你发现robots.txt已经很长时间没有更新可以按照下面的步骤来操作。
谷歌站长更新robots.txt方法
登录search console，点击左侧的“设置”按钮。
在右侧找到robots.txt，点击右边的“打开报告”，点击更多-请求重新抓取。
这样谷歌就会更新网站的robots.txt。
正文完
