
robots.txt文件生成器
-
全局设置
-
限制目录
-
Sitemap
-
国内搜索引擎
-
国外搜索引擎
1、robots.txt(统一小写)是一种存放于网站根目录下的文本文件,它通常告诉网络搜索引擎蜘蛛,此网站中的哪些内容是可以被收录哪些不可以被收录。
2、robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下
3、如想单独定义搜索引擎蜘蛛访问子目录的行为,那么可以将自定的设置合并到根目录下的robots.txt
4、robots.txt协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私
5、注意robots.txt是用字符串比较来确定是否获取URL,所以目录末尾有与没有斜杠“/”表示的是不同的URL
robots.txt文件内容1、搜索引擎蜘蛛的是否可访问性或者说可爬行性
2、搜索引擎蜘蛛针对目录或者文件的可访问性
3、网站站点地图sitemap路径定义
4、搜索引擎蜘蛛爬行的时间间隔限制
关于robots.txt文件生成器1、通过web界面设置好要配置的数据, 点击生成即可生成robots.txt文件内容
2、创建一个空白的文本文件,命名为:“robots.txt”,然后把上面的内容,复制并粘贴到“robots.txt”中去
3、把“robots.txt”放在你网站的根目录,访问robots.txt,确保他能让搜索蜘蛛访问到
推荐阅读
- 04/11测速网游戏测速
- 04/11卡卡云
- 02/02爱剪辑
- 01/30域名解析解析记录查询工具
推荐工具
代码审核工具
代码审核,为您找到代码中的漏洞与BUG
励志名言
批量生成励志名言警句
述职报告
AI帮您生成一篇好的述职报告
大学作文
大学作文,AI协您智慧写作
支付宝到账音效生成器
生成任意金额的支付宝到账音效,可以下载用于通知或者闹钟铃声。
七乐彩机选工具
七乐彩在线机选随机选号工具
在线椭圆面积计算器
在线计算椭圆面积的小工具
圆形半径/直径计算器
在线计算圆形的半径/直径
中国历史朝代查询表
中国历史朝代在线查询工具
日本传统色彩
日本传统色彩列表
Cookie导入处理工具
在线处理Cookie字符串方便导入到浏览器
CSS毛玻璃效果生成器
一键生成CSS毛玻璃效果的代码。
CSS圆角效果生成
在线调试CSS边框圆角样式
在线投骰子
在线投骰子小工具
复印纸缩放比例计算器
在线计算不同尺寸复印纸之间缩放计算
图片转Base64
在线图片转Base64工具
VSCode快捷键大全
在线查询vscode代码编辑器快捷键大全
在线文本去除空行
在线文本去除空行处理工具
在线闹钟
在线网页版闹钟
在线摄像头录像
通过电脑摄像头进行录像的小工具
PDF文件页面转长图片
在线将PDF文件中的所有页面转为单一长图
RSA公私钥生成、签名、加解密
在线RSA公私钥生成,签名,加密解密工具
SVG转PNG图片
在线将svg图片转为png图片
上标/下标电话号码生成器
一键生成上标或下标形式的电话号码