限制或禁止网页内容不被抓取而公开


网页头部<meta name="Robots" 用法 <meta>系列用法.
 有时候会有一些站点内容,不希望被ROBOTS抓取而公开。为了解决这个问题,ROBOTS开发界提供了两个办法:
一个是robots.txt,另一个是The Robots META标签。
1,<meta name="Robots" contect="all|none|index|noindex|follow|nofollow">  默认是all
其中的属性说明如下: 
设定为all:文件将被检索,且页面上的链接可以被查询; 
设定为none:文件将不被检索,且页面上的链接不可以被查询; 
设定为index:文件将被检索; 
设定为follow:页面上的链接可以被查询; 
设定为noindex:文件将不被检索,但页面上的链接可以被查询; 
设定为nofollow:文件将不被检索,页面上的链接可以被查询。



VB.Net 获取一个文件夹下多种格式的图片

文件夹全路径中返回文件名或文件类型(扩展名)

欢迎关注微信公众账号ByCAD