1、找到断开的链接
立即抓取网站,找到损坏的链接(404)和服务器错误。批量导出错误和源URL以修复或发送给开发人员。
2、审计重定向
找到临时和永久的重定向,识别重定向链和循环,或者上传一个网址列表,以在网站迁移中进行审计。
3、分析页面标题和元数据
在抓取过程中分析页面标题和元描述,并确定在您的网站中过长,短小,缺失或重复的页面标题和元描述。
4、发现重复的内容
使用md5算法检查发现精确的重复网址、部分重复的网页标题、说明或标题等元素,并找到内容较低的网页。
5、使用XPath提取数据
使用CSSPath,XPath或regex从网页的HTML中收集任何数据。这可能包括社交元标签、额外的标题、价格、SKU或更多!
6、审查机器人和指令
查看由robots.txt、metarobots或X-Robots-Tag指令(如“noindex”或“nofollow”)以及canonicals和rel=“next”和rel=“prev”阻止的URL。
7、生成XML站点地图
快速创建XML站点地图和图像XML站点地图,通过包含URL的高级配置,上次修改,优先级和更改频率。
8、与GoogleAnalytics集成
连接到GoogleAnalyticsAPI,并抓取用户数据,例如会话或跳出率和转化次数,目标,交易和着陆页的收入。
1.点击ScreamingFrogSEOSpider-11.1.exe启动软件的安装,点击install安装就可以了
2.显示安装的过程,您可以在这里设置需要安装的数据,等待安装完成
3.提示您Completed说明安装完成,点击close结束软件的安装
4.点击启动软件,这里是ScreamingFrogSEOSpider的一些官方提示,点击accept同意协议
5.进入软件,点击Licence许可证就可以显示激活的界面了
6.打开您下载的注册机软件,将得到的序列号输入软件就可以完成激活了
7.如图所示,输入TeamNGEN,填写注册码725B6CAA82-1542475701-E84A5678DD
1、查找断开的链接、错误和重定向
2、分析页面标题和元数据
3、审查元机器人和指令
4、审计hreflang属性
5、发现重复的页面
6、生成XML站点地图
7、爬网限制
8、抓取配置
9、保存抓取并重新上传
10、自定义源代码搜索
11、自定义提取
12、GoogleAnalytics集成
13、SearchConsole集成
14、链接指标集成
15、JavaScript渲染抓取
16、自定义robots.txt抓取