尖叫青蛙(Screaming Frog SEO Spider)

　　尖叫青蛙seo14破解版是一款可以帮助用户优化SEO以及分析网站错误内容的软件，可以使用这款软件抓取网站数据，可以选择对小型和中型网站数据抓取，抓取以后自动分析每个网站页面存在的错误问题，例如快速分析错误的网站页面，分析错误的链接，分析重复的网站内容，分析安全性，分析被阻止的资源，分析SEO关键属性，将各种错误数据生成报告内容，让网站管理人员可以快速知道自己的站点有哪些错误问题，从而及时修复，避免网站存在过多错误导致排名降低，这里小编推荐的是Screaming Frog SEO Spider破解版，需要就下载吧！

软件功能

　　查找损坏的链接

　　立即爬取网站并查找损坏的链接 (404) 和服务器错误。批量导出要修复的错误和源 URL，或发送给开发人员。

　　审计重定向

　　查找临时和永久重定向，识别重定向链和循环，或上传要在站点迁移中审核的 URL 列表。

　　分析页面标题和元数据

　　在爬网期间分析页面标题和元描述，并确定那些在您的网站中过长、过短、缺失或重复的内容。

　　发现重复内容

　　使用 md5 算法检查发现完全重复的 URL，部分重复的元素（例如页面标题、描述或标题）并查找内容低的页面。

　　使用 XPath 提取数据

　　使用 CSS 路径、XPath 或正则表达式从网页的 HTML 中收集任何数据。这可能包括社交元标签、附加标题、价格、SKU 或更多！

　　审查机器人和指令

　　查看被 robots.txt、元机器人或 X-Robots-Tag 指令（例如“noindex”或“nofollow”）以及规范和 rel=“next”和 rel=“prev”阻止的 URL。

　　生成 XML 站点地图

　　快速创建 XML 站点地图和图像 XML 站点地图，对 URL 进行高级配置，包括上次修改、优先级和更改频率。

　　与 GA、GSC 和 PSI 集成

　　连接到 Google Analytics、Search Console 和 PageSpeed Insights API，并在爬网中获取所有 URL 的用户和性能数据，以获得更深入的洞察力。

　　抓取 JavaScript 网站

　　使用集成的 Chromium WRS 渲染网页，以抓取动态的、富含 JavaScript 的网站和框架，例如 Angular、React 和 Vue.js。

　　可视化站点架构

　　使用交互式爬网和目录强制导向图和树形图站点可视化评估内部链接和 URL 结构。

　　安排审计安排

　　抓取以选定的时间间隔运行，并将抓取数据自动导出到任何位置，包括 Google 表格。或者通过命令行完全自动化。

　　比较抓取和分期

　　跟踪 SEO 问题和机会的进度，并查看爬网之间的变化。使用高级 URL 映射将登台与生产环境进行比较。

软件特色

　　搜索引擎优化蜘蛛工具抓取和报告...

　　Screaming Frog SEO Spider 是一种 SEO 审核工具，由真正的 SEO 构建，在全球拥有数千名用户。抓取中收集的一些数据的快速摘要包括 -

　　错误– 客户端错误，例如链接断开和服务器错误（无响应、4XX 客户端和 5XX 服务器错误）。

　　重定向——永久、临时、JavaScript 重定向和元刷新。

　　阻止的 URL - 查看和审核 robots.txt 协议不允许的 URL。

　　被阻止的资源– 在呈现模式下查看和审核被阻止的资源。

　　外部链接——查看所有外部链接、它们的状态代码和源页面。

　　安全性——发现不安全的页面、混合内容、不安全的表单、缺少安全标头等等。

　　URI 问题– 非 ASCII 字符、下划线、大写字符、参数或长 URL。

　　重复页面- 使用高级算法检查发现精确和接近重复的页面。

　　页面标题- 缺少、重复、长、短或多个标题元素。

　　元描述- 缺少、重复、长、短或多个描述。

　　元关键字——主要用于参考或区域搜索引擎，因为它们不被谷歌、必应或雅虎使用。

　　文件大小– URL 和图像的大小。

　　响应时间– 查看页面响应请求所需的时间。

　　Last-Modified Header – 查看 HTTP 标头中的最后修改日期。

　　抓取深度– 查看 URL 在网站架构中的深度。

　　字数- 分析每页上的字数。

　　H1 – 缺少、重复、长、短或多个标题。

　　H2 – 缺少、重复、长、短或多个标题

　　元机器人——索引、noindex、follow、nofollow、noarchive、nosnippet 等。

　　元刷新——包括目标页面和时间延迟。

　　Canonicals – 链接元素和规范的 HTTP 标头。

　　X-Robots-Tag – 查看通过 HTTP 标头发布的指令。

　　分页– 查看 rel=“next” 和 rel=“prev” 属性。

　　Follow & Nofollow – 查看元 nofollow 和 nofollow 链接属性。

　　重定向链- 发现重定向链和循环。

　　hreflang 属性– 审核缺少的确认链接、不一致和不正确的语言代码、非规范的 hreflang 等等。

　　链接– 查看链接到 URL 的所有页面、锚文本以及链接是跟随还是 nofollow。

　　外链– 查看 URL 链接到的所有页面以及资源。

　　锚文本- 所有链接文本。带有链接的图像中的替代文本。

　　渲染——通过在 JavaScript 执行后抓取渲染的 HTML 来抓取 AngularJS 和 React 等 JavaScript 框架。

　　AJAX – 选择遵守 Google 现已弃用的 AJAX 抓取方案。

　　图片– 带有图片链接的所有 URL 以及给定页面的所有图片。图片超过 100kb，缺少替代文字，替代文字超过 100 个字符。

　　用户代理切换器– 以 Googlebot、Bingbot、Yahoo! 的身份爬行 Slurp、移动用户代理或您自己的自定义 UA。

　　自定义 HTTP 标头- 提供请求中的任何标头值，从 Accept-Language 到 cookie。

　　自定义源代码搜索- 在网站的源代码中查找您想要的任何内容！无论是 Google Analytics 代码、特定文本还是代码等。

　　自定义提取——使用 XPath、CSS 路径选择器或正则表达式从 URL 的 HTML 中抓取任何数据。

　　谷歌分析集成——连接到谷歌分析 API 并在抓取过程中直接提取用户和转化数据。

　　Google Search Console 集成- 连接到 Google Search Analytics 和 URL 检查 API 并批量收集性能和索引状态数据。

　　PageSpeed Insights 集成——连接到 PSI API 以获取 Lighthouse 指标、速度机会、诊断和 Chrome 用户体验报告 (CrUX) 大规模数据。

　　外部链接指标——从 Majestic、Ahrefs 和 Moz API 中提取外部链接指标进行爬网，以执行内容审核或配置文件链接。

　　XML 站点地图生成– 使用 SEO 蜘蛛创建 XML 站点地图和图像站点地图。

　　自定义 robots.txt – 使用新的自定义 robots.txt 下载、编辑和测试网站的 robots.txt。

　　渲染屏幕截图- 获取、查看和分析抓取的渲染页面。

　　Store & View HTML & Rendered HTML – 分析 DOM 的必备工具。

　　AMP Crawling & Validation – 使用官方集成的 AMP Validator 抓取 AMP URL 并对其进行验证。

　　XML 站点地图分析– 独立或部分爬取 XML 站点地图，以查找丢失的、不可索引的和孤立的页面。

　　可视化 - 使用爬网和目录树强制导向图和树形图分析网站的内部链接和 URL 结构。

　　结构化数据和验证– 根据 Schema.org 规范和 Google 搜索功能提取和验证结构化数据。

　　拼写和语法- 拼写和语法检查您的网站超过 25 种不同的语言。

　　抓取比较- 比较抓取数据以查看问题的变化和跟踪技术 SEO 进度的机会。比较站点结构，检测关键元素和指标的变化，并使用 URL 映射将登台与生产站点进行比较。

破解方法

　　1、将Screaming Frog SEO Spider安装到电脑，点击install安装

　　2、软件安装结束以后直接启动主程序，点击接受协议

　　3、点击软件顶部许可证菜单，选择输入许可证

　　4、找到安装包中的注册机打开，自动显示许可证信息

　　5、将注册机的内容复制到软件许可证界面点击确定就可以完成激活

使用说明

　　1、这里是软件的帮助界面，由于软件是英文，如果不会就查看官方的教程

　　2、显示配置功能，在抓取数据之前可以配置搜索分析的内容，支持蜘蛛设置，支持机器人设置、支持过滤设置

　　3、Bulk Export是批量导出功能，可以选择将抓取到的数据导出，支持连接、web、内容、图片等数据导出

　　4、这里是报告功能，可以选择生成相关的报告，例如生成抓取概述报告，生成不安全内容报告

　　5、Visualisations是可视化分析功能，支持爬行树图、目录树图、导向爬行图、强制导向目录树图、链接锚文本字云、正文文本字云

官方教程

　　使用 SEO 蜘蛛工具进行网页抓取和数据提取

　　本教程将引导您了解如何使用Screaming Frog SEO Spider 的自定义提取功能从网站上抓取数据。

　　自定义提取功能允许您使用 CSSPath、XPath 和正则表达式从网页的 HTML 中抓取任何数据。提取是在从 SEO Spider 爬取的 URL 返回的静态 HTML 上执行的，它返回 200 'OK' 响应。您可以切换到JavaScript 呈现模式以从呈现的 HTML 中提取数据。

　　要跳转到示例，请单击以下链接之一：

　　XPath 示例

　　正则表达式示例

　　要开始使用，您需要下载并安装 SEO Spider软件并拥有访问抓取所需的自定义提取功能的许可证。您可以通过右侧栏中的按钮下载。

　　打开 SEO Spider 后，接下来开始提取数据的步骤如下：

　　1) 单击“配置 > 自定义 > 提取”

　　此菜单可以在 SEO Spider 的顶级菜单中找到。

　　这将打开自定义提取配置，允许您配置多达 100 个单独的“提取器”。

　　2) 选择 CSS Path、XPath 或 Regex 进行抓取

　　Screaming Frog SEO Spider 工具提供了三种从网站抓取数据的方法：

　　XPath – XPath 是一种查询语言，用于从类似 XML 的文档（例如 HTML）中选择节点。此选项允许您使用 XPath 选择器（包括属性）来抓取数据。

　　CSS 路径——在 CSS 中，选择器是用于选择元素的模式，通常是可用的三种方法中最快的。此选项允许您使用 CSS 路径选择器来抓取数据。可选的属性字段也可用。

　　正则表达式——正则表达式当然是一个特殊的文本字符串，用于匹配数据中的模式。这最适合高级用途，例如抓取 HTML 注释或内联 JavaScript。

　　对于最常见的场景，建议使用 CSS Path 或 XPath，尽管两者各有优势，但您可以简单地选择最适合使用的选项。

　　当使用 XPath 或 CSS 路径收集 HTML 时，您可以使用下拉过滤器准确选择要提取的内容 -

　　提取 HTML 元素– 所选元素及其所有内部 HTML 内容。

　　提取内部 HTML – 所选元素的内部 HTML 内容。如果所选元素包含其他 HTML 元素，它们将被包括在内。

　　提取文本- 选定元素的文本内容和任何子元素的文本内容。

　　函数值- 提供函数的结果，例如 count(//h1) 以查找页面上 h1 标记的数量。

　　3）输入你的语法

　　接下来，您需要将语法输入到相关的提取器字段中。找到您希望抓取的数据的相关 CSS 路径或 Xpath 的一种快速简便的方法是简单地在 Chrome 中打开网页并“检查您希望收集的 HTML 行的元素”，然后右键单击并复制提供的相关选择器路径。

　　例如，您可能希望开始抓取博客文章的“作者”，以及每篇文章收到的评论数量。我们以Screaming Frog网站为例。

　　在 Chrome 中打开任何博客文章，右键单击并在每个文章上的作者姓名上“检查元素”，这将打开“元素”HTML 窗口。只需再次右键单击相关的 HTML 行（带有作者姓名），复制相关的 CSS 路径或 XPath 并将其粘贴到 SEO Spider 中的相应提取器字段中。如果你使用 Firefox，那么你也可以在那里做同样的事情。

　　您可以重命名与 SEO Spider 中的列名相对应的“提取器”。在这个例子中，我使用了 CSS 路径。

　　每个提取器旁边的勾号确认使用的语法是有效的。如果它们旁边有一个红十字，那么你可能需要稍微调整一下，因为它们是无效的。

　　当您满意时，只需按底部的“确定”按钮。如果您想查看更多示例，请跳至本指南的底部。

　　请注意——这不是构建 CSS 选择器和 XPath 表达式的最可靠的方法。使用此方法给出的表达式可以非常特定于代码中元素的确切位置。由于检查的视图是页面/ DOM 的渲染版本，这可能会发生变化，默认情况下，SEO 蜘蛛会查看 HTML 源代码，并且当 SEO 蜘蛛处理页面时可能会发生 HTML 清理是无效的加价。

　　这些也可能因浏览器而异，例如，对于上面的“作者”示例，给出了以下 CSS 选择器 -

　　Chrome：正文 > div.main-blog.clearfix > div > div.main-blog–posts > div.main-blog–posts_single–inside_author.clearfix.drop > div.main-blog–posts_single–inside_author-details.col- 13-16 > div.author-details-social > a

　　Firefox: .author-details-social > a:nth-child(1)

　　Firefox 提供的表达式通常比 Chrome 提供的表达式更健壮。即便如此，这不应该完全替代理解各种提取选项并能够通过检查 HTML 源手动构建这些选项。

　　关于CSS 选择器的 w3schools 指南及其XPath 介绍是了解这些表达式基础知识的好资源。

　　4) 爬取网站

　　接下来，在顶部的 URL 字段中输入网站地址，然后单击“开始”以抓取网站，并开始抓取。

　　5) 在自定义提取选项卡下查看抓取的数据

　　在抓取过程中，抓取的数据开始实时显示，在“自定义提取”选项卡下以及“内部”选项卡下，您可以将收集到的所有内容一起导出到 Excel 中。

　　在上面概述的示例中，我们可以在每篇博文旁边看到作者姓名和评论数量，这些已被抓取。

　　当进度条达到“100%”时，抓取已完成，您可以使用“导出”按钮选择“导出”数据。

　　如果您已经有一个要从中提取数据的 URL 列表，而不是爬取网站来收集数据，那么您可以使用列表模式上传它们。

　　而已！希望以上指南有助于说明如何使用 SEO Spider 软件进行网页抓取。

　　显然可能性是无穷无尽的，这个功能可以用来收集任何东西，从纯文本到谷歌分析 ID、模式、社交元标签（如开放图形标签和 Twitter 卡片）、移动注释、hreflang 值以及价格产品、折扣率、库存可用性等。我已经介绍了更多示例，这些示例按提取方法划分。

　　重复

　　配置 > 内容 > 重复

　　SEO Spider 能够找到页面彼此相同的精确重复项，以及不同页面之间某些内容匹配的接近重复项。这两个都可以在“内容”选项卡和相应的“完全重复”和“接近重复”过滤器中查看。

　　默认情况下会发现完全重复的页面。要检查“接近重复”，必须启用配置，以便 SEO Spider 存储每个页面的内容。

　　SEO Spider 将使用 minhash 算法识别具有 90% 相似度匹配的近似重复项，该算法可以调整以查找具有较低相似度阈值的内容。

　　SEO Spider 也只会检查“可索引”页面是否有重复（精确和近似重复）。

　　这意味着，如果您有两个相同的 URL，但一个被规范化为另一个（因此是“不可索引”），则不会报告 - 除非禁用此选项。

　　接近重复项需要填充抓取后分析，有关重复项的更多详细信息可以在“重复详细信息”下方选项卡中查看。这将显示每个已识别的几乎重复的 URL，以及它们的相似性匹配。

　　单击“重复详细信息”选项卡中的“近乎重复地址”也将显示在页面之间发现的近乎重复的内容并突出显示差异。

　　用于近似重复分析的内容区域可以通过“配置 > 内容 > 区域”进行调整。您可以为所使用的内容添加要排除或包含的 HTML 元素、类或 ID 的列表。

　　分析中使用的近似重复内容阈值和内容区域都可以在爬网后更新，并且可以重新运行爬网分析以细化结果，而无需重新爬网。

　　拼写和语法

　　配置 > 内容 > 拼写和语法

　　SEO Spider 能够在爬网中对 HTML 页面执行拼写和语法检查。目前不支持其他内容类型，但将来可能会支持。

　　默认情况下禁用拼写和语法检查，需要启用拼写和语法错误才能显示在“内容”选项卡中，以及相应的“拼写错误”和“语法错误”过滤器中。

　　拼写和语法功能将自动识别页面上使用的语言（通过 HTML 语言属性），但也允许您手动选择配置中需要的语言。

　　它支持 39 种语言，其中包括 -

　　阿拉伯

　　阿斯图里亚斯语

　　白俄罗斯语

　　布列塔尼

　　加泰罗尼亚语

　　中国人

　　丹麦语

　　荷兰语

　　英语（澳大利亚、加拿大、新西兰、南非、美国、英国）

　　法语

　　加利西亚语

　　德语（奥地利、德国、瑞士）

　　希腊语

　　意大利语

　　日本人

　　高棉

　　波斯语（阿富汗、伊朗）

　　抛光

　　葡萄牙语（安哥拉、巴西、莫桑比克、葡萄牙）

　　罗马尼亚语

　　俄语

　　斯洛伐克语

　　索尔维尼亚语

　　西班牙语

　　瑞典

　　他加禄语

　　泰米尔语

　　乌克兰语

　　下部窗口“拼写和语法详细信息”选项卡显示错误、类型（拼写或语法）、详细信息，并提供更正问题的建议。详细信息选项卡的右侧还显示页面中的文本和识别的错误的视觉效果。

　　右侧窗格的“拼写和语法”选项卡显示发现的前 100 个唯一错误及其影响的 URL 数量。这有助于跨模板查找错误，以及构建您的字典或忽略列表。您可以右键单击并在相关时选择“忽略语法规则”、“全部忽略”或“添加到词典”。

　　拼写和语法配置

　　“语法规则”配置允许您启用和禁用使用的特定语法规则。您可以在抓取过程中发现的特定语法问题上单击鼠标右键并“忽略语法规则”。

　　“忽略”配置允许您忽略爬网的单词列表。这仅适用于特定的爬网，不会在所有爬网中记住。您可以右键单击并“全部忽略”在抓取过程中发现的拼写错误。

　　“字典”允许您忽略执行的每次爬网的单词列表。该列表存储在相关字典中，并为执行的所有爬网而记住。可以随时为每个字典添加和删除单词。您可以在爬网中发现的拼写错误上单击鼠标右键并“添加到字典”。

　　用于拼写和语法的内容区域可以通过“配置 > 内容 > 区域”进行调整。您可以为分析的内容添加要排除或包含的 HTML 元素、类或 ID 的列表。

　　分析中使用的语法规则、忽略单词、字典和内容区域设置都可以在抓取后（或暂停时）进行更新，并且可以重新运行拼写和语法检查以优化结果，而无需重新抓取。