最近登录 Google AdSense 时,总是显示一条“有收益受损风险 - 您需要纠正 ads.txt 文件存在的一些问题,以免严重影响您的收入。”的提示,可我明明已经在网站根目录下上传了 ads.txt 文件,而且可以通过在网址末尾添加 /ads.txt 来访问该文件的,文件内容也是正确的,更新了几次 ads.txt 文件,问题始终不能解决。
分析 Google AdSense 出现这个提示的原因,根本来说是 Goolge AdSense 的爬虫无法抓取到我们站点根目录下的 ads.txt 文件。那么网站根目录下明明有这个 ads.txt 文件,为啥 Google AdSense 依旧这么“顽固”的提示这个问题呢?
这个问题困扰了很久,经过多方排查,终于解决了。问题的关键有两个方面:
1、访问的网址不对
Google AdSense 要求能通过在网址末尾添加 /ads.txt 来访问该文件,网址的形式是 domain.com/ads.txt 这样。注意,网址中是不加 www 的,domain.com 才是主域名。如果你的网站是需要添加 www 才能访问的话,那你就需要在 DNS 解析中新增加个 @ 值的 A 记录到服务器的 IP 地址,使得 domain.com/ads.txt 能正常访问。
有些网站从 SEO 优化考虑,domain.com 访问是 301 重定向跳转到 www.domain.com 网址的。对此, Google AdSense 的解释是,请检查您的网址。是否需要添加“www”才能访问该网站?如果答案是“是”,则:
您需要设置从 domain.com/ads.txt 到 www.domain.com/ads.txt 的重定向。
重定向相当常见。Ads.txt 的抓取将从根网域开始,而根网域需要从 ads.txt 文件返回或重定向到 ads.txt 文件。
www.domain.com/ads.txt 上的 ads.txt 文件只有在 domain.com/ads.txt 重定向到它时才会被抓取。
如果你的网站使用了 CDN 服务,那么在做域名 DNS 解析时,要记得给主域名(@)和二级域名(www)都做上解析记录。
我的网站是自动跳转到 www.domain.com 访问的,出于对重定向的理解,我在所使用的上海云盾 CDN 安全加速配置中添加了一条重定向规则。WEB安全加速 - 控制台 - 精准访问控制 - 新增规则 - 重定向,内容填写如图所示。
2、Goolge 爬虫无法访问
我们看到 Google AdSense 显示 Ads.txt 状态为“未找到”,也就是说 Goolge 爬虫无法访问 ads.txt 文件,如果你的网站访问是正常的,那么最大可能是你禁止了 Google 爬虫来抓取你的 ads.txt 文件。
排查一:网站 robots.txt 文件中是否禁止访问 ads.txt 文件。
robots.txt 文件包含一组指令,用于指示网页抓取工具(也称为“蜘蛛”程序或漫游器)可以访问或不能访问网站上的哪些网页或文件。如果网站的 robots.txt 文件包含特定指令,这些抓取工具可能会忽略 ads.txt 文件。
如果打开 domain.com/robots.txt 后,你看到:
User-agent: *
Disallow: /ads
此 robots.txt 文件中的指令会指示抓取工具忽略 ads.txt 文件。
如果打开 domain.com/robots.txt 后,你看到:
User-agent: Googlebot
Disallow: /
此 robots.txt 文件中的指令会指示禁止 Google 爬虫访问网站。
我们可以通过更新 robots.txt 文件,以向抓取工具授予对 ads.txt 文件的访问权限。请尝试以下方法之一(其他方法也可行):
方法 1:更改指令以专门允许访问 ads.txt:
User-agent: *
Allow: /ads.txt
Disallow: /ads
方法 2:从 Disallow 中移除“/”,允许 Google 爬虫访问:
User-agent: Googlebot
Disallow:
方法 3:允许 Googlebot 访问你的 ads.txt
User-agent: Googlebot
Allow: /ads.txt
注意:此方法取决于抓取工具是否支持使用 Allow robots.txt 指令。对 robots.txt 文件做出的任何更改,可能要等到抓取工具再次尝试访问你的网站时,才会反映出来。
排查二:是否禁止国外 IP 访问你的网站
我逐一排查以上可能因素后,仍然出现“立即修正”提示,百思不得其解时,突然发现我在 CDN 的
历史上的今天:
- 2022: 微软年度技术大会 Ignite 2022 召开 多项云服务落户中国新数据中心(0)
- 2022: 10月13日,国际标准时间日(0)
- 2022: 10月13日,世界血栓日(2)
- 2022: 10月13日,国际减少灾害风险日(0)
- 2021: 废掉一个人最快的方法,就是让他闲着(1)
你好,看完你的博客文章,感觉很不错!希望与你网站首页友情链接
流量卡知识网
http://53go.cn/
专注于移动/联通/电信推出的大流量多语音活动长短期套餐手机卡的相关知识的介绍普及
听说互换友情链接可以增加网站的收录量,特此来换,如果同意的话就给internetyewu@163.com[微信ganenboy]发信息或者就在此回复下吧!【建站问题也可以一起讨论!】