泛目录优化上线三天,日志里全是404。这事儿见得太多了。程序批量生成页面看着热闹,真跑到服务器上呢?Nginx的access.log翻下来,大半请求都是404。蜘蛛来敲门没人应,掉头就走。我不太信“生成完就等收录”那一套。页面到底有没有被爬到?日志里写得明明白白。404这条线不收拾干净,后面做什么都费劲。

我一般先把日志按状态码筛一遍,别一上来就从几千行里往下翻,筛完只看路径,重灾区在哪基本一眼就看出来了,命令不复杂:tail -n 2000 /www/wwwlogs/access.log | grep ‘ 404 ‘ | awk ‘{print $7}’ | sort | uniq -c | sort -rn | head -30,跑出来是一列排好序的地址,排在前面的那些,就是蜘蛛最想要、你又没给的东西。日志路径按自己的环境来,宝塔通常在 /www/wwwlogs/ 下面,源码编译装的常在 /usr/local/nginx/logs/,虚拟主机一般只给你面板里的访问统计,看不到原始 access.log,那就得靠面板的 404 报表凑合看。日志不会骗人。
翻几条下来你会发现,404 很少是散着来的,基本扎堆在几个路径前缀上,这种聚集说明问题出在规则或者目录结构,不是蜘蛛乱抓,也别急着怪页面质量。
泛目录优化最常见的坑:URL 和服务器对不上
泛目录优化这玩法,本质是靠程序批量铺页面,用目录层级去覆盖长尾词,路径一般是 /词/词/index.html 或者 /a/b.html 这种。生成端想的是这套地址,服务器端认的可能是另一套,差一个后缀、差一个斜杠,请求过去就是 404。跟程序写得漂不漂亮关系不大,纯粹是两边没对齐嘛。
先看清 404 的地址形态,再决定往哪查
日志里那列地址,形态不一样,查的方向完全不同。带 .html 后缀的批量 404,多半是伪静态没写、或者规则被别处的 location 截胡了;以目录结尾、末尾缺斜杠的,是 try_files 或者 index 顺序的事;地址里挂着问号和参数的,说明 rewrite 把参数吃掉了,或者正则没匹配上中文和大小写。
还有一种最迷惑人的情况,地址看着完全正常,浏览器打开也确实能看到页面,就日志里 404 一片,那基本是走了 CDN,回源的时候路径变了,或者缓存把 404 一起记住了啊。
泛解析没绑进站点,请求会落到默认站
做泛目录很多人图省事,直接把域名泛解析到服务器 IP,以为所有子域都能通。Nginx 这边 server_name 只写了主域名,没写 *.example.com,那些随手拼出来的子域请求进来,找不到匹配的 server 块,就落到默认站点,默认站点底下没有对应目录,返回 404 几乎是板上钉钉的。
虚拟主机上这个坑更多,面板里加域名要一个一个点,泛解析过来的子域没绑,一样白搭。
补一行就好,server_name example.com *.example.com; 改完记得 reload。老版本 Nginx 对通配符的支持有限,动之前先看一眼自己是什么版本,拿不准就按官方文档的说法来呗。
面板里的伪静态,抄对了也得看位置
网上抄一段 rewrite 直接往上贴,是最容易踩的坑。宝塔这类面板的伪静态放在单独一个 .conf 文件里,被 include 进 server 段,位置在 location 前面还是后面,效果不一样。location 匹配是有优先级的,= 精确最优先,然后 ^~ 前缀,再到正则,两条规则互相打架的时候谁生效,你自己都说不准吧。
改完别急着刷页面。先 nginx -t 看语法,过了再 nginx -s reload。报错一般会直接把行号甩给你,照着改就行。虚拟主机上就没这么痛快了——主配置你碰不到,能动的只有面板里那份伪静态。写上去不生效?那就是面板没把它 include 进去。这种只能提工单问服务商。别自己在那儿瞎折腾。
目录尾部那个斜杠,能气死人
/a/b 和 /a/b/ 在 Nginx 眼里是两个地址。请求没带斜杠,服务器发现 b 是个目录,默认会 301 补上斜杠,这一步的开关被关掉了、或者规则里挡了一道,就直接 404 了事。try_files 的写法也有讲究,$uri $uri/ /index.php 这个顺序不能乱,少了中间的 $uri/,所有目录请求都会掉到最后一个参数上去。
CDN 和浏览器,都会把 404 记下来
规则改完,本地 curl 一下通了,线上还是 404,八成是缓存在作怪吧。CDN 默认会缓存 404 一段时间,各家的时长策略不一样,具体以服务商说明为准;浏览器这边也留着旧记录,ctrl+F5 强刷一次就好。排查的那几天我一般先把 CDN 缓存清一遍,或者把域名临时指回源站,看的东西干净,判断才不会跑偏。缓存比规则还顽固。
顺手提一句,回源那台机器上如果还挂着一层代理,proxy_intercept_errors 这类开关也会把后端的错误码改成别的返回,日志对不上很正常,一层一层往上捋就是了。
老链接不给 301,日志里永远有 404
目录名改过、后缀从 .html 换成目录形式、甚至整套 URL 结构都换过,这些历史地址在外面还挂着外链,蜘蛛手里也存着。你不给它一个明确的新地址,它每次来只能撞 404,不然还能怎么办。加一条 301,把旧前缀整体指到新目录,日志里那批 404 会慢慢变少,这活儿不急但得做,拖着就是天天看一样的报错呗。
所以别看到 404 就怀疑程序。我的顺序是这样:grep 出 404 的 URL 看形态,确认这些路径在磁盘上到底存不存在,核对 server_name 和伪静态的 include 位置,本地 curl 和线上结果对比,缓存清一遍,旧地址补 301。走完这几步,日志里剩下的 404 基本就是真有问题的页面,该删删该补补就好,不用再瞎猜。
相关阅读
【版权声明】:本站内容若无意侵犯到您的权利,请及时与我们联系将尽快删除相关内容!