端侧AI芯片，算力大不代表就好用

买手机、挑摄像头、看路由器，厂商现在都爱在参数页上甩一个数字出来——多少多少TOPS。看着挺唬人，可真把模型丢进去跑，该卡还是卡。端侧AI芯片这玩意儿，算力大不代表就好用。这话不是唱反调，是踩过坑的人才会讲的。

端侧AI芯片的TOPS，先问口径再谈高低

TOPS是每秒万亿次运算的意思，关键在后面那半句——什么精度下的运算。INT8、INT4、FP16，同一颗芯片算出来的数字能差好几倍。有的厂商标的是稀疏之后的峰值，有的标的是理论峰值，实际能跑到的可能只有标称的一半出头。所以看见参数先别激动，问清楚三件事：哪个精度、稠密还是稀疏、算不算上搬数据的开销。宣传页上的横竖对比看看就行，真要定方案，以厂商白皮书或者官方页面的说明为准。

还有个更隐蔽的地方，TOPS是峰值。端侧设备大部分时间是跑在中低频上的，手机一热就降频，摄像头盒子塞在密闭机箱里闷着，那点峰值撑不了几秒。按峰值估容量，最后交付的时候大概率要被打脸。

真正卡住速度的，常常是内存带宽

跑大模型推理，尤其是权重几百兆的那种，瓶颈往往不在算力单元，在内存。每生成一个token，都得把权重从内存里搬一遍，带宽不够，算力单元就在那儿空转等数据。有些板子算力标得不低，跑起来每秒出不了几个字，原因基本都在这。

选型的时候值得问一句：内存带宽多少，是不是和CPU共享。共享这条特别要命，CPU一忙，NPU跟着掉速。这个参数一般不在宣传页第一屏，得翻详细规格书，或者直接抓厂商的技术支持问。别嫌麻烦，问清楚能少走半年弯路。

软件栈跟不上，算力全砸手里

硬件是一半，工具链是另一半。你的模型能不能转成它认识的样子，用到的算子覆盖没覆盖，量化工具顺不顺手，这些决定了“理论能跑”和“真的能跑”中间那段距离。见过太多demo跑得飞快、自己模型一编译就报某个算子不支持、回落到CPU上跑的情况，速度掉一个量级都不止。

所以别只盯跑分榜单，拿自己的模型去试，跑不通的算力等于零。顺带看几个软指标：SDK文档多久更新一次，社区里有没有人提问，报错能不能搜到答案。这些东西比TOPS更能说明你后面会不会被卡住。

量化省下来的显存，精度会还回来

端侧跑模型基本都得量化，INT8甚至INT4，显存占用和带宽压力下来了，速度也上去了，代价是精度。掉多少得看任务：做图像分类可能没啥感觉，做小语种翻译、长尾的文本理解、细粒度检测框，就容易出幺蛾子。常规做法是拿一批真实业务数据，跑一遍量化前后的对比，看关键指标掉多少，能接受再上线。公开榜单上的精度，那是别人的数据。

功耗和散热，才是端侧的硬约束

云端服务器不心疼电，市电插着、风扇吹着。端侧不一样，电池、塑料壳、密闭机箱，散热条件差得多。所以“持续算力”和“瞬时算力”必须分开看，有些设备头几秒很猛，然后就降频躺平了。做产品的话，按长时间稳定运行那个值估容量，别按峰值排计划。

功耗低还有个附带好处，数据不出设备。人脸、录音、产线上的画面这类东西，本来就不太适合往外传，本地推理在合规上省事不少。这也是这两年端侧被推着往前走的一个原因，跟技术本身好不好用，其实关系不大。

落到建站和上云的人身上，这事怎么用

绝大多数站长用不上端侧芯片，但有几类需求正在冒头：给门店做的摄像头识别、给工厂做的质检盒子、给客户做私有化部署的小模型推理。这类项目里，选型最容易被“算力大”三个字带偏。

稳妥的路子，是先在云服务器上把整条链路跑通——模型、数据、后处理、接口——再考虑往端侧搬。云上换配置方便，试错成本低；端侧一旦选错，板子焊死了想改就麻烦。CDN那套边缘计算的思路也差不多：边缘只干它擅长的轻活，重的交给中心。反过来说，如果你一上来就冲端侧买板子，很可能买回来发现模型跑不动，再回头补云上的实验环境，时间和钱都花了双份。

问这五个问题，比看跑分有用

顺序大概是这样：一，目标模型在他们的工具链上有没有跑通的案例；二，内存多大、带宽多少、是不是和CPU共享；三，持续功耗和散热方案怎么做的；四，能不能给一份用你自己数据跑的量化前后精度对比；五，SDK文档和社区活跃度怎么样。TOPS排在这五条后面。参数好看的芯片一抓一大把，能让你省事的工具链不多。

最后提一句，端侧这行更新太快，今天合适的方案过半年可能就有更好的，别指望一次选型管三年。真要动手，先把三个问题想明白：我的模型多大、延迟要求多严、设备装在什么环境里。这三个答不上来，参数看再多也是纸上谈兵。拿不准的地方，还是以芯片厂商官方文档和实测结果为准。