小米OPPOvivo都开发了独立影像芯片，影像芯片能提升手机画质吗？

这两年手机行业是各种怪现象是曾出不穷，炒完1亿像素，炒高刷新率，炒完2K屏幕，接着开始炒独立影像芯片，各种噱头不断。

120Hz刷新率和2K屏幕并没有给普通用户带来多少体验的提升，同样各家的独立影像芯片，也并没有给手机拍照带来多少实际意义上的画质提升。

当然，与炒1亿像素和120Hz不同，独立影像芯片至少比之前的噱头技术难度要高一些，这一点倒是值得肯定。

一、小米C1、vivo V1和OPPO的马里亚纳都是什么？

2021年3月，小米在其MIX Fold发布会上发布了其澎湃C1影像处理芯片；当年9月，vivo发布了其专业影像芯片V1；12月中旬，OPPO发布其MariSilicon X独立影像芯片，OPPO将其称为NPU，一时间芯片研发之风在手机行业劲吹。

那么这些所谓的影像处理芯片到底能干什么？

从手机成像的原理讲，在拍照过程中，需要调用CPU中的ISP（图像信息处理器）和DSP（数字信息处理器）的计算能力，其中自动曝光控制、自动增益控制（曝光补偿）、自动白平衡、色彩校正、Gamma校正、祛除坏点等等，都是ISP中完成，而拍照回显、录像以及回放等编码类的计算，都由DSP负责。

另外，随着手机图像处理范围的扩大（人脸识别、场景识别等）和一些APP的AI运算要求提升，手机芯片中逐渐加入了一个独立的NPU神经网络处理单元，2017年，华为在其麒麟970中第一次加入了NPU单元，当年，苹果也在其A11 Bionic处理器中加入了NPU单元，到目前，除了高通的产品以外，即使联发科的天玑9000中，也加入了NPU单元APU 590。在手机行业，这才是真正意义上的NPU，专门针对机器学习设计的处理单元。

小米的澎湃C1目前并没有太多的信息，运算能力及系统结构小米也并没有透露过，只是在MIX Fold发布会上表示，C1是一款专业影像芯片。“澎湃C1带来更出色的画质和更好的对焦体验，强大稳定的图像处理能力”。从媒体报道的信息看，澎湃C1可以提供更好的对焦性能，更精确的自动白平衡以及AE曝光策略。从这里也可以看出，小米的澎湃C1实际上是承担了手机SoC中的ISP一些功能，至于结果好坏，目前并没有相关的数据。

vivo的V1芯片第一使用是在vivo X70+上，vivo对媒体表示，这枚独立影像芯片，研发经历了两年。V1在整体影像系统中，可搭配不同的主芯片和显示屏，起到扩充ISP高速成像算力，释放主芯片ISP负载的作用，同时服务拍照和录像需求。其专用算法硬件电路在使用时可以降低50%的功耗，在主芯片ISP成像能力的基础上，叠加V1计算成像算法，能获得更好的成像和功耗表现。在实际应用中，可以支持实时预览成片、自动调节曝光和拍摄夜景视频功能，另外一个功能就是在游戏中，可以实现插帧。从V1零碎的信息中，也基本可以还原来V1的本质，它是补充手机SoC中ISP的一款辅助芯片。

OPPO的马里亚纳（MariSilicon） X是宣传最邪乎的一款影像芯片。OPPO在发布会上，把MariSilicon X的AI运算能力与A15中的NPU单元来作对比，多少有些用力过猛的感觉。A15中的NPU单元是一个“通用”神经网络处理单元，不仅可以处理图像中的AI运算，也可以承担其它应用中的AI运算，而MariSilicon X只能处理手机拍照体系中的图像运算，这根本就是不同的两种功能的单元。这就像之前高通在讲其芯片的AI运算能力时，将CPU、GPU和DSP等模拟的AI运算能力与A系列芯片中的NPU单元进行性能比较一样，多少有些令人笑话。

从OPPO在发布会上的功能描述来看，在影像处理流程中，MariSilicon X接管了之前由ISP承担一些功能，CMOS在实现了光电转换后的信息，直接传递给MariSilicon X先做第一步处理，再把处理过的结果送至手机SoC去处理。在这个过程中，MariSilicon X负责基于RAW格式的色域转换、去噪等算法。OPPO之所以这么做的根源，可能源于其定制的那款10bit的RGBW排列的CMOS吧，由于需要两个回路分别处理彩色信号和黑白信号，这对传统的ISP带来了巨大的压力，采用独立的一个运算单元，可以有效地减少对手机SoC的压力。

相对于小米的澎湃C1和vivo的V1，OPPO的MariSilicon X无论从工艺和设计难度以及功能方面，都要比前两者复杂很多，MariSilicon X内部也整合了内存子系统以提高带宽，6nm的工艺也比前两者要优秀一些。虽然OPPO将这枚芯片称为NPU，但从其实际功能来看，仍然只是一款辅助的ISP芯片，只是算力强了一些而已。

那么NPU的作用是什么？与小米、vivo和OPPO的影像专用芯片又有什么相同和不同呢？

NPU（Neural network Processing Unit）就是指采用“数据驱动并行计算”架构的神经网络处理器。传统意义的处理器CPU一般处理的是流水线形式的长命令，而NPU主要处理人工智能领域的多并发的命令。主要用于处理视频、图像类海量的多媒体数据，解决传统芯片在处理神经网络和机器学习环境中运行效率低下的问题，以加速神经网络类运算。

在手机拍照和拍视频的过程中，如果有场景识别和实时除降噪之类的算法要求，依靠ISP是很难实现实时处理的，这就要求对系统的NPU单元调用，以迅速处理相关的算法数据。

所以说，无论是小米的澎湃C1还是vivo的V1，其实质就是替代一部分系统芯片中的ISP功能，与NPU并无相关之处。而OPPO的MariSilicon X根据其发布会上的信息以及对媒体表达的信息，虽然也称为是NPU，但更偏向于是一款DSA芯片，主要运行其AI降噪算法。DSA（Domain Specific Architecture）也就是领域专用架构，对OPPO的MariSilicon X来说，也就是一款影像专用芯片，相对于ISP来说，MariSilicon X要高级一些，不仅有独立的运算单元，而且还整合进了独立的内存系统，可以运行一些基于图形图像处理的算法，理论性能达到了18TOPS。

那么与手机SoC中的NPU单元相比，OPPO的MariSilicon X专用影像芯片有什么不同？事实上，这两者并不在同一维度。手机SoC中的NPU单元，不仅可以承担拍照、拍视频过程中的AI运算，而且还提供了一整套开发工具，普通的APP开发者都可以利用其工具调用其运算能力。联发科天玑9000中的APU 590，可以为手机在拍照、视频、流媒体、游戏等应用提供高效能的运算，而且为开发者提供了完整的开发环境和工具，从硬件、框架到应用，为AI运算提供了技术支撑，同样一次开发，可以适配所有搭载这一芯片的机型。而OPPO的MariSilicon X目前并没有看到有相关的开发工具和支撑环境，即使是在OPPO自己的应用中，也仅仅只是视频的实时降噪时使用到了这枚芯片。以前拍4K 60帧的视频时，无法启动AI功能，而有了MariSilicon X，则可以在拍4K 60帧视频时打开AI降噪。由于骁龙系的处理器没有独立的NPU单元，在骁龙的机型上无法去对比，但目前如果调用天玑9000的APU 590，能否实现4K 60帧的实时降噪尚没有机型测试，但天玑9000的ISP本身就支持三摄像头同时处理18位的HDR视频，且三摄均支持三重曝光，也就是说，在系统SoC上实现这种功能应该是有这种可能性存在。

三、独立影像芯片解决了什么问题？

尽管小米OV独自开发了影像处理芯片，但在实际的产品中用户感受并不明显，或者说，除了OPPO在视频拍摄时可以提供4K 60帧的动态影像降噪外，在拍照方面的提升有限。不管是小米的MIX Fold（小米的这款芯片，甚至都没有出现在小米12的宣传资料里），还是vivo的X70 Pro+，亦或者是OPPO的Find X5 Pro，在影像质量方面并没有明显的提升，这与其在发布会上所谓的影像提升大相径庭。

事实上，从手机影像技术的原理来看，光信号通过镜头，传输到CMOS实现光电转换，再通过芯片进行各种处理，在这个过程中，影像处理技术只是其中的一环，影像还原的三个流程中，任何一个流程都会出现信号损失，所以最后的影像处理环节即使提升了质量，但结果也不是显而易见的。

更重要的是，影像处理环节，芯片只提供了算力，决定了是否能实时显示和记录，而真正决定影像质量的，是算法。所以说，即使是在比较先进的OPPO搭载了MariSilicon X的Find X5 Pro上，给用户最大的感受是预览画面与实际记录画面的一致性，以及在拍照时无需要再等待几秒钟而已。

综合各方面的信息，我们可以大致得出判断，如果算法层面没有核心的进步，那么即使拥有了独立的ISP芯片或者是独立影像单元处理芯片，其实带给用户的只是体验的提升，而非画质的提升。当然，在自己开发的芯片上做算法提升，相对而言更有优势，未来可以实现软硬件一体的优化。

在移动影像技术，包括镜头和CMOS没有革命性变革之前，通过算法提升手机影像的质量，最核心的仍然是算法的先进性，或者说，未来在计算摄影领域，算法才是核心技术的制高点。

当然，如果从未来手机系统SoC开发的角度看，今天小米OV的影像处理芯片，作为各家锻炼队伍，积累经验的方式，有一定的积极意义，但这种影像处理芯片，离手机系统SoC还很遥远。重复造轮子这种事情，目前看来并不能提升厂家产品的核心竞争力和差异化，多少有些营销的噱头在里面，从长远的产业安全来看，在核心部件上进行自主研发，当然是一件值得尊敬的事，但至少要提前做好准备，系统级芯片的研发，没有几千亿资金支撑，十几年的技术积累，很难达到可用的水平。像雷军曾经喊出投资十亿美元就要做系统级芯片的这种梦，还是少作为妙。