现在居家看电影，大伙儿还是更愿意用电视。
毕竟在同等条件下，电视的屏显和画质摆在那里，手机再怎么升级屏幕，沉浸感还是没有电视好。
BUT，就在最新一期天玑旗舰技术沟通会上，联发科却突然宣布，成功把电视上的画质 " 秘籍 "搬到手机上来了——
要知道在智能电视市场，联发科智能电视芯片至今已助力累计超过 20 亿台电视产品在全球各地上市，是这一领域的领导厂商，画质增强技术更是早有积淀。
电视技术移至到手机上带来了两点好处，一方面，画质品质更高了；另一方面，用到手机拍照甚至拍视频上，可以节省算力进一步提升能效。
要知道，这可是各大头部电视厂商都在用的画质技术，有几家才刚安排到新产品上。
此前手机虽然也 get 了不少影像处理技能，但和高端电视比起来还是要低调一些。
这究竟是怎么做到的？
把电视画质技术搬手机上来了
最新的电视技术全称AI 景深画质增强技术（AI Depth PQ），目前这项技术已经被用在不少电视上。
既然如此，联发科脑洞大开：为什么不能将这类 AI 画质优化相关技术直接用到手机拍照、视频实时处理上，直接改善成片效果？
具体来说，通过 AI 来进行画质增强的技术又可以被分为几类技术，包括 AI 图像语义分割技术、景深估计技术和智能优化技术等。
其中最重要也是整个技术的核心，就是AI 图像语义分割技术。
这项技术本身并不复杂，核心思路就是将场景中的不同物体按照 " 描边 " 的方式分割成几个区域，每个区域中的所有像素都可以用相同的标签来标记：
△例如像素 4 标签路人，像素 3 标签蓝天
但用在手机智能拍照上，又有至少三大考验：
AI 的理解能力，如何合理切分照片的前景和背景；AI 的决策能力，如何选择各区域的优化算法；受限于手机体积，AI 算法的功耗不能太大……
例如，上图中站在背后的路人、和毯子上正在拍照的两个主角，虽然都属于 " 人 " 这一标签，但需要进行的处理却截然不同，一个需要抠图并智能消除、另一个需要智能美颜算法：
又例如，即使是被划分为 " 背景 " 的部分，在进行处理时也有不同的算法需求，像照片中的 " 普通蓝天 " 需要被优化甚至智能替换成 " 更讨好眼球的蓝天 "，而草地色彩则需要被调整得更明亮一点。
再例如，想将这个技术扩大到视频拍摄中，像电视处理电影那样实时进行，AI 图像语义分割技术又不能占用太多算力，不然直接掉帧甚至快速掉电……
△4K30 帧视频（约 800 多万像素 / 帧）需要的算力是 800 万照片的 33 倍
针对这几点，联发科对应地研发了几种算法，来 " 配合 " 语义分割算法打出组合拳。
首先，结合场景识别优化语义分割算法，使得 AI 不仅能区分前景（如人像、动物等）和背景，还能进一步识别不同种类的背景，如建筑、天空、绿地、植物和水池等。
然后，就是AI 区域画质增强技术（AI Region PQ）了。
将照片分割成前景和不同区域的背景后，AI 会针对每个区域的物体特性，分析并选取最合适的优化算法，" 拆分式 " 地优化照片不同区域的效果。
例如针对蓝天的优化，基于色彩增强算法让天色看起来更明亮；针对建筑物的优化，则主要在对比度和锐利度上，如结合超分辨率等算法，让建筑物的窗户等细节看起来更清晰……
最后，还能基于语义分割算法降低视频的算力，实现精确对焦。
此前，针对视频的实时追焦算法往往是进行逐帧追焦，通过计算帧间差异来调整清晰度，这样不仅耗费算力，甚至可能降低视频的流畅度。
相比之下，采用语义分割算法区分出前景后，只需要针对前景区域进行侦测和追焦就行，背景则不需要再耗费更多算力去进行优化，就省去了不少算力。
这样一来，不仅照片和视频都实现了实时算法优化，甚至相比原来还节省了一大波算力，例如 4K30 帧视频和 8K30 帧视频拍摄所需算力，都降低到了原来的 1/4。
同时，联发科也针对 AI 算法在硬件处理上进行了对应的优化，包括提升 APU 的能效等，进一步降低 AI 景深画质增强技术在手机上消耗的算力。
事实上，这也并非联发科第一次针对手机 AI 技术进行布局了。
用 AI 突破计算摄影瓶颈
从 2018 年开始，联发科开始将计算摄影作为手机芯片算法的研发重点。
当年 10 月份推出的 Helio P70 处理器，着重提升了多帧降噪（MFNR）方面的性能，即通过一次性拍摄多张照片，随后通过计算每个位置对应的多层像素均值进行输出，提升照片的清晰度。
这其中涉及大量算法的优化，尤其是拍摄多张照片并进行处理的速度，当年 Helio P70 针对多帧降噪算法进行优化后提升了约 20% 的性能。
然而，在计算摄影研发过程中，团队在计算机视觉方面遇到了一些算法优化极限。
适逢更多 AI 算法在手机端优化落地，计算摄影团队的重心也逐渐转到 AI 技术研发上。
一方面是芯片上有关 AI 算力的提升。
最早从 2018 年 Helio P90 强调提升 AI 算力速度、同时推出包含剪枝在内一系列优化算法的 AI 计算平台 NeuroPilot v2.0，到 2020 年的天玑 1000+ 的 MiraVision 画质引擎和 APU3.0；
再到 2021 年至今强调的 " 每瓦有效算力 " 指标，即 APU 长时间运行的功率大致在 1W 左右，联发科在这方面强调的始终是 " 开源节流 "，优化 AI 的能耗。
也就是说，尽可能在不增加功耗的情况下，提升手机上 AI 算法运行的效果。
另一方面则是不断改进 AI 算法的性能。
而从整体研究范围来看，联发科这几年也一直在提升对于 AI 的重视程度，包括进行贝叶斯优化、元学习相关的机器学习研究，相关论文发表在 NeurIPS、ICLR 等顶会上。
这其中就有与影像处理相关的研究，例如提出了一个名为 CycleNet 的框架，旨在提升 AI 识别拍摄场景中较深物体（即相对镜头的距离较远）的能力。
具体来说，CycleNet 借鉴了 " 神经元会和处理相同图像中具有相同特征物体的神经元产生联系 " 等一系列生物神经元处理信息的特点，来设计整体的框架逻辑，提升 AI 在处理较小较模糊的目标时整体的识别准确率。
至于我们多久会在手机上见到这样的 AI 技术？还得看联发科的速度了（doge）
还有哪些手机技能待点亮？
随着 AI 落地的技术越来越多，手机应用似乎也在进一步逼近想象力的极限。
甚至有一种观点认为，目前能提升手机性能和创造力的就只有 AI 技术了。
然而事实真是如此吗？
即便这几年手机功能需求逐渐趋于一致，人们的关注度也并不止放在手机 AI 技术上。
包括 GPU、通信乃至导航等，同样是大伙儿期待在手机上能有进一步提升的硬件设备 " 技能点 "。
这种情况下，手机究竟还有哪些可待提升的功能空间？
如果仔细观察这几年芯片技术发展趋势的话，会发现确实还有不少。
从联发科在技术沟通会上透露的情况来看，芯片厂商针对手机游戏性能提升的侧重点仍然在移动光追上。
只不过相比于去年这一热点概念的提出，今年移动光追已经逐渐成为手机上一个可以预见的功能性卖点，而且还会随着技术的成熟普及到更多手机设备上。
同理还有移动 GPU 增效方案，也在与移动光追同步进行，目的是在增加图像刷新率、分辨率和渲染复杂度的同时，保持芯片能效的优化，以实现软硬件同步跟进的效果。
至于在通信技术方面，未来可预见的功能则包括5G 新双通、以及支持Wi-Fi 7、高保真蓝牙音频等。
其中，新双通指在手机双卡双待的情况下，让双卡的信号彻底不互相影响的能力，即使用流量卡打游戏时，主卡接电话也丝毫不受到影响。
随着明年 Wi-Fi 7 标准的发布，WiFi 吞吐量、稳定性和时延还会有进一步的改善，到那时候手机上即时刷剧打游戏的体验也会再度提升。
至于高保真蓝牙音频这一方面，则主要是改进了音频编解码器和高带宽的技术，让音频传输效率和音质进一步 up。
最后则是高精度导航方面的技术了。
虽说随着自动驾驶和 V2X 等技术发展火热，如今车道级导航已经是车机标配。
但在不用车或是车内手机导航时，除了室内这种卫星信号无法触达的场所，高楼大厦林立的区域也同样需要用到手机高精度导航技术。
而随着联发科 MPE（MEMS-sensor Positioning Engine）融合技术的发展，结合传感器（陀螺仪、加速度计等）+ 全球卫星导航系统的导航技术也将应用到手机上，极大增加室内定位和弱信号区域的导航精度。
年底下一代天玑旗舰芯片又要发布了，据网传型号是天玑 9200，你最期待什么功能出现在上面？
原文地址：http://www.myzaker.com/article/634f8fc08e9f09566f18256a
相关文章
