3月29日晚间,小米举办春季新品发布会,当晚最具话题性的技术莫过于与三星ISOCELL合作18个月研发的5000万像素大底传感器GN2,感光面积达到1/1.12英寸,是iPhone12 Pro的近5倍大,超越索尼为华为定制的IMX700(1/1.28英寸)。至于之前呼声很高的自研澎湃芯片,则留到今晚揭晓,有爆料者称小米这次将发布的自研芯片是ISP……

3月29日晚间,小米举办春季新品发布会,正式发布小米11 Pro、小米11 Ultra和小米11青春版,一同发布的还有小米路由器AX9000和小米手环6共五大新品。

其中小米11 Pro起售价4999元,搭载骁龙888芯片,搭载了新型硅氧负极电池,支持67W有线快充+67W无线充电,也是小米首次搭载IP68防水级别的手机。小米11 Ultra则在小米11 Pro的基础上,成为了全球首款“三主摄”手机。

当晚最具话题性的技术,莫过于这两款机型的主摄模组都采用了与三星ISOCELL合作18个月研发的5000万像素大底传感器GN2,感光面积达到1/1.12英寸,是iPhone12 Pro的近5倍大,超越索尼为华为定制的IMX700(1/1.28英寸),并已经十分接近索尼黑卡相机RX100M7的一英寸大底。

三星GN2(下)和索尼IMX 689的对比

“像素再高,也不如大底大像素传感器”——余承东

近年来,手机拍照的需求见长,带动了移动图像传感器像素和面积的爆炸式增长。

知名数码博主maomaobear在撰文中提到,手机拍照进化从11万开始,像素数不断提升,但是有过几个台阶。第一个台阶是200万像素,功能手机拍照进化到200万后停滞了很久,因为200万已经可以完成记录生活的需要。

智能手机兴起让手机拍照一路进化到了1200万又停滞了很久,至今苹果还是1200万像素。Maomaobear分析原因是手机进化到1200万时,配合现在的镜头和IPS,测试分辨率已经超过了3000线。这个水平已经超越了DC数码相机,甚至超越了早期残幅的单反。

期间,还有诺基亚用大CMOS和高像素去解决变焦画质的问题,同时把全像素画质推到了新高度,但也随着诺基亚手机的失败而停滞。直到华为重新接过诺基亚的衣钵,再度提升像素数与CMOS面积,开启了智能手机像素大跃进,从1200万跳到4800万,6400万,1.08亿。

不过武功再高,也怕菜刀。“像素再高,也不如大底大像素传感器”,这是华为余承东的原话。去年7月23日,余承东在其微博上发表了对于手机上搭载1亿像素CMOS传感器的分析,他表示:“一亿像素实际拍照效果不如大底大像素的Sensor。即便一亿像素通过多个小像素合成大像素,效果也还是有折扣与差距。拍照的效果并不是与像素数简单相关的,这是一个系统性工程。”

的确,对摄影感兴趣的朋友都知道,传感器面积越大,进光量越高,物理层面收集的图像信息越好,越有利于最终成像效果的呈现,2020年,智能手机CMOS面积也开始进化,IMX700已经进化到了1/1.28寸。

 

曾经的单反CMOS传感器(上)和手机CMOS传感器(下)比起来,尺寸是秒杀,就算手机的算法再厉害,画质也一样被秒杀。而GN2的恐怖参数,令它成为市售移动传感器面积第一。

GN2的参数有多恐怖?

根据官方公布信息,GN2单像素面积达到1.4μm,这个尺寸本就难觅敌手,这个参数在一定程度上决定了传感器夜景表现力。再加上支持像素四合一技术,可将四个像素合成当做一个像素使用,等效像素尺寸高达2.8μm,令感光性能更突出。

 

三星方面在今年2月底发布了这款传感器时表示,GN2的像素排列,还是三星传统的四合一拜尔排列。可以通过四合一做1250万的输出,也可以直接出5000万的图还通过使用“智能重新镶嵌算法”重新排列彩色像素来支持1亿像素的输出。当然,实际的照片并非是一一对应的1亿像素,而是通过红绿蓝三个5000万像素的图层进行叠加后,进行放大与合成最终通过算法形成的1亿像素照片。

在强光下,5000万出图的品质是有保证的,因为单位像素1.4微米已经非常大,实际上强光下,三星ISOCELL 技术用0.8微米已经可以保证单位画质了。

另外,三星GN2也是首款采用双像素增强技术(Dual Pixel Pro)的传感器,配合全像素全向8核对焦,与多点 dToF 激光对焦系统,通过最多 64 点测距极暗光下也能对焦。雷军在发布会上也表示,搭配小米自研的“夜枭算法”,在接近无光的环境下也能拍出画面明亮的照片。

与此前的技术相比,GN2的绿色像素是对角拆分,红色与蓝色像素则继续保持垂直拆分,这让其像素顶部和底部、左侧和右侧均可以读取相位差。新的检测方式可以应对弱光环境或快速移动物体的快速准确自动对焦。

关于Dual Pixel Pro,三星半导体官方在微博贴出一张技术解析图:

根据三星官方的意思,双像素增强技术是由双像素技术升级而来。双像素技术是模拟双眼对焦,实现左右相位差对焦;双像素增强技术,除了每个像素分为左右两半,还可以对一些像素进行对角线隔离,不仅可以左右相位差对焦,还根据图像传感器特点,实现上下相位差,提升对焦效果。藉由大底+对焦升级,提高弱光下,运动中的成片率,减少废片。这个技术最早在OPPO的手机中使用,效果非常不错。。

三星ISOCELL GN2还支持Smart ISO Pro,能够智能的调节两种不同的感光度,这在三星目前的传感器中已经进行了支持。视频拍摄上支持1080P分辨率的480帧慢动作拍摄,在4K分辨率上则能提供120帧录制支持。

手机CMOS传感器的两条技术路线

小米为用好这款“底大一级压死人”的传感器,也是煞费苦心。为其搭配了双原生ISO Fusion和Stagger HDR技术,配合 12bit RAW可以带来18级高动态范围表现。同时搭配8P镜头、OIS光学防抖,支持1920fps超级慢动作,以确保全场景下的成像能力。

“三主摄”中的另外两位分别是主摄级IMX586传感器,4800万像素输出配合1/2英寸大底,提供超广角128°视野范围,;长焦端同样采用IMX586传感器,潜望式变焦号称实现了全球最高的120倍超远变焦。

视频方面,得益于三主摄相机系统,小米11 Ultra首次支持全焦段8K视频拍摄,不论是广角、超广角还是长焦均可实现8K超清视频录制,并新增双机联录功能,取景框可接入另一部小米11 Ultra/Pro的相机画面,以不同视角分屏拍摄。

显然三星GN2传感器的使用,有助于小米11 Pro/Ultra的拍照能力提升。单从规格上来说,GN2比小米11使用的HMX就要强一些,毕竟这是最新款的顶级产品。其次也是两种不同的技术路线。

三星图像传感器当前有两条旗舰级生产线,一条是主攻大底高像素的三星HM系列传感器(产品有三星HMX、三星HM1和三星HM2);一条是主攻大底的三星GN系列传感器(产品主要有三星GN1、三星GN2)。《中关村在线》整理了一张三星旗舰传感器参数表格:

三星旗舰传感器部分参数一览(图自:ZOL中关村在线)

可以看出在三星一系列的旗舰传感器中,GN2除了最大像素不占优势,在传感器尺寸和单像素面积上都是傲视群雄。尽管三星品牌市售手机未有搭载三星GN系列传感器,但不能否认三星GN系列重要参数上的恐怖。

上文也提到在CMOS图像传感器的道路上,发展出了两条路线——其中一条是锁定4800万-5000万,增加单位像素面积,一条是锁定0.7微米-0.8微米单位面积,增加像素数。4800万的逻辑,是四合一后1200万,正好满足4K拍摄3840*2160的需求;而4800万或者5000万,可以满足8K拍摄的需求。整个CMOS的面积利用可以最大化。

Maomaobear认为,锁定0.7微米-0.8微米单位面积的逻辑,是强光下0.8微米足够了,再大画质也没有突破,而弱光可以四合一。这种逻辑可以实现强光下画质的最大化。“GN2显然是第一种逻辑下的结果,在最高分辨率下的画质,5000万也许不及1亿,但是在视频上,5000万会有比较大的优势。”

从之前的“一亿像素”,到现在的“大底”、“双像素增强技术”,三星带来了不少传感器技术的新玩法。也让手机厂商们除了索尼,多了另一个选择,那么除了小米,还有哪些智能手机厂商搭载了这枚传感器呢?

此前,vivo X50 Pro+和vivo X60 Pro+两款机型上采用了三星GN1,因此预计除了小米11 Pro和Ultra,vivo新旗舰机型也大概率会采用GN2传感器。此外realme众多机型都青睐三星传感器,也不排除2021年的realme旗舰采用新款传感器。但根据网上爆料来看,大概率将小米会拥有一段时间的独占期。

传小米自研芯片是ISP

但有了大底传感器,拍照就能超越单反了吗?目前来看还是不可能,因为拍出好照片还有两个重要因素:镜头和图像信号处理器(ISP)。

镜头在手机上目前是无解的,因为它对体积有刚性物理要求的,拍摄特定场景时用的 镜片可能就有手机那么厚了。

ISP是Image Signal Processor的缩写,主要用来对前端图像传感器输出信号处理的单元,以匹配不同厂商的图像传感器。通俗来理解就是,ISP 所要做到的就是将“数字眼睛”的视力水平提高到“人类眼睛”的水平,让人眼看到数字图像时的效果尽可能接近人眼看到实景时的效果。ISP除了负责图片锐化、降噪、优化色彩等工作,还肩负着实现相位、激光、反差等混合对焦运算以及提供对多摄像头支持等重任,是手机拍照中必不可少的关键一环。

网上传言,小米这次将发布的自研的芯片就是ISP,数码博主 @数码闲聊站 等 也“实锤”小米全新自研澎湃芯片是独立 ISP 芯片,不是 SOC 芯片

 

但昨晚(3月29日)的发布会小米还是卖了个关子,把自研芯片留到了今晚发布。

2020年9月,小米曾公开招聘ISP工程师,打造自研ISP的意图非常明显。联系到和三星共同研发CMOS传感器一年多,期间搭配着ISP的研发也十分合理。

@数码闲聊站 曾表示,高通 ISP 芯片一年一更新,跟不上小米影像进步的速度,于是小米自己做起了 ISP 芯片。这次芯片与小米近些年进步神速的影像技术有关。

不过,小米不是国内第一家自研ISP的手机厂商,华为从海思麒麟950开始就集成了自研的ISP,以美颜拍摄见长的美图手机也采用了富士通的独立ISP芯片。

以高通骁龙 888 移动平台为例,搭载了 Spectra 580,这是首个支持三 ISP 的 Qualcomm Spectra 图像信号处理器,三 ISP 支持摄像头进行三重并发和三重并行处理。如果小米的自研芯片真的是ISP,那么搭载的手机将拥有小米自研的影像技术,独立于高通 SoC 上集成的 ISP 运行。

一个ISP其实是一个SoC核心,内部包含CPU、SUP IP、IF 等单元,可以运行各种算法程序,实时处理图像信号。ISP的控制结构由ISP逻辑和运行在上面的Firmware两个部分组成,逻辑单元除了完成一部分算法处理外,还可以统计出当前图像的实时信息。Firmware 通过获取ISP 逻辑的图像统计信息进行重新计算,反馈控制Lens、Sensor和ISP逻辑,以达到自动调节图像质量的目的。

责编:Luffy Liu

本文综合自小米官网、中关村在线、Techweb、PChome、CNMO、maomaobear、IT之家报道

阅读全文,请先
您可能感兴趣
2021年是激光雷达“上车”元年。随着智能驾驶技术不断演进,未来几年激光雷达将被各大车企采用。这家具备领先的激光雷达技术优势的德国企业,将要在激光雷达装配率极速上升的“黎明前夜”落幕吗?
在AI算力突破传统成像系统天花板的计算革命下,AI ISP技术也将不断发展,其算力也将越来越强,其产品成本将不可避免的越来越低,拍摄距离也将越来越远,效果也会越来越好。而一直被大众所不理解和诟病的特斯拉的全摄像头视觉技术,或许不久将成为现实。
本文将介绍 USB 3.1 以及第一代与第二代 USB 3.1 之间的差异及两者能给机器视觉开发人员带来的实际益处。 USB Implementers Forum 还针对 USB 3.2 标准发布了相关规范,该标准使 USB 3.1 吞吐量加倍。
机器人已经融入到了我们生活的方方面面,现在酒店、餐饮、娱乐、工业、汽车自动驾驶等各个领域都有机器人在为我们服务。机器人越来越智能,应用场景也越来越多。 6月29日,由Aspencore与深圳市新一代信息通信产业集群联合主办的AIOT 2022国际生态发展大会-智慧机器人分论坛上,毕业于中山大学和荷兰代尔夫特理工大学,曾是光刻巨头ASML光刻过程控制算法的创始团队成员,现任深圳阜时科技有限公司CTO王李冬子先生分享了SPAD芯片在机器人LiDAR领域的应用。
瞄准智能摄像头和边缘人工智能(AI)视觉市场,Arm日前宣布推出全新Arm Mali-C55图像信号处理器(ISP),这是Arm迄今为止面积最小且可配置性最高的ISP产品,瑞萨电子成为了首家公开授权许可客户。
带有高性能深度学习推理加速器芯片或与云数据中心宽带连接的高清摄像头,可以显著增强和改进传统的安全和监控方法。事实上,这样的深度学习系统已经展示了非凡的能力:面部识别、手势解释——例如检测入店行窃,甚至情绪估计——检测入店行窃的企图。或许这些能力已经变得令人刮目相看了。
• 目前,iPhone在翻新市场中是最热门的商品,并将长期主导着翻新机的平均销售价格。 • 全球翻新机市场持续向高端化发展,其平均销售价格(ASP)现已超过新手机。 • 新兴市场是增长的最大驱动力,消费者对高端旗舰产品有着迫切需求。 • 由于市场固化和供应链的一些问题限制推高中国、东南亚和非洲等大市场的价格。 • 2024年,这些翻新机平均销售价格将首次超过新手机。
从全球厂商竞争来看,三季度凭借多个新品发布,石头科技市场份额提升至16.4%,连续两季度排名全球第一……
2025年1月9日,美国 拉斯维加斯丨全球瞩目的国际消费电子产品展(CES 2025)盛大开幕,来自世界各地的科技巨头与创新企业齐聚一堂共同展示最新的科技成果。中国高性能微控制器产品及嵌入式解决方案提供商上海先楫半导体科技有限公司(先楫半导体,HPMicro)闪耀登场,发布了专注于机器人运动与控制的高性能MCU产品——HPM6E8Y系列,为火热的机器人市场注入新的活力。
最新Wi-Fi HaLow片上系统(SoC)为物联网的性能、效率、安全性与多功能性设立新标准,配套USB网关,可轻松实现Wi-Fi HaLow在新建及现有Wi-Fi基础设施中的快速稳健集成
大疆发布DJI Matrice 4T旗舰无人机,售价38888元。该无人机可用于电力巡检、应急抢险、公共安全、水利林业监测等众多应用场景。DJI Matrice 4T的镜头模组拥有“六个眼”,除了广角
来源:《中国半导体大硅片年度报告2024》2016 年至 2023 年间,全球半导体硅片(不含 SOI)销售额从 72.09 亿美元上升至121.29 亿美元,年均复合增长率达 7.72%。2016
小米15 Ultra目前已经三证齐全,静待2月份发布了,大概率会是2025年第一款超大杯旗舰。博主定焦数码最新公布了一张该机的渲染图,后摄区域是根据内部结构绘制,展示了全新的排列方式。四摄呈L形排列,
1月7日,据韩媒 sisajournal-e 消息,三星计划 2025 年下半年推出三折叠手机,采用 G 形双内折设计,完全展开后尺寸为 12.4 英寸。据称,有别于华为的 S 形折叠屏方式(In&O
CES 2025,黑芝麻智能携旗下华山系列、武当系列芯片参展,并带来与产业链伙伴的合作新进展。1月8日,黑芝麻智能与汽车嵌入式互联软件产品和解决方案供应商Elektrobit联合发布了基于武当系列C1
日前,国家发展改革委等部门介绍了加力扩围实施“两新”政策有关情况,今年第一批消费品以旧换新资金810亿已经预下达。很多网友没有看懂具体政策,下面快科技给大家简单梳理一下,其实一句话来说就是:国四车、家
日前,微信安卓版迎来8.0.56正式版更新,这是2025年首次版本更新。关于更新内容,依然是那9个字:“修复了一些已知问题”。虽然官方没有公布具体更新内容,但体验后发现,新版增加了朋友圈视频倍速播放等
近日,闻泰科技在一场电话会议中阐述了其出售ODM(原始设计制造)业务的战略考量。           闻泰科技表示,基于地缘政治环境变化,考虑到 ODM 业务稳健发展和员工未来发展利益最大化,公司对战
点击蓝字 关注我们SUBSCRIBE to US如果你听说过深度伪造(deepfakes),即人们做着从未做过的事或者说着从未说过的话的高度逼真视频,你可能会认为这是一种可疑的技术发展成果。例如,它们
1月8日消息,据外媒报道,由于半导体行业需求衰退,日本瑞萨电子将在日本及海外裁员数百人,并且定期加薪也将被推迟!据报道,瑞萨电子在日本和海外有约21,000名员工,本次裁员比例近5%。这一裁员计划已于