返回话题列表
乐晴行业观察
2024/12/19 08:48
类型 talk 7阅读 1

豆包视觉理解模型 核心图形处理...

发布者:乐晴

豆包昨天发布了视觉理解模型,有望加速推动AI端侧硬件的应用,全面赋能AI眼镜、AI玩具,AI手机等端侧硬件,将对各类芯片有较大的需求。

其中,ISP芯片主要关注图像信号的处理和改善,参与到多模态数据的融合和处理中,通过集成AI算法提升智能化水平,应用在复杂的AI模型视觉中。 ----------

ISP(ImageSignalProcessor),图像信号处理器芯片,是指对从图像传感器(如摄像头)捕获的原始图像信号进行处理和优化的技术。

通过线性纠正、降噪、曝光校正等方式对前端传感器传回的图像信号进行处理、增强和编码,实现自动曝光、自动对焦、去除图像噪声等功能,提升最终成像质量,是摄像模组的重要组成部分。

目前ISP芯片开始向AI-ISP架构发展,运用AI增强图像和视频质量,主要升级方向为高清化。

ISP的产品形态分为集成和独立两种。

集成形态的又分为集成于SoC上的以及集成于CIS上的。

集成化:ISP越来越倾向于与图像传感器、处理器等组件集成在一起,

智能化:AI算法的引入使得ISP具备更强的智能优化能力,可以根据用户需求进行自适应调整和优化。

在早期应用方案中,ISP算法一般由厂商在FPGA或DSP芯片上自主开发,主要由SONY等主流传感器厂商以套片方式提供。

早期全球ISP芯片核心厂商有意法半导体、安森美、Socionext等。

后来国内的富瀚微以及韩国的Nextchip、Pixelplus等厂商也推出了专门的ISP芯片。

在产品性能方面,各厂商ISP芯片趋于同质化,无论是各厂商自身产品创新还是不同厂商之间对比均可看出,ISP芯片开发已接近天花板,客户资源成为决定份额的重要因素。

ISP芯片领域的细分龙头,占有大半壁江山,市场占有率较高。

国内汽车ISP芯片龙头厂商,专注于以视频为核心的专业安防、智能硬件、汽车电子领域芯片的设计开发,可以提供高性能视频编解码SOC芯片、图像信号处理器ISP芯片及完整的产品解决方案。富瀚微的ISP产品已演进到第7代,在图像增强、降噪、宽动态、色彩还原、低照度等方面产品表现较好。

在ISP和视频编解码技术上有深厚积累,是行业内的重要参与者。

在ISP、编解码、NPU等核心技术都有布局,公司新一代普惠型智能视频编码芯片已完成样片验证以及客户侧导入,进入批量推广阶段。

提供芯片定制服务和半导体IP授权服务的企业,推出了一系列AI-ISP、AI-GPU。芯原的“FLEXA”技术将AI引擎与ISPIP相结合。芯原AIISP技术可以在智能手机、安防摄像头、汽车等产品和应用领域实现低功耗AI降噪。

此外,消费电子厂商如华为、小米、vivo、OPPO等均参与自研ISP芯片。

在车载ISP竞争中,全球布局车载ISP芯片的厂商主要有:CIS芯片生产商如安森美和豪威科技;安防领域摄像头供应商北京君正正在研发ISP芯片。

顺带讲一下IPC芯片.....相比ISP、IPC芯片更注重集成化的解决方案,主要是满足网络摄像机对图像采集、编码和网络传输的需求。

IPC SoC及NVR SoC出货量全球第一,也是中国第二大行车记录仪芯片厂商。星宸科技的第一大股东是SigmaStar Technology Inc.,而SigmaStar Technology Inc.是联发科的全资子公司。

星宸科技在AI Camera芯片领域具有优势地位,客户包括微软、亚马逊、小米、海康威视、罗技等,也是豆包AI应用的潜在ISP供应商。此外,公司已在AI眼镜芯片上投入研发资源,正与部分客户展开对接,计划2025年会有产品推出。

*本文仅作为行业分析参考,不提供投资建议!