简讯:RK3588-Camera:MIPI-CSI调试之通路解析
2023-06-11 15:10:36来源:jf_30051736
一、简介
专栏总目录
本文介绍RK3588平台的Camera:MIPI-CSI调试之通路解析
MIPI联盟,即移动产业处理器接口(Mobile Industry Processor Interface 简称MIPI)联盟。MIPI(移动产业处理器接口)是MIPI联盟发起的为移动应用处理器制定的开放标准和一个规范。
(资料图片)
目的是把手机内部的接口如摄像头、显示屏接口、射频/基带接口等标准化,从而减少手机设计的复杂程度和增加设计灵活性。
CSI & DSI
• CSI ( Camera Serial Interface ):摄像头接口
• DSI ( Display Serial Interface ):显示接口
二、 名词解释:
ISP ( Image Signal Processor ): 即图像信号处理模块, 主要作用是对前端图像传感器输出的信号做后期处理,依赖于 ISP 才能在不同的光学条件下都能较好的还原现场细节。VICAP( Video capture ):视频捕获单元三、RK3588 的camera通路:
多sensor支持:
单路硬件isp最多支持4路复用,isp复用情况支持分辨率如下:2路复用:最大分辨率3840x2160,dts对应配置2路rkisp_vir设备。3路或4路复用:最大分辨率2560x1536,dts对应配置3或4路rkisp_vir设备。硬件支持最多采集7路sensor:6mipi + 1dvp,多sensor软件通路如下:下图是RK3588 camera连接链路示意图,可以支持7路camera。
四、 链路解析:
图中:mipi camera2---> csi2_dphy1 ---> mipi2_csi2 ---> rkcif_mipi_lvds2--->rkcif_mipi_lvds2_sditf --->rkisp0_vir2
对应节点:imx415 ---> csi2_dphy0 ---> mipi2_csi2 ---> rkcif_mipi_lvds2--->rkcif_mipi_lvds2_sditf --->rkisp0_vir2
链接关系:sensor---> csi2 dphy---->mipi csi host--->vicap
实线链路解析: Camera sensor ---> dphy ---> 通过mipi_csi2模块解析mipi协议---> vicap ( rkcif节点代表vicap )
虚线链路解析:vicap ---> rkcif_mipi_lvds2_sditf ---> isp
每个vicap节点与isp的链接关系,通过对应虚拟出的XXX_sditf来指明链接关系。
五、RK3588硬件通路框图
rk3588支持2个isp硬件,每个isp设备可虚拟出多个虚拟节点,软件上通过回读的方式,依次从ddr读取每一路的图像数据进isp处理。对于多摄方案,建议将数据流平均分配到两个isp上。回读:指数据经过vicap采集到ddr,应用获取到数据后,将buffer地址推送给isp,isp再从ddr获取图像数据。六、详细解析:
imx415 : Camera sensorcsi2_dphy0 : rk3588支持2个dphy硬件,这里我们称之为dphy0_hw/dphy1_hw ,,两个dphy硬件都可以工作在full mode 和split mode两种模式下。当使用dphy0_hw:
full mode:节点名称使用csi2_dphy0,最多支持4 lane。当dphy0_hw使用full mode时,链路需要按照csi2_dphy1这条链路来配置,但是节点名称csi2_dphy1需要修改为csi2_dphy0,软件上是通过phy的序号来区分phy使用的模式。split mode:拆分成2个phy使用,分别为csi2_dphy1(使用0/1 lane)、csi2_dphy2(使用2/3 lane),每个phy最多支持2 lane。当使用dphy1_hw:
full mode:节点名称使用csi2_dphy3,最多支持4 lane。当dphy1_hw使用full mode时,链路需要按照csi2_dphy4这条链路来配置,但是节点名称csi2_dphy4需要修改为csi2_dphy3,软件上是通过phy的序号来区分phy使用的模式。split mode:拆分成2个phy使用,分别为csi2_dphy4(使用0/1 lane)、csi2_dphy5(使用2/3 lane),每个phy最多支持2 lane。dcphy:rk3588支持两个dcphy,节点名称分别为csi2_dcphy0/csi2_dcphy1。每个dcphy硬件支持RX/TX同时使用,对于camera输入使用的是RX。支持DPHY/CPHY协议复用;需要注意的是同一个dcphy的TX/RX只能同时使用DPHY或同时使用CPHY。其他dcphy参数请查阅rk3588数据手册。
使用上述mipi phy节点,需要把对应的物理节点配置上。(csi2_dcphy0_hw/csi2_dcphy1_hw/csi2_dphy0_hw/csi2_dphy1_hw)
每个mipi phy都需要一个csi2模块来解析mipi协议,节点名称分别为mipi0_csi2~mipi5_csi2。
rk3588所有camera数据都需要通过vicap,再链接到isp。rk3588仅支持一个vicap硬件,这个vicap支持同时输入6路mipi phy,及一路dvp数据,所以我们将vicap分化成rkcif_mipi_lvds~rkcif_mipi_lvds5、rkcif_dvp等7个节点,各个节点的绑定关系需要严格按照框图的节点序号配置。
每个vicap节点与isp的链接关系,通过对应虚拟出的XXX_sditf来指明链接关系。
rk3588支持2个isp硬件,每个isp设备可虚拟出多个虚拟节点,软件上通过回读的方式,依次从ddr读取每一路的图像数据进isp处理。对于多摄方案,建议将数据流平均分配到两个isp上。
直通与回读模式:•直通:指数据经过vicap采集,直接发送给isp处理,不存储到ddr。需要注意的是hdr直通时,只有短帧是真正的直通,长帧需要存在ddr,isp再从ddr读取。
•回读:指数据经过vicap采集到ddr,应用获取到数据后,将buffer地址推送给isp,isp再从ddr获取图像数据。
•在dts配置时,一个isp硬件,如果只配置一个虚拟节点,默认使用直通模式,如果配置了多个虚拟节点默认使用回读模式。
七、单路Camera的dts配置说明:( 以imx415摄像头为例 )
案例场景:这里使用的是csi2_dphy0的单路camera配置:链路配置: imx415 —> csi2_dphy0 —> mipi2_csi2 —> rkcif_mipi_lvds2—>rkcif_mipi_lvds2_sditf —>rkisp0_vir2&i2c3 {status = "okay";imx415: imx415@1a {status = "okay";compatible = "sony,imx415";reg = < 0x1a >;clocks = < &cru CLK_MIPI_CAMARAOUT_M3 >;clock-names = "xvclk";pinctrl-names = "default";pinctrl-0 = < &mipim0_camera3_clk >;power-domains = < &power RK3588_PD_VI >;pwdn-gpios = < &gpio1 RK_PB0 GPIO_ACTIVE_HIGH >;reset-gpios = < &gpio4 RK_PA0 GPIO_ACTIVE_LOW >;rockchip,camera-module-index = < 0 >;rockchip,camera-module-facing = "back";rockchip,camera-module-name = "CMK-OT2022-PX1";rockchip,camera-module-lens-name = "IR0147-50IRC-8M-F20";port {imx415_out0: endpoint {remote-endpoint = < &mipidphy0_in_ucam0 >;data-lanes = < 1 2 3 4 >;};};};camera_imx219: camera-imx219@10 {status = "disabled";compatible = "sony,imx219";reg = < 0x10 >;clocks = < &clk_cam_24m >;clock-names = "xvclk";rockchip,camera-module-index = < 0 >;rockchip,camera-module-facing = "back";rockchip,camera-module-name = "rpi-camera-v2";rockchip,camera-module-lens-name = "default";port {imx219_out0: endpoint {remote-endpoint = < &mipidphy0_in_ucam1 >;data-lanes = < 1 2 >;};};};};&csi2_dphy0_hw {status = "okay";};&csi2_dphy0 {status = "okay";ports {#address-cells = < 1 >;#size-cells = < 0 >;port@0 {reg = < 0 >;#address-cells = < 1 >;#size-cells = < 0 >;mipidphy0_in_ucam0: endpoint@1 {reg = < 1 >;remote-endpoint = < &imx415_out0 >;data-lanes = < 1 2 3 4 >;};mipidphy0_in_ucam1: endpoint@2 {reg = < 2 >;remote-endpoint = < &imx219_out0 >;data-lanes = < 1 2 >;};};port@1 {reg = < 1 >;#address-cells = < 1 >;#size-cells = < 0 >;csidphy0_out: endpoint@0 {reg = < 0 >;remote-endpoint = < &mipi2_csi2_input >;};};};};&mipi2_csi2 {status = "okay";ports {#address-cells = < 1 >;#size-cells = < 0 >;port@0 {reg = < 0 >;#address-cells = < 1 >;#size-cells = < 0 >;mipi2_csi2_input: endpoint@1 {reg = < 1 >;remote-endpoint = < &csidphy0_out >;};};port@1 {reg = < 1 >;#address-cells = < 1 >;#size-cells = < 0 >;mipi2_csi2_output: endpoint@0 {reg = < 0 >;remote-endpoint = < &cif_mipi2_in0 >;};};};};&rkcif {status = "okay";};&rkcif_mipi_lvds2 {status = "okay";port {cif_mipi2_in0: endpoint {remote-endpoint = < &mipi2_csi2_output >;};};};&rkcif_mipi_lvds2_sditf {status = "okay";port {mipi_lvds2_sditf: endpoint {remote-endpoint = < &isp0_vir0 >;};};};&rkcif_mmu {status = "okay";};&rkisp0 {status = "okay";};&isp0_mmu {status = "okay";};&rkisp0_vir0 {status = "okay";port {#address-cells = < 1 >;#size-cells = < 0 >;isp0_vir0: endpoint@0 {reg = < 0 >;remote-endpoint = < &mipi_lvds2_sditf >;};};};&pinctrl {camera {cam_pwdn_gpio: cam-pwdn-gpio {rockchip,pins = < 1 RK_PB0 RK_FUNC_GPIO &pcfg_pull_up >;};};};
八、 调试技巧
8.1 i2c设备的通用调试命令:查看设备是否挂载到i2c总线下:
i2cdetect -y 3
8.2 摄像命令
Linux系统摄像命令:gst-launch-1.0 v4l2src device=/dev/video11 ! video/x-raw,format=NV12,width=3840,height=2160, framerate=30/1 ! xvimagesink
Android系统:
Android系统自带相机APP。点击APP,看摄像画面是否正常显示。
8.3 imx415 相关的log信息
dmesg | grep imx415
8.4 查看拓扑结构
media-ctl -d /dev/media0 -p
审核编辑:汤梓红
关键词:
责任编辑:hnmd003
精彩推送
- 【全球播资讯】她被雪藏的原因,国剧今天终于敢播
- 天天精选!糖尿病人不能吃什么水果蔬菜_糖尿病人不能吃什么水果
- 体制机制的区别 打比方(体制与机制的区别)
- 中国廉洁文化史简介(中国廉政)
- 贞观政要文言文阅读答案(贞观政要) 焦点播报
- 简讯:RK3588-Camera:MIPI-CSI调试之通路解析
- 深圳文博会数字出版前沿技术发展与应用分论坛——展现技术驱动数字出版的多面性
- lh是什么激素(fsh是什么激素)
- 刘东东检查指导第十二、十八责任区“一治两拆五改”工作-焦点简讯
- 冰箱英文怎么写(冰箱英文) 每日热讯
- 脚麻是什么原因引起的男性(脚麻是什么原因引起的)
- 世界最长!35层楼高的陆上发电风车将在河南下线
- 热推荐:丰田SUV车型23万左右推荐,耐用又实惠的车,买车的朋友看过来
- 快讯:银尘麒零(银尘)
- 世界热点!常州溧阳:乡村人才为一粒米注入“智慧科技” 铺就“网红村”生金“共富”路
- 沪宁沿江高铁启动热滑试验 预计9月份具备开通运营条件
- 111ttt舞曲网交谊舞曲_111ttt要听舞曲网每天都要听 今日最新
- 全球滚动:于和伟和侯梦莎在一起了吗 于和伟侯梦莎结婚照
- 天天微头条丨驯狼小说完整版_驯狼为妃
- 图悦词云图怎么做(图悦)-天天消息
- 天蝎男和巨蟹女彻底完了 完全不是一路人?
- 精选!平安守护不止步——嘉鱼公安开展高考后集中清查行动
- 麻辣鸡块适合什么配菜? 天天百事通
- 俄外交部:俄农产品出口相关问题仍缺乏进展 今日播报
- 青山有幸埋忠骨白铁无辜铸佞臣的意思是什么_青山有幸埋忠骨白铁无辜铸佞臣的意思
- 每日消息!【我的重点项目报告】新型储能装备研发制造基地项目落户甘泉堡经开区
- “十年一遇”!数万人被疏散,加拿大山林野火为何失控?
- 当前最新:就离谱!甜妹竟然成了恶女标配?
- 诗意盎然的意思(盎然的意思)_环球今热点
- 每日报道:外资净买超16亿!A股近4000亿白马股火了;30多亿杀入,银行股又被狂买
- 诗词里的遗产:龙虎天下绝 千载玉棺探秘
- 大运会火炬手邹敬园:希望全世界大学生感受到成都的文化
- 【全球时快讯】谷歌反垄断案将如何影响人工智能技术的未来市场格局?
- RK3588-MIPI屏幕调试笔记:RK3588-MIPI-DSI之屏参配置|每日讯息
- 当前关注:全自动马桶水箱盖怎么打开(马桶水箱盖怎么打开)
- 永远不要指望驯服的三个星座,一身反骨,生来叛逆,像狼一样自由
- 微速讯:加多宝多少钱一箱12瓶_加多宝24瓶的多少钱一箱
- 天天快看:AI前哨 | GPT-5什么时间上线?OpenAI CEO在中国会议上发言
- 灵武:开展物业服务领域消防安全专项培训
- 环球观速讯丨广州将打造33个重点商圈
- 世界动态:强强联手!银川打造科技资源统筹服务平台
- 焦点速读:夏季曼妙长裙,微风拂过,感觉特别美丽
- 关于铁路计次票、定期票 如何购买使用→ 前沿资讯
- 《白皮书》发布:汽车改装行业迎爆发期 市场规模可达万亿级
- 搭建金融交流平台 赋能实体经济发展 第12届金交会“资本市场论坛”成功举办
- 天天热议:董明珠:让荔枝保鲜达到25天 广东荔枝走向世界
- 广西荔枝2023年产量预计近百万吨 快播
- 【速看料】中方驳斥:无中生有、信口雌黄、恶意诋毁!
- 世界热文:襄阳6家企业签约入驻军创园地
- 品酒大师古拉加斯下架了吗_品酒大师古拉加斯
- 热点在线丨格林格油烟机_格林格油烟机
- 全球短讯!端午假期机票比“五一”便宜两成,你想好去哪玩了吗?
- 预计2025年突破万亿元规模 产学研各方共议储能大赛道|焦点报道
- 端午假期机票比“五一”便宜两成,你想好去哪玩了吗?
- 孝感市举行2023年“安全生产月”启动仪式
- 全球新动态:《皮卡堂过家家》_2144皮卡堂过家家
- 汽锅鱿鱼鸡的正宗做法?|全球焦点
- 爱说谎的小羊童话故事_爱说谎的小象的故事_全球看点
- august的由来_augus_今日热议
- 【速看料】孝感市举行2023年“安全生产月”启动仪式
- 嘉鱼:送你一束小捧花愿你有个好未来|全球信息
- 美利达公路自行车推荐_美利达公路自行车官网
- 空难40天后,机上4名儿童在丛林被发现幸存,最小的只有11个月大-世界新资讯
- 面试季,太狠了!!!
- 手机免费上网软件是真的吗_手机免费上网软件有哪些
- 分解反应的定义和特征(分解反应的定义) 环球报资讯
- 世界快资讯丨工商银行吉林分行私人银行中心总经理张怡:打造医药类企业综合金融服务方案
- “变形金刚”变现记_天天微资讯
- 【环球热闻】空难40天后,机上4名儿童在丛林被发现幸存,最小的只有11个月大
- 浙江一铁路旁工厂起火逼停列车 现场黑烟滚滚火光冲天!所幸无伤亡!
- 幻影辅助网页版_幻影辅助
- 武艺 女朋友_武艺女朋友 全球微资讯
- 运费险需要买吗_运费险是什么意思是不是不用掏运费|今日要闻
- 身怀六甲k线图形(请问大家 在股市中 ldquo 身怀六甲出现 rdquo 走势 是什么意思)
- 地热进水热的出水管凉怎么办(地热进水管热出水管不热怎么办)|世界快报
- 每日视讯:明确的近义词是什么词(明确的近义词是什么)
- crowd可数还是不可数_crowd 环球讯息
- 10寸平板电脑尺寸对照表图片(10寸平板电脑尺寸)
- 散水模板工程量怎么计算(算混凝土工程量散水怎么计算)_焦点快播
- 写意牡丹画法王宝钦_写意牡丹画法-报道
- 就在北虹桥,为司机提供更好服务!这个超级充电站开门迎客
- 网上订花哪家好_网上订花哪个网站好
- 饮酒配什么蔬菜好吃?
- 肩章一毛二是什么意思_一毛二是什么意思|全球观察
- 每日速递:最美童星长大后惊艳全网!16岁时因“不够性感”被导演刷掉,她霸气怒怼:恶心的猪!
- 网页链接打不开怎么回事_网页链接打不开
- 实时焦点:八一五角星短袖_八一五角星
- 卜算子送鲍浩然之浙东诗意翻译(卜算子送鲍浩然之浙东诗意)_环球视点
- 环球头条:足坛年薪排行榜:姆巴佩跌至第4,第2和第3来自亚洲,第1实至名归
- 天天消息!男演员宣布婚事!“7套房产全部转给了女方”
- 河北着力促进高校毕业生顺利就业
- 【环球速看料】卡硬盘的螺丝滑了(卡硬盘)
- 全球微头条丨林定国:争取港资港法措施扩大至大湾区全域
- 环球看点!洋口港迎来今年第30艘LNG船舶 迎峰度夏更添“底气”
- 武汉华大生命科学研究院揭牌 并与武汉超算中心签约-环球热闻
- 兰州八门拳:闪耀西北“小”拳种 全球报资讯
- 今年雪糕价格如何?3至5元仍是主流 环球热消息
- 世界简讯:济南海关查获禁止进口固体废物23吨
- 国宝画重点丨上天入海,到处“出差”!这件宝贝可不得了|新资讯
- 暖心相伴 “义”路同行