0. 文档目录结构 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519/ReleaseDoc/zh$ tree -L 4 . ├── 00.hardware # 硬件相关文档 ├── 01.software # 软件相关文档 │ ├── board │ │ ├── Hi3519AV100 SDK 安装及升级使用说明.pdf # sdk 安装,编译,烧录说明。本文后面的内容主要参考此文档。 │ │ ├── Hi3519AV100与Hi3559AV100 开发包差异说明.pdf │ │ ├── MPP │ │ │ ├── HDMI 开发参考.pdf │ │ │ ├── HiMPP V4.0 媒体处理软件 FAQ.pdf │ │ │ ├── HiMPP V4.0 媒体处理软件开发参考.pdf # camera 功能开发参考文档。进行 camera 应用开发时主要参考此文档。 │ │ ├── OSDRV │ │ │ ├── Hi3519AV100╱Hi3556AV100 U-boot 移植应用开发指南.pdf │ │ │ ├── Hi3519AV100╱Hi3556AV100 开发环境用户指南.pdf │ │ │ ├── UBI 文件系统使用指南.pdf │ │ │ ├── 外围设备驱动 操作指南.doc │ │ │ └── 裸烧及非裸烧升级 使用手册.pdf │ │ ├── PQ │ │ └── SVP │ ├── Hi3519AV100R001 Open Source Software Notice.doc │ ├── HiMPP SDK 二次开发网络安全注意事项.pdf │ ├── pc ├── 02.only for reference
1. sdk 目录结构 我们拿到的 sdk 有以下文件:
1 2 3 4 5 6 7 8 9 10 11 12 qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519$ ll -rwxr-x--- 1 qiushao geoclue 1870000000 Apr 3 08:54 arm-himix200-linux.part1.rar* -rwxr-x--- 1 qiushao geoclue 1861766810 Apr 3 08:54 arm-himix200-linux.part2.rar* -rwxr-x--- 1 qiushao geoclue 1519247343 Apr 3 08:55 Hi3519AV100R001C02SPC020.rar* -rwxr-x--- 1 qiushao geoclue 12771415 Apr 3 08:56 HiDPU_PC_V2.0.0.0.tgz* -rwxr-x--- 1 qiushao geoclue 22645270 Apr 3 08:56 HiIVE_PC_V2.1.0.8_64bit_sec.tgz* -rwxr-x--- 1 qiushao geoclue 1710000000 Apr 3 08:55 HiSVP_PC_V1.2.2.0.part1.rar* -rwxr-x--- 1 qiushao geoclue 1710000000 Apr 3 08:55 HiSVP_PC_V1.2.2.0.part2.rar* -rwxr-x--- 1 qiushao geoclue 1710000000 Apr 3 08:54 HiSVP_PC_V1.2.2.0.part3.rar* -rwxr-x--- 1 qiushao geoclue 1681662082 Apr 3 08:56 HiSVP_PC_V1.2.2.0.part4.rar* -rwxr-x--- 1 qiushao geoclue 15852 Apr 3 08:55 linux-4.9.y.rar* qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519$
我们目前用到的只有前面三个文件。其中 arm-himix200-linux 是编译工具链。 Hi3519AV100R001C02SPC020 是 sdk 及一些工具。 Hi3519AV100R001C02SPC020.rar 解压后的目录结构如下:
1 2 3 4 5 6 7 8 9 10 qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519/Hi3519AV100R001C02SPC020$ tree . ├── 00.hardware # 硬件相关设计文档 ├── 01.software # 软件相关,包括 sdk 代码和烧录工具,调试工具等 │ ├── board │ │ └── Hi3519AV100_SDK_V2.0.2.0.tgz │ └── pc │ └── HiTool │ └── HiTool-BVT-5.2.7.zip └── 02.only for reference # 其他参考文档,包括 sensor 规则书,uboot 移植相关的硬件信息表等
其中 Hi3519AV100_SDK_V2.0.2.0.tgz 是最重要的 sdk 代码包。我们把它拿出来解压。目录结构如下:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519/Hi3519AV100_SDK_V2.0.2.0$ tree . ├── package │ ├── drv.tgz │ ├── mpp_smp_linux.tgz │ ├── osal.tgz │ └── osdrv.tgz ├── scripts │ └── common.sh ├── sdk.cleanup ├── sdk.unpack └── smp_image_glibc ├── rootfs_hi3519av100_128k.jffs2 ├── rootfs_hi3519av100_256k.jffs2 ├── rootfs_hi3519av100_2k_24bit.yaffs2 ├── rootfs_hi3519av100_2k_4bit.yaffs2 ├── rootfs_hi3519av100_32M.ext4 ├── rootfs_hi3519av100_64k.jffs2 ├── u-boot-hi3519av100.bin └── uImage_hi3519av100_smp
代码压缩文件都放在 package 目录。我们需要执行 sdk.unpack 脚本来解压代码:
1 qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519/Hi3519AV100_SDK_V2.0.2.0$ ./sdk.unpack
解压代码后目录结构如下:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519/Hi3519AV100_SDK_V2.0.2.0$ tree -L 4 . ├── osdrv # bsp 相关代码, 主要包含 uboot, kernel, rootfs │ ├── components │ │ ├── ipcm │ │ └── pcie_mcc │ ├── Makefile │ ├── opensource │ │ ├── busybox # busybox 源码 │ │ ├── kernel # kernel 源码, │ │ └── uboot │ ├── pub # 编译出来的镜像放在这个目录 │ ├── rootfs_scripts │ └── tools # 编译镜像需要的一些工具 ├── package # 压缩的 sdk ├── scripts # sdk 解压相关脚本 ├── sdk.cleanup ├── sdk.unpack ├── smp │ ├── a53_linux │ │ ├── drv │ │ │ ├── extdrv # 外设驱动 │ │ │ └── interdrv # 内部芯片驱动 │ │ ├── mpp # 媒体处理相关的驱动,库,头文件以及 sample等。应用层的开发主要就是使用这些库来进行开发了。 │ │ │ ├── cfg.mak │ │ │ ├── component │ │ │ ├── include # mpi 头文件 │ │ │ ├── init # 媒体模块驱动初始化 │ │ │ ├── ko # 预编译好的驱动文件及加载脚本 │ │ │ ├── lib # 预编译好的 mpi 静态库和动态库 │ │ │ ├── Makefile.linux.param │ │ │ ├── Makefile.param │ │ │ ├── obj # 预编译好的驱动 .o 文件 │ │ │ ├── sample # mpi 接口使用样例,供开发参考。 │ │ │ └── tools # 调试工具 │ │ └── osal # 操作系统抽象层(Linux, Liteos) │ │ ├── include │ │ └── linux │ └── dsp_liteos └── smp_image_glibc # 预编译好的系统镜像: uboot, kernel, rootfs
2. 编译工具安装 2.1 依赖安装 先安装以下这些工具,不然编译会出现各种莫名其妙的错误:
1 sudo apt-get install gperf bison flex libuuid1 u-boot-tools zlib1g-dev build-essential ncurses-dev libacl1-dev liblzo2-dev uuid-dev zlib1g-dev liblzo2-dev uuid-dev pkg-config texinfo
2.2 编译工具链安装 把 arm-himix200-linux.rar 解压后,得到 arm-himix200-linux.tgz。再解压一次得到 arm-himix200-linux 目录,结构如下:
1 2 3 4 5 6 7 8 9 qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519/arm-himix200-linux$ tree . ├── arm-himix200-linux.install ├── arm-himix200-linux.tar.bz2 ├── gdb_build.sh ├── gdb_readme_cn.txt ├── gdb_readme_en.txt ├── readme.txt └── runtime_glibc.tgz
按文档的操作,是需要 sudo 执行 arm-himix200-linux.install 进行安装。其实只要把工具链解压,并设置一下 PATH 环境变量就行了:
1 2 3 4 5 qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519/arm-himix200-linux$ tar xvf arm-himix200-linux.tar.bz2 qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519/arm-himix200-linux$ tar xvf runtime_glibc.tgz -C arm-himix200-linux/ qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519/arm-himix200-linux/arm-himix200-linux/bin$ cd qiushao@qiushao-pc:~$ echo 'PATH=/media/qiushao/source-code/Hi3519/arm-himix200-linux/arm-himix200-linux/bin:$PATH' >> ~/.bashrc qiushao@qiushao-pc:~$ source ~/.bashrc
3. 编译烧录 uboot, kernel, rootfs 编译方法主要参考 Hi3519AV100_SDK/osdrv/readme_cn.txt 说明文件。
3.1 下载 kernel 由于 GPL 协议的问题,海思并没有把 kernel 的代码一起发布。需要我们自己下载 kernel 源码:
1 qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519/Hi3519AV100_SDK/osdrv/opensource/kernel$ wget https://mirrors.edge.kernel.org/pub/linux/kernel/v4.x/linux-4.9.37.tar.gz
3.2 编译系统镜像 在 osdrv 目录下执行 make all 就行
1 2 3 qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519AV100_SDK/osdrv$ make all ... ---------finish osdrv work
出现 finish osdrv work 提示,说明已经编译完成了。 编译生成的镜像放在 osdrv/pub/smp_image_glibc 目录下:
1 2 3 qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519AV100_SDK/osdrv/pub/smp_image_glibc$ ls rootfs_hi3519av100_128k.jffs2 rootfs_hi3519av100_2k_24bit.yaffs2 rootfs_hi3519av100_32M.ext4 u-boot-hi3519av100.bin rootfs_hi3519av100_256k.jffs2 rootfs_hi3519av100_2k_4bit.yaffs2 rootfs_hi3519av100_64k.jffs2 uImage_hi3519av100_smp
3.3 烧录系统 SPI Nand Flash 的地址空间安排如下:
1 2 3 | 1M | 4M | 32M | |----------------------|---------------------|---------------------| | uboot | kernel | rootfs |
如果板子是空板的话,需要使用 hitool 进行烧录。请参考 HiBurn工具使用指南.pdf
3.3.2 tftp 烧录 如果板子上有 uboot 的话,且板子有网口的话,则可以使用 tftp 来烧录。因为 hitool 没有提供 linux 版本,所以我一般都是使用 tftp 来烧录了。
tftp 配置 上一篇文章我们已经介绍过 tftp 服务环境的搭建了。先修改 tftp 的目录为编译生成 images 的目录:1 2 3 4 5 6 # /etc/default/tftpd-hpa TFTP_USERNAME="tftp" TFTP_DIRECTORY="/media/qiushao/source-code/Hi3519AV100_SDK/osdrv/pub/smp_image_glibc" TFTP_ADDRESS=":69" TFTP_OPTIONS="-l -c -s"
然后重启 tftp 服务。1 qiushao@qiushao-pc:/etc/default$ sudo service tftpd-hpa restart
pc 网络信息查看 ubuntu 下查看 pc 的 ip, 网关等信息的方法1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 qiushao@qiushao-pc:~$ ifconfig wlp4s0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 inet 192.168.3.29 netmask 255.255.255.0 broadcast 192.168.3.255 inet6 fe80::f7d3:b73c:461a:af45 prefixlen 64 scopeid 0x20<link> inet6 240e:fe:3839:339:c717:1207:24ef:fd76 prefixlen 64 scopeid 0x0<global> inet6 240e:fe:3839:300:7c94:2acf:4818:8 prefixlen 128 scopeid 0x0<global> inet6 240e:fe:3839:339:1002:ba0c:2ed:5ffa prefixlen 64 scopeid 0x0<global> ether 40:74:e0:b3:f2:63 txqueuelen 1000 (Ethernet) RX packets 36413 bytes 33826854 (33.8 MB) RX errors 0 dropped 0 overruns 0 frame 0 TX packets 16292 bytes 2617305 (2.6 MB) TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0 qiushao@qiushao-pc:~$ qiushao@qiushao-pc:~$ route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 0.0.0.0 192.168.3.1 0.0.0.0 UG 600 0 0 wlp4s0 169.254.0.0 0.0.0.0 255.255.0.0 U 1000 0 0 virbr0 172.17.0.0 0.0.0.0 255.255.0.0 U 0 0 0 docker0 192.168.3.0 0.0.0.0 255.255.255.0 U 600 0 0 wlp4s0 192.168.122.0 0.0.0.0 255.255.255.0 U 0 0 0 virbr0 qiushao@qiushao-pc:~$
根据以上信息得到 pc 的网络信息如下: ip: 192.168.3.29 netmask: 255.255.255.0 gateway: 192.168.3.1 mac: 40:74:e0:b3:f2:63
板子网络信息配置 板子需要接入和 pc 同一个局域网。板子上电后, 敲任意键进入 u-boot。设置 serverip(即 tftp 服务器的 ip), ipaddr(板子 ip)和 ethaddr(板子的 MAC 地址)。1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 hisilicon # setenv serverip 192.168.3.29 hisilicon # setenv ipaddr 192.168.3.30 # 板子的 ip,参考 serverip, 修改最后一位即可。 hisilicon # setenv netmask 255.255.255.0 hisilicon # setenv gatewayip 192.168.3.1 hisilicon # setenv ethaddr 40:74:e0:b3:f2:64 # 参考 pc 的 mac, 修改最后一位即可。 hisilicon # saveenv Saving Environment to NAND... Erasing NAND... Erasing at 0xa0000 -- 100% complete. Writing to NAND... OK hisilicon # ping 192.168.3.29 # 确认网络设置正常。 ETH0: PHY(phyaddr=1, rgmii) link UP: DUPLEX=FULL : SPEED=1000M MAC: 54-E1-AD-0A-A1-F8 Using gmac0 device host 192.168.3.29 is alive hisilicon #
烧录分区
烧写 u-boot1 2 3 mw.b 42000000 ff 80000 tftp 0x42000000 u-boot-hi3519av100.bin nand erase 0 80000;nand write 42000000 0 80000
烧写内核1 2 3 mw.b 42000000 ff 400000 tftp 42000000 uImage_hi3519av100_smp nand erase 100000 400000;nand write 42000000 100000 400000
烧写根文件系统1 2 3 mw.b 42000000 ff 2000000 tftp 42000000 rootfs_hi3519av100_2k_4bit.yaffs2 nand erase 500000 2000000;nand write.yaffs 42000000 500000 0xafeb00 (0xafeb00 为实际文件大小)
设置启动参数1 2 3 setenv bootargs 'mem=256M console=ttyAMA0,115200 clk_ignore_unused root=/dev/mtdblock2 rw rootfstype=yaffs2 mtdparts=hinand:1M(boot),4M(kernel),32M(rootfs)' setenv bootcmd 'nand read 0x42000000 100000 400000; bootm 0x42000000' saveenv
重启系统
4. 板子网络环境配置 经过上面的步骤,我们的系统是跑起来了,但只是把 kernel 启动了,根文件系统挂载了而已,什么业务都没有运行的。我们需要编写自己的应用在上面运行才可以。 在写代码之前我们还需要配置一下板子的网络环境,以便开发调试。在开发阶段,推荐使用 NFS 作为开发环境,可以省去重新制作和烧写根文件系统的工作。也不需要频繁用 u 盘 copy 文件。
4.1 pc端配置nfs服务 pc 端 nfs 服务的配置之前已经介绍过了,这里面就不再重复。我们把 nfs share 的目录改成 Hi3519AV100_SDK:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 qiushao@qiushao-pc:/etc$ cat exports # /etc/exports: the access control list for filesystems which may be exported # to NFS clients. See exports(5). # # Example for NFSv2 and NFSv3: # /srv/homes hostname1(rw,sync,no_subtree_check) hostname2(ro,sync,no_subtree_check) # # Example for NFSv4: # /srv/nfs4 gss/krb5i(rw,sync,fsid=0,crossmnt,no_subtree_check) # /srv/nfs4/homes gss/krb5i(rw,sync,no_subtree_check) # /media/qiushao/source-code/Hi3519AV100_SDK *(rw,sync,no_subtree_check,root_squash) qiushao@qiushao-pc:/etc$ qiushao@qiushao-pc:/etc$ sudo exportfs -a qiushao@qiushao-pc:/etc$ sudo service nfs-kernel-server restart
4.2 设置板子的 mac,ip 等信息 1 2 3 4 5 6 7 8 9 10 11 12 ~ # ifconfig eth0 hw ether 40:74:e0:b3:f2:64 ~ # ifconfig eth0 192.168.3.30 netmask 255.255.255.0 IPv6: ADDRCONF(NETDEV_UP): eth0: link is not ready ~ # hi_gmac_v200 40e0000.ethernet eth0: Link is Up - 1Gbps/Full - flow control off IPv6: ADDRCONF(NETDEV_CHANGE): eth0: link becomes ready ~ # route add default gw 192.168.3.1 ~ # ping 192.168.3.29 PING 192.168.3.29 (192.168.3.29): 56 data bytes 64 bytes from 192.168.3.29: seq=0 ttl=64 time=43.142 ms 64 bytes from 192.168.3.29: seq=1 ttl=64 time=62.610 ms 64 bytes from 192.168.3.29: seq=2 ttl=64 time=76.662 ms
4.3 板子上挂载 nfs 文件系统 1 2 3 4 5 ~ # mount -t nfs -o nolock -o tcp -o rsize=32768,wsize=32768 192.168.3.29:/media/qiushao/source-code/Hi3519AV100_SDK /mnt ~ # ls /mnt osdrv scripts sdk.unpack smp_image_glibc package sdk.cleanup smp ~ #
5. 编译运行 sample 5.1 编译 sample 海思 sdk 里面带了一些 sample:
1 2 3 4 qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519AV100_SDK/smp/a53_linux/mpp/sample$ ls audio awb_online_calibration dis fisheye lsc_online_cali Makefile.param region smp_linux.mak svp traffic_capture vdec vgs avs common dpu hifb Makefile pciv scene_auto snap tde uvc_app venc vio qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519AV100_SDK/smp/a53_linux/mpp/sample$
我们先试着在上面跑个简单的 vio sample 看看。vio sample 的功能是从摄像头输出,然后输出到 hdmi。 编译的方法很简单,进入 sample/vio 目录,直接 make 就行。编译成功的话,会在 vio 目录生成一个 sample_vio_main 文件:
1 2 3 4 5 6 7 qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519AV100_SDK/smp/a53_linux/mpp/sample$ cd vio qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519AV100_SDK/smp/a53_linux/mpp/sample/vio$ ls Makefile res sample_vio.h sample_vio_main.c smp qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519AV100_SDK/smp/a53_linux/mpp/sample/vio$ make ... qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519AV100_SDK/smp/a53_linux/mpp/sample/vio$ ls Makefile res sample_vio.h sample_vio_main sample_vio_main.c sample_vio_main.o smp
5.2 加载设备驱动 现在我们又回到板子上进行操作。 在运行 sample 之前我们需要先加载 hisi 的驱动
1 2 3 4 5 6 7 8 9 10 / # cd /mnt/smp/a53_linux/mpp/ko /mnt/smp/a53_linux/mpp/ko # ./load3519av100 -i -sensor0 imx334 mmz_start: 0x32000000, mmz_size: 1760M sys_config: loading out-of-tree module taints kernel. ==========sensr0: imx334========== ==========sensr1: imx334========== ==========sensr2: imx334========== ==========sensr3: imx334========== ==========sensr4: imx334========== Module himedia: init ok
5.3 运行 sample 驱动加载成功之后,就可以开始运行 sample 啦
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 /mnt/smp/a53_linux/mpp # cd sample/vio/ /mnt/smp/a53_linux/mpp/sample/vio # ./sample_vio_main Usage : ./sample_vio_main <index> <intf> index: 0)VI(Online) - VPSS(Online) - VO. 1)VI(Offline)- VPSS(Offline) - VO. LDC+DIS+SPREAD. 2)VI(Offline)- VPSS(Online) - VO. Double pipe. 3)VI(Online)- VPSS(Offline) - VO. Double chn. 4)Resolute Ratio Switch. 5)GDC - VPSS LowDelay. 6)Double WDR Pipe. 7)FPN Calibrate & Correction. 8)WDR Switch. 9)90/180/270 Rotate. 10)Mipi Demux Yuv. 11)UserPic. intf: 0) vo HDMI output, default. 1) vo BT1120 output. /mnt/smp/a53_linux/mpp/sample/vio # ./sample_vio_main 0 [SAMPLE_COMM_VI_SetMipiAttr]-1408: ============= MipiDev 0, SetMipiAttr enWDRMode: 0 linear mode ===Imx334 8M30fps 12bit LINE Init OK!=== [SAMPLE_COMM_ISP_Thread]-187: ISP Dev 0 running ! [SAMPLE_COMM_VO_StartChn]-544: u32Width:1920, u32Height:1080, u32Square:1 ---------------press Enter key to exit!---------------
至此,系统就已经运行起来了, sample 也运行起来了。后面我们再来逐步学习 camera 系统相关的开发知识。