评测规划
米尔MYD-Y6ULX-V2开发板上带有SIM卡的插槽，于是结合我之前的使用米尔板子的经验，想制作一个远程监控的平台。
不过通过硬件手册了解到，板子自身不带有LTE模块，需要安装一个Mini PCI-E接口的LTE 模块才能够使用4G网络，且仅支持仅支持移远EC20型号。
而手头暂时没有这个型号的LTE模块，于是退而且其次，使用有线网络来进行数据的传输。
这块板子的full镜像，提供了通过V4L对USB摄像头的支持，直接插接上USB摄像头就能使用了。
最终，具体的评测规划如下：
使用米尔MYD-Y6ULX-V2开发板提供摄像头监控数据
使用OLED呈现开发板的设备负载、IP地址和服务信息
使用PyQT5开发监控显示界面
使用opencv进行人脸识别检测
硬件准备
镜像烧录
开发板设置
在更新完毕后，需要对开发板进行一些基础的设置，以方便后续进一步操作。
参考：7.2. 通用网络配置
[Match]Name=eth0[Network]Address=192.168.1.177/24Gateway=192.168.1.1DNS=192.168.1.1
[Match]Name=eth0[Network]DHCP=yesEOF
service systemd-networkd restartifconfig
时区设置：
ZONE="Asia/Shanghai"UTC=trueARC=false
ntpd对时设置
# Drop root to id 'ntp:ntp' by default.OPTIONS="-u ntp:ntp -p /var/run/ntpd.pid"# Set to 'yes' to sync hw clock after successful ntpdateSYNC_HWCLOCK=yes #make no into yes; BIOS的时间也会跟着修改# Additional options for ntpdateNTPDATE_OPTIONS=""
使用vi修改：/etc/ntp.conf
restrict default kod nomodify notrap nopeer noquery# restrict -6 default kod nomodify notrap nopeer noquery #针对ipv6设置# 允许本地所有操作restrict 127.0.0.1#restrict -6 ::1# 允许的局域网络段或单独iprestrict 10.0.0.0 mask 255.0.0.0 nomodify motraprestrict 192.168.0.0 mask 255.255.255.0 nomodify motraprestrict 192.168.1.123 mask 255.255.255.255 nomodify motrap# 使用上层的internet ntp服务器server cn.pool.ntp.org preferserver 0.asia.pool.ntp.orgserver 3.asia.pool.ntp.orgserver 0.centos.pool.ntp.org iburst# 如果无法与上层ntp server通信以本地时间为标准时间server 127.127.1.0 # local clockfudge 127.127.1.0 stratum 10# 计算本ntp server 与上层ntpserver的频率误差driftfile /var/lib/ntp/drift# Key file containing the keys and key identifiers used when operating# with symmetric key cryptography.keys /etc/ntp/keys#日志文件logfile /var/log/ntp.log
service ntpd restartdate
查看结果：
远程连接：
首先在开发板上，为root用户设置密码：
passwd root然后，在其他电脑上，使用ssh工具进行远程连接：Windows系统可以视同使用Putty或者mobaxterm，Linux和macOS系统可以直接使用ssh命令
ssh root@192.168.1.177# 出现下一行提示附后，就可以输入命令了：root@myd-y6ull14x14:~#root@myd-y6ull14x14:~# uname -aLinux myd-y6ull14x14 5.10.9-1.0.0+g062cea228 #1 SMP PREEMPT Fri Aug 12 02:04:17 UTC 2022 armv7l armv7l armv7l GNU/Linux
开发环境建立
米尔为MYD-Y6ULX-V2开发板提供了详细的开发环境建立的指导，参考《MYD-Y6ULX_Linux软件开发指南.pdf》即可完成所需要的工作。
开发环境需要在一个Ubuntu环境下建立，而不是开发板自身的系统上。
从开发板的资料包页面，下载光盘镜像：http://down.myir-tech.com/MYD-Y6ULX/，也可以从百度网盘下载相应的资料包。
首先安装基础工具包，并进行工作目录的构建：
sudo apt-get install gawk wget git-core diffstat unzip texinfo gcc-multilib build-essential chrpath socat cpio python3 python3-pip python3-pexpect xz-utils debianutils iputils-ping python3-git python3-jinja2 libegl1-mesa libsdl1.2-devmkdir -p ~/MYD-Y6ULX-develexport DEV_ROOT=~/MYD-Y6ULX-develsudo mkdir /media/cdimagesudo mount -o loop ~/Downloads/MYD-Y6ULX_L5.10.9_20220826.iso /media/cdimagecp -r /mnt/cdimage/02_Images $DEV_ROOT/cp -r /mnt/cdimage/03_Tools $DEV_ROOT/cp -r /mnt/cdimage/04_Sources $DEV_ROOT/
cd $DEV_ROOT/03_Tools/Tools_chain/bash fsl-imx-fb-glibc-x86_64-myir-image-full-cortexa7t2hf-neon-myd-y6ull14x14-toolchain-5.10-gatesgarth.sh. /opt/test5.10/environment-setup-cortexa7t2hf-neon-poky-linux-gnueabi$CC -v
安装编译工具链时的提示：安装到/opt/test5.10目录
安装完成后的验证：
mjpg_streamer部署
要使用到摄像头，并对外提供监控数据，使用mjpg_streamer最合适了。
在网上也有不少 iMX6移植原版mjpeg-streamer的文章可供参考，不过我查看后大受误导。
直接使用我之前的版本，进过简单的修改，就能使用MYD-Y6ULX-V2开发板的编译工具链进行成功编译了。
mjpg_streamer分支版本：https://github.com/jacksonliam/mjpg-streamer
下载地址：https://github.com/jacksonliam/mjpg-streamer/archive/refs/heads/master.zip
交叉编译：
cd mjpg-streamer/mjpg-streamer-experimentalfind -name "Makefile" -exec sed -i "s/CC = gcc/#CC = gcc/g" {} \;grep -rn 'CC = gcc' *make cleanmake
完成编译后，结果如下：
使用scp将以上文件拷贝到开发板
ssh root@192.168.1.177 "mkdir ~/mjpeg_server/"scp mjpg_streamer root@192.168.1.177:~/mjpeg_server/scp *.so root@192.168.1.177:~/mjpeg_server/
查看摄像头设备
查看设备指令：v4l2-ctl --list-devices
从上图可以看出，识别到了连接的USB摄像头HIK 720P Camera，对应的第一个设备地址/dev/video2可以被mjpg_streamer调用。
cd ~/mjpeg_server./mjpg_streamer -i "input_uvc.so -d /dev/video2 -n -r 640x480 -f 10" -o "output_http.so -w ./"
默认启动的mjpg_streamer是可以任意访问的，这很危险。但可以使用-c 用户名:密码来设置一个访问密码，可以参考下图中的指令：
镜像烧录ssd1306_bin部署
我所使用的SSD1306 OLED使用IIC通讯的，之前我也使用过一个Linux环境下的ssd1306工具。
经过尝试，这个工具可以使用MYD-Y6ULX-V2开发板的编译工具链进行编译和使用。
修改配置文件 Makefile，具体修改如下：
makels -l ssd1306_bin# 部署文件到开发板scp ssd1306_bin root@192.168.1.177:~/mjpeg_server/
参考手册上的说明，进行硬件的连接。我所使用的OLED使用到了VDD_5V、DGND、I2C2_SCL、I2C2_SDA。务必要注意所使用的OLED的电压，有的只能使用3.3V，使用5V会完蛋。
OLED显示测试
上述硬件连接完成后，就可以远程连接到开发板，进行测试了。
然后，进行显示测试
cd ~/mjpeg_server./ssd1306_bin -n 1 -I 128x64./ssd1306_bin -n 1 -c./ssd1306_bin -n 1 -r 0./ssd1306_bin -n 1 -x 0 -y -0 -m "Hello World!\n\nI'm MYD-Y6ULX-V2."
开发板应用综合部署
完成以上两项工作，开发板部分的基础工作就完成了，可以写一个启动脚本来进行控制，具体如下：
为了安全访问，在脚本中设置了访问的用户名和密码，可以根据实际需要进行修改。
以下的操作，都需要远程连接到开发板上进行。
服务启动脚本：~/mjpeg_server/mjpeg_server_start.sh
#!/bin/bashcd "${0%/*}"killall mjpg_streamer >/dev/nul 2>&1device=$(v4l2-ctl --list-devices | grep 'Camera' -A1 | grep /dev/video | head -1 | awk '{print $NF}')./mjpg_streamer -i "input_uvc.so -d $device -n -r 640x480 -f 10" -o "output_http.so -w ./ -c test:test123" &./ssd1306_bin -n 1 -I 128x64./ssd1306_bin -n 1 -r 0let count=0while truedonowdate="$(date '+%Y-%m-%d %H:%M:%S')"load="$(w | head -1 | sed -e 's/^.*average: //' | cut -d ',' -f 1)"temp=$(echo "scale=1;$(cat /sys/devices/virtual/thermal/thermal_zone0/temp)/1000" | bc)ipstr=" ${nowdate}\n L:${load} T:${temp}"if [[ $count -gt 0 ]];then./ssd1306_bin -n 1 -x 0 -y 0 -m "${ipstr}"else./ssd1306_bin -n 1 -cipstr="${ipstr}\n**-*-IP Address-*-**"i=0for ip in $(ip addr show | grep -v "127.0.0.1" | awk -F'[ /]+' '{if($0 ~ / inet /) print $3;}')dolet i=i+1ipstr="${ipstr}\nIP${i}: ${ip}"doneipstr="${ipstr}\nSRV: ip:8080/?action"ipstr="${ipstr}\n =stream"echo -e "${ipstr}"./ssd1306_bin -n 1 -x 0 -y 0 -m "${ipstr}"filet count=count+1if [[ $count -gt 15 ]];thenlet count=0fisleep 1done
开机启动：
chmod u+x /home/root/mjpeg_server/mjpeg_server_start.shscreen -S mjpeg_server /home/root/mjpeg_server/mjpeg_server_start.sh配置完成后，就可以重新启动开发板，OLED显示屏上会显示对应的信息：
PyQT5应用开发
MYD-Y6ULX-V2开发板的full环境支持使用QT5进行应用开发，但实际使用中，需要屏幕配合。
我手头没有对应的屏幕，所以这一步的工作，就在电脑上进行，并使用PyQT5进行开发。
具体要做的工作如下：
操作界面开发
mjpeg流读取显示
人脸识别
其中人脸识别部分，参考了：* opencv快速入门人脸检测与人脸识别
涉及到具体的代码的开发，我就直接上代码了，感兴趣的同学，可以查看代码进行学习。
from PyQt5 import QtWidgetsfrom PyQt5.QtGui import QImage, QPixmap, QKeySequencefrom PyQt5.QtCore import QThreadimport sys, cv2, threading, random, signalimport numpy as npimport socketimport time, datetimeimport requestsfrom requests.auth import HTTPBasicAuth# 0-摄像头 1-socket 2-from remoteCAMERA_SOURCE = 2CAMERA_LOCAL_INDEX = 0 # 如果使用本地摄像头，则表示其videoN的NCAMERA_SOCKET_PORT = 8888 # 如果视同socket，设置端口# CAMERA_REMOTE_URL = "http://192.168.1.15:8080/live.mjpg"CAMERA_REMOTE_URL = "http://192.168.1.177:8080/?action=stream"CAMERA_SOURCE_NAME = ["USB摄像头", "网络图像流", "米尔MYD-Y6ULX-V2摄像头监控"]AUTH_CONFIG = {"user":"test","pass":"test123"}FACE_DETECTION = Trueif FACE_DETECTION == True:# https://blog.csdn.net/FontThrone/article/details/105314973# https://github.com/FontTian/DS-Exhibitioface_cascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')face_cascade.load('./haarcascades/haarcascade_frontalface_default.xml')face_box_colors = [(255, 0, 0),(0, 255, 0),(0, 255, 0),(255, 255, 0),(255, 0, 255),(0, 255, 255),(255, 128, 128),(128, 255, 128),(128, 255, 128),(255, 255, 128),(255, 128, 255),(128, 255, 255)]# 应用定义app = QtWidgets.QApplication(sys.argv)window_w, window_h = 640, 480 # 窗口宽度和高度scale = 0.58 # 视频信息宽高比# 界面定义Form = QtWidgets.QWidget()Form.setWindowTitle(CAMERA_SOURCE_NAME[CAMERA_SOURCE])Form.resize(window_w, window_h)# 窗口大小改变时自动调整按钮def windowResize(self):global window_w, window_h, scalewindow_w = Form.width() # 窗口宽度window_h = Form.height() # 窗口高度label.setGeometry(0,0, window_w, int(window_w*scale)) # 调整 QLabel 尺寸btn1.setGeometry(10, window_h-40,70,30) # 调整按钮位置btn2.setGeometry(80, window_h-40,70,30) # 调整按钮位置btn3.setGeometry(window_w - 80, window_h-40,70,30) # 调整按钮位置Form.resizeEvent = windowResize # 设置窗口大小改变时触发# 关闭应用时的处理ocv = True # 设置是否处理视频def closeOpenCV(self):global ocv, outputocv = False # 关闭窗口时，停止处理视频print("关闭程序")try:output.release() # 关闭窗口时，释放视频处理资源except:passForm.closeEvent = closeOpenCV # 窗口关闭时触发label = QtWidgets.QLabel(Form)label.setGeometry(0,0, window_w, int(window_w*scale)) # 设置 QLabel 的位置和大小# 存储文件时使用的文件名def rename():# return str(random.random()*10).replace('.','')return datetime.datetime.now().strftime('%Y%m%d_%H%M%S')photo = False # 按下拍照按钮时，设置处于拍照状态# 按下拍照按钮时的处理def takePhoto():global photophoto = True # 设定拍照状态为Trueprint("马上拍照")btn1 = QtWidgets.QPushButton(Form)btn1.setGeometry(10, window_h-40,70,30) # 设置拍照按钮的位置和大小btn1.setText('拍照')btn1.clicked.connect(takePhoto) # 按下拍照按钮时触发fourcc = cv2.VideoWriter_fourcc(*'mp4v') # 设置视频中的存储格式recorderType = False # 按下录像按钮时，设置处于录像状态# 按下录像按钮时的处理def recordVideo():global recorderType, outputif recorderType == False:# 如果按下按钮时没有在录像，则开始录像# 设定存储的视频信息output = cv2.VideoWriter(f'videos/{rename()}.mp4', fourcc, 20.0, (window_w, int(window_w*scale)))recorderType = True # 设置正在录制状态btn2.setGeometry(80, window_h-40,200,30) # 根据显示内容设置大小btn2.setText('录像中，点击停止保存')else:# 如果按下按钮时正在在录像，则停止录像output.release() # 释放视频存储资源recorderType = False # 设置非录制状态btn2.setGeometry(80, window_h-40,70,30) # 根据显示内容设置大小btn2.setText('录像')btn2 = QtWidgets.QPushButton(Form)btn2.setGeometry(80, window_h-40,70,30) # 设置录像按钮的位置和大小btn2.setText('录像')btn2.clicked.connect(recordVideo) # 按下录像按钮时触发# 按下退出按钮时的处理def quitApp():global video_serverprint("退出程序")closeOpenCV(False)app = QtWidgets.QApplication.instance()app.quit()btn3 = QtWidgets.QPushButton(Form)btn3.setGeometry(window_w-80, window_h-40,70,30) # 设置退出按钮的位置和大小btn3.setText('退出')btn3.clicked.connect(quitApp) # 按下退出按钮时触发# 人脸识别处理def face_detection_process(frame):if FACE_DETECTION == True:face_count = 0gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)faces = face_cascade.detectMultiScale(gray, 1.3, 5)for (x, y, w, h) in faces:color = face_box_colors[face_count % len(face_box_colors)]cv2.rectangle(frame, (x, y), (x + w, y + h), color, 2)face_count+=1# 此处省略本项目用不到的数百行...# mjpeg数据流处理服务def mjpeg_remote_server():global window_w, window_h, scale, photo, output, recorderType, ocvr = requests.get(CAMERA_REMOTE_URL, auth=HTTPBasicAuth(AUTH_CONFIG["user"], AUTH_CONFIG["pass"]), stream=True)if(r.status_code != 200):print("Received unexpected status code {}".format(r.status_code))returncount = 0is_first = Falserecv_data_mjpeg = bytes()for recv_data in r.iter_content(chunk_size=1024):if not ocv:breakcount+=1if count % 10000 == 1:print("\trecv stream success")recv_data_mjpeg += recv_dataa = recv_data_mjpeg.find(b'\xff\xd8')b = recv_data_mjpeg.find(b'\xff\xd9')if not (a != -1 and b != -1):continuemjpg_data_raw = recv_data_mjpeg[a:b+2]recv_data_mjpeg = recv_data_mjpeg[b+2:]mjpeg_data = np.frombuffer(mjpg_data_raw, 'uint8')img = cv2.imdecode(mjpeg_data, cv2.IMREAD_COLOR)# cv2.imshow('stream', img)if not is_first:is_first = Truesp = img.shapesz1 = sp[0] #height(rows) of imagesz2 = sp[1] #width(colums) of imagesz3 = sp[2] #the pixels value is made up of three primary colorsprint('网络图像: width=%d \theight=%d \tnumber=%d' % (sz1, sz2, sz3))scale = sz1/sz2frame = cv2.resize(img, (window_w, int(window_w*scale))) # 改变帧大小if photo == True:name = rename() # 设置文件名称name_save = f'photos/{name}.jpg'print("照片存储：%s" % name_save)cv2.imwrite(name_save, frame) # 存储图片photo = False # 拍照完，设置非拍照状态if recorderType == True:output.write(frame) # 按下录像按钮时，输出到存储文件face_detection_process(frame)frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) # 设置为 RGBheight, width, channel = frame.shapebytesPerline = channel * widthimg = QImage(frame, width, height, bytesPerline, QImage.Format_RGB888)label.setPixmap(QPixmap.fromImage(img)) # 显示if CAMERA_SOURCE == 2:video_server = QThread()video_server.run = mjpeg_remote_servervideo_server.start()Form.show()sys.exit(app.exec_())
设置好开发板的MJPEG视频地址，然后启动上面的python程序，就能打开如下界面了：
如果画面中有人脸，就会自动识别了：
长按二维码 关注我们
