嵌入式实时虚拟机XEN
总体介绍
Xen 是开源的 Type-1 型虚拟机管理器(HyperVisor),属于 Linux 基金会 Xen Project 的重要部分。
Xen 包含以下核心组件:
Xen Core:Xen 的虚拟化层,负责 CPU 调度、内存分配、中断处理等
特权域(Dom0):唯一拥有硬件驱动访问权的管理虚拟机,负责创建和管理其他虚拟机(DomU)
一个或多个用户域(DomU):各种用户/应用程序域。这些域运行用户应用程序和操作系统
在混合关键性系统中,Dom0 运行 openEuler Embedded,由 MICA 管理端负责创建和管理
Client OS;DomU 运行实时操作系统,例如 Zephyr。MICA 通过 xen-mcsback.ko
作为 Xen backend,在 Dom0 与 DomU 之间建立基于 grant table 的共享内存和事件通道,
并在其上运行 OpenAMP rpmsg 通信。
MCS 的 Xen 数据通路具有以下特点:
xen-mcsback.ko在 Dom0 侧申请 32 页(128 KiB)grant 共享池,其中第 0 页 用于存放 resource table;backend 将共享页的 gref、事件通道号等发布到
/local/domain/0/backend/mica/<domid>/0/,DomU 从 xenstore 获取这些信息后 映射共享内存并建立 vring;MICA 先通过
xl create -p创建处于暂停状态的 DomU,完成 backend 配置和 resource table 拷贝后再解除暂停,因此 Client OS 的配置需要同时提供 ELF 和 原始二进制镜像。
Xen 构建指导
目前已在 yocto-meta-openeuler 中实现了对 QEMU-ARM64 和 KP920 的支持。 QEMU-ARM64 的 Client OS 以外部 Zephyr 4.5 工作区构建的固件为例。
构建 Zephyr 固件
MCS Xen 的 Client OS 使用 Zephyr 的 openamp_rsc_table 样例,板级配置为
xenvm/xenvm/gicv3。在已合入 MCS Xen transport 补丁的 Zephyr 4.5 工作区中执行:
$ west build -b xenvm/xenvm/gicv3 -d build-xen \
zephyr/samples/subsys/ipc/openamp_rsc_table
构建产物为:
build-xen/zephyr/zephyr_openamp_rsc_table.elf:MICA 解析 resource table 使用;build-xen/zephyr/zephyr_openamp_rsc_table.bin:Xen 引导 DomU 使用的原始镜像。
该样例的板级配置文件 boards/xenvm_xenvm_gicv3.conf 已使能 Xen transport:
CONFIG_IPM=n
CONFIG_OPENAMP_RSC_TABLE_XEN=y
CONFIG_OPENAMP_RSC_TABLE_TTY_ECHO=n
CONFIG_SHELL_RPMSG_INIT_LOG_LEVEL_NONE=y
CONFIG_SHELL_BACKEND_RPMSG_FORCE_TX_BLOCKING_MODE=y
CONFIG_HEAP_MEM_POOL_SIZE=262144
其中 CONFIG_OPENAMP_RSC_TABLE_XEN 会同时使能
CONFIG_OPENAMP_RSC_TABLE_VRING_OFFSET 和 CONFIG_XEN_STORE_COMMON;
CONFIG_OPENAMP_RSC_TABLE_TTY_ECHO=n 用于避免 echo 端点与 shell 争用
rpmsg-tty 服务。
构建 MCS 镜像
根据 mcs镜像构建指导,使用 oebuild 初始化编译环境。
推荐直接使用 Xen 样例工程
.oebuild/samples/aarch64/qemu-aarch64-mcs-xen.yaml,或参考其中的配置创建 构建目录。样例的关键配置如下:MCS_FEATURES ?= "external-firmware xen" DISTRO_FEATURES:append = " mcs xen" MCS_FIRMWARE_ELF ?= "/path/to/zephyrproject/build-xen/zephyr/zephyr_openamp_rsc_table.elf" MCS_FIRMWARE_BIN ?= "/path/to/zephyrproject/build-xen/zephyr/zephyr_openamp_rsc_table.bin"
external-firmware表示 Client OS 使用外部工作区构建的固件(样例为 Zephyr);MCS_FIRMWARE_ELF和MCS_FIRMWARE_BIN需要指向实际产物,并确保 该路径在 oebuild 构建容器内可见(可以将 Zephyr 工作区只读挂载到容器中)。 固件不限于 Zephyr:任何实现 MCS Client 接口(OpenAMP resource table 与 micad 使用的 rpmsg 端点)的 RTOS 或裸机程序都可以通过external-firmware安装。产物默认安装为zephyr.elf/zephyr.bin,可用MCS_FIRMWARE_NAME修改,此时需同步修改下文 Xen 配置中的 kernel 路径。Note
不要将
openamp加入MCS_FEATURES。openamp会使镜像同时继承qemuboot-mcs-dtb,覆盖 Xen 使用的 qemuboot 设备树和启动参数。也可以使用 oebuild 的样例选择功能,选择
qemu-aarch64-mcs-xen:$ oebuild samples
进入构建目录,编译 MCS 镜像和 SDK:
$ oebuild bitbake # 进入容器后 $ bitbake openeuler-image-mcs $ bitbake openeuler-image-mcs -c do_populate_sdk
构建完成后,在
output目录下可以看到xen-qemu-aarch64、openeuler-image-mcs-qemu-aarch64-*.rootfs.cpio.gz和openeuler-image-mcs-qemu-aarch64-*.qemuboot.dtb等产物。如需构建包含更多 基础软件包的完整镜像,可将openeuler-image-mcs替换为openeuler-image。KP920 平台仍可使用以下命令生成构建配置,并正常安装 ISO 镜像:
$ oebuild generate -p kp920 -f mcs -f xen -d kp920-xen
Xen 使用指导
在 QEMU-ARM64 上启动
构建完成后,可以在构建目录下使用
runqemu启动 QEMU:$ oebuild runqemu nographic
镜像默认使用 2G 内存,Xen 为 Dom0 分配 512M 内存,Dom0 控制台为
hvc0。如果不使用 runqemu,也可以参考以下命令手工启动:
$ sudo qemu-system-aarch64 -machine virt,gic-version=3 \ -machine virtualization=true -cpu cortex-a53 -smp 4 -m 2048 \ -nographic \ -device virtio-net-pci,netdev=net0 \ -netdev tap,id=net0,ifname=tap0,script=/etc/qemu-ifup \ -device loader,file=Image,addr=0x45000000 \ -kernel xen-qemu-aarch64 \ -initrd openeuler-image-mcs-qemu-aarch64-*.rootfs.cpio.gz \ -dtb openeuler-image-mcs-qemu-aarch64-*.qemuboot.dtb \ -append 'root=/dev/ram0 rw debugshell mem=2048M console=hvc0 net.ifnames=0'
qemuboot.dtb中包含 Xen 与 Dom0 的启动参数以及 Dom0 内核的 multiboot 模块信息,必须使用与镜像同一次构建生成的 dtb。dom0_mem=512M来自该 dtb, Dom0 实际使用的内存以 Xen 的配置为准。Note
低版本 QEMU 存在影响 Xen 的缺陷,可能造成 Xen 镜像卡死,建议使用较新版本的 qemu-system-aarch64。
Dom0 启动后,确认 Xen backend 已加载:
qemu-aarch64:~$ lsmod | grep xen_mcsback xen_mcsback ... qemu-aarch64:~$ ls /dev/mcs_xen /dev/mcs_xen
部署 Zephyr 4.5 Client OS
MCS 镜像默认安装 /etc/mica/qemu-zephyr-xen.conf,其内容如下:
[Mica]
Name=qemu-zephyr-xen
CPU=1-3
ClientPath=/lib/firmware/zephyr.elf
AutoBoot=no
Pedestal=xen
PedestalConf=/lib/firmware/zephyr.bin
Memory=256
VCPU=1
CPUCapacity=100
其中 zephyr.bin 由 Xen 作为 DomU kernel 引导,zephyr.elf 由 MICA 解析
resource table;两者必须来自同一次 Zephyr 构建。CPU=1-3 是可供 DomU 使用的
物理 CPU 范围,VCPU=1 与 xenvm 设备的单 CPU 配置保持一致;
CPUCapacity=100 表示占满 1 个 vCPU 的算力。
查看实例状态:
micad 启动时会根据
/etc/mica/*.conf自动创建实例,无需手工执行mica create。通过mica status可以确认实例处于 Offline 状态:qemu-aarch64:~$ mica status Name Assigned CPU State Service qemu-zephyr-xen 1-3 Offline
启动实例:
qemu-aarch64:~$ mica start qemu-zephyr-xen starting qemu-zephyr-xen... start qemu-zephyr-xen successfully!
mica start内部会先通过xl create -p创建 DomU,配置 Xen backend 的 grant table 和事件通道,然后解除 DomU 暂停。启动成功后,
mica status会显示 Running 状态和 rpmsg-tty 服务:qemu-aarch64:~$ mica status Name Assigned CPU State Service qemu-zephyr-xen 1-3 Running rpmsg-tty(/dev/ttyRPMSG0)
也可以通过
xl list确认 DomU 资源:qemu-aarch64:~$ xl list Name ID Mem VCPUs State Time(s) Domain-0 0 512 4 r----- ... qemu-zephyr-xen 1 256 1 -b---- ...
访问 Zephyr shell:
qemu-aarch64:~$ screen /dev/ttyRPMSG0 ... ... uart:~$ kernel version Zephyr version 4.5.99
之后可以通过
Ctrl-a k或Ctrl-a Ctrl-k组合键退出 shell,参考 screen(1) — Linux manual page 。停止与销毁实例:
qemu-aarch64:~$ mica stop qemu-zephyr-xen stopping qemu-zephyr-xen... stop qemu-zephyr-xen successfully! qemu-aarch64:~$ mica rm qemu-zephyr-xen removing qemu-zephyr-xen... rm qemu-zephyr-xen successfully! qemu-aarch64:~$ mica create qemu-zephyr-xen.conf Creating qemu-zephyr-xen... Successfully created qemu-zephyr-xen!
mica stop会销毁对应的 Xen DomU,mica rm会移除 MICA 实例。实例被移除后, 如需再次部署,可执行mica create qemu-zephyr-xen.conf重新创建。
Note
镜像中还提供了 UniProton 的 Xen 配置 /etc/mica/qemu-uniproton-xen.conf,
可以通过相同的 mica start / mica stop 流程部署,其 rpmsg-tty 绑定
UniProton 的 shell。
引导 Linux DomU
除了通过 MICA 部署实时操作系统,也可以直接使用 xl 创建 Linux DomU。
通过以下 config 配置,并执行 xl create xen-linux.cfg 启动 Linux DomU:
$ cat xen-linux.cfg
name = "domU"
memory = 512
vcpus = 1
kernel = "Image"
ramdisk = "rootfs.cpio.gz"
extra = "console=hvc0 root=/dev/xvda rw"
如果需要退出 DomU 的 shell,可以通过 ctrl + ] 组合键切换回 Dom0,通过
xl console domU 可以重新进入。
示例:基于KP920引导一个实时OS作为DomU
KP920 使能 xen 的镜像已默认打包一个实时 OS 的示例,包括 xen config 和使能 xen 的 Zephyr 镜像。该示例基于 Zephyr 3.7.1。
kp920 ~ # cat /etc/xen/xen-kp920-zephyr.cfg name = "zephyr" memory = 512 vcpus = 1 kernel = "/lib/firmware/zephyr.bin" gic_version = "v3" kp920 ~ # ls /lib/firmware/zephyr.bin /lib/firmware/zephyr.bin
根据上述引导流程,可按需引导该实时OS示例:
kp920 ~ # xl create -c /etc/xen/xen-kp920-zephyr.cfg Parsing config from /etc/xen/xen-kp920-zephyr.cfg libxl: info: libxl_create.c:122:libxl__domain_build_info_setdefault: qemu-xen is unavailable, using qemu-xen-traditional instead: No such file or directory [00:00:00.000,000] <inf> xen_events: xen_events_init: events inited [00:00:00.000,000] <inf> uart_hvc_xen: Xen HVC inited successfully *** Booting Zephyr OS build 3.7.1 *** thread_a: Hello World from cpu 0 on xenvm! thread_b: Hello World from cpu 0 on xenvm! thread_a: Hello World from cpu 0 on xenvm! thread_b: Hello World from cpu 0 on xenvm! thread_a: Hello World from cpu 0 on xenvm! kp920 ~ # xl list Name ID Mem VCPUs State Time(s) Domain-0 0 1024 4 r----- 7.0 zephyr 3 512 1 -b---- 1.1 kp920 ~ # xl console zephyr thread_b: Hello World from cpu 0 on xenvm! thread_a: Hello World from cpu 0 on xenvm! thread_b: Hello World from cpu 0 on xenvm! thread_a: Hello World from cpu 0 on xenvm!