所属领域： A 电子信息技术

技术成果简介

针对视觉感知和语言表达的多层次关系，提出了一种视觉语言解码模型（VLDM），能够同时执行三个层次的解码任务：主要类别、多标签和文本描述。VLDM由两个编码器（Visual-Encoder和Multitask-Encoder）和三个解码器（Category-Decoder、Label-Decoder和Text-Decoder）组成。这些编码器和解码器在解码视觉信息的过程中发挥着不同的作用。上述研究成果中，开发的多任务解码模型对应于脑机接口有三个应用价值：1.类别解码有助于通过大脑活动控制轮椅等辅助设备，提高残疾人的日常生活便利性；2.标签解码为残疾人提供了更复杂、更高级的控制能力，如操作机械臂，促进更灵活的生活方式；3.文本解码支持失语症患者恢复语言功能，实现自然交流和指令传递。