青年报记者　刘昕璐

通讯员　陈书灵

本报讯　只需一枚摄像头和一对耳机，便能将画面转化成语言，描绘场景、提示风险，让视障者出行更安全、生活更便捷。复旦大学最新传出消息，在复旦大学自然语言处理实验室（Fu-danNLP）师生的努力下，基于多模态大模型“复旦·眸思”（Mou-Si）为视障者量身打造的“听见世界”App近日上线，将成为视障人士的生活助手与智能管家。

科技普惠，AI为人。由复旦自然语言处理实验室开发的MOSS被称为中国版的GPT，如今，仅用半年时间，多模态模型“眸思”问世。“眸思”与MOSS同音，但和基于文本的MOSS不同，它能够理解并识别图片内容，致力于成为视障者的一双“眸”。

基于“眸思”的“听见世界”App为视障者日常生活需求量身打造，设计了三种模式——街道行走模式，自由问答模式和寻物模式。

比如，在街道行走模式，“眸思”如一位忠实的向导，面对红绿灯、十字路口、障碍物，可细致扫描道路情况，提示潜在风险，陪伴视障者安全通行“看不见”的漫漫长路。自由问答模式，“眸思”则是一位贴心的朋友，走进博物馆、艺术馆、公园时，可捕捉四周景象的每个细节，用声音构建丰富的生活场景，传递每一处日常之美。

复旦大学自然语言实验室张奇教授说，“人工智能发展日新月异，科技应该要改变更多人的生活，希望‘眸思’能够帮助视障人士走出家门，让他们可以尝试更多工作，为人生书写更多可能。”项目落地背后，是一支年轻的团队和开放的氛围，从本科生到博士生共25名复旦学子及桂韬等多位教师、专家的加入，才有了“眸思”接续“MOSS”的成功。

张奇介绍，该项目的主导者实际上都是“初出茅庐”的学生们。在组内头脑风暴会上，年轻的学生们总能提出开创性想法，能够找到另辟蹊径的解决办法。自去年9月以来，复旦自然语言实验室从原本基于GPT3.5的文本模型转向围绕GPT4-v复现多模态大模型，对模型中的核心关键点开展研究，致力于提升单项任务的准确率和大模型的强化学习。

今年上半年，团队将结合AR升级App内的定位精度细化至亚米级别；下半年，团队希望将“眸思”升级到基于视频的判断，更多模式也正在开发中，比如阅读模式、解说模式等。在政府的支持下，团队还计划与NGO组织、智算中心和硬件厂商等开展合作，致力于让视障者免费使用产品和相关服务，预计今年3月“听见世界”App将完成第一轮测试，在我国一、二线城市和地区同步开启试点，根据算力部署情况进行推广。