您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
复旦大学研发“听见世界”App，助力视障者感知多彩世界
2024年03月04日 由 neo 发表
439
0
复旦大学自然语言处理实验室（FudanNLP）的师生们经过不懈努力，成功推出了一款名为“听见世界”的创新App。这款App基于多模态大模型“复旦・眸思”（MouSi），为视障者带来了全新的感知世界的方式。
“听见世界”App仅需一枚摄像头和一对耳机，就能将画面转化为生动的语言描述，帮助视障者更好地理解和感知周围环境。该App不仅具备描绘场景的功能，还能实时提示潜在风险，确保视障者的安全。
为了满足视障者日常生活的多样化需求，“听见世界”App设计了三种实用模式：
- 街道行走模式：该模式下，App通过细致扫描道路情况，为视障者提供准确的路况信息和潜在风险提示，确保行走安全。
- 自由问答模式：这一模式使视障者能够轻松走进博物馆、艺术馆、公园等场所，捕捉四周景象的每个细节。通过声音构建丰富的生活场景，让视障者也能享受到多彩的世界。官方演示图显示，该App还能实现转述电视画面内容等高级功能。
- 寻物模式：这一模式为视障者提供了日常物件的寻觅功能，帮助他们快速找到所需物品。官方称之为“可靠管家”，让视障者的生活更加便捷。
据悉，“听见世界”App预计于今年3月完成第一轮测试，并在中国的一、二线城市和地区同步开启试点。根据算力部署情况，该App将逐步推广至更多地区，为更多视障者带来福音。这一创新成果不仅展现了复旦大学在自然语言处理领域的领先实力，也为社会贡献了一份温暖与关爱。
文章来源：https://www.ithome.com/0/753/295.htm
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
广告
广告
写评论取消
回复取消