近日，商汤绝影与国内知名车企合作伙伴联手打造的行业首个原生流式多模态座舱产品已经量产上车，并向用户进行OTA推送。
在两个月前的2024「绝影实力AI DAY」上，商汤绝影首发了AI汽车创新产品「A New Member For U」（你的家庭新成员），它能够察言观色，无时不在，心有灵犀，将会让智能汽车拥有「有趣的灵魂」。原生流式多模态大模型是打造「家庭新成员」的关键之一，也是它能察言观色的核心所在。
如今，随着商汤绝影的多模态舱外识别功能量产上车，它已经开始认识并且理解世界，能够实现「前车识别」、「交通标志识别」和「沿途风光识别」等功能，识别准确率、识别范围等性能全面领先行业，还能和车内驾乘人员进行深入交流与互动，这位未来的「家庭新成员」迈出了成长的第一步。
多模态舱外识别性能全面领先，“懂车博士”、“随车教练”、“地陪达人”，一车搞定
随着小米、小鹏、比亚迪等企业纷纷上车多模态识别功能，多模态大模型上车已成为行业趋势。近日，商汤绝影的行业首个原生流式多模态座舱产品已经量产上车，舱外识别功能已向用户进行OTA推送。
商汤绝影量产上车的多模态舱外识别功能包括三大能力，即前车识别、交通标志识别、沿途风光识别。
l“懂车博士”——前车识别功能
相当于把马路变成了流动4S店，也是大型的车型展览场，路上看到了喜欢的车型，或者不认识但又想了解的车型，随时随地就可以让车机这个“懂车博士”为你答疑解惑，从车型、价格、上市日期，到背后的发展历史，几乎无所不知。
相较于已量产的同类功能，商汤绝影的前车识别功能认得更准、更多、更深、更新。
认得更准，就是商汤绝影前车识别准确率超过90%，领跑行业；在极端环境下，如晚上环境光线弱的时候，识别率依然很高。
同时，原生流式多模态大模型的强大指代能力，前面如果有三辆车，左中右分别为红黄蓝，如果问“蓝色车辆是什么车”，传统模型可能依旧会识别中间黄车，商汤绝影的原生流式大模型能精准识别右前方的蓝色车辆。
认得更多，是绝影的多模态能够识别的种类和范围非常广，尤其是豪车和小众品牌。甚至是伪装车、无车标等特殊外观，通过尾灯、外形、构造等品牌特点也可以识别。
认得更深，举例来看，现在很多车型已经不再生产，一部分经典车型仍然在道路上奔驰，它们背后有值得挖掘的历史，通过对话、图文等形式，绝影的前车识别功能可以把丰富且完整的信息展示给舱内用户，帮助他们全方位深入了解感兴趣的车型产品。
认得更新，是因为绝影的原生流式多模态大模型一直在持续训练和迭代，即使是上市不久的新车也能够快速识别。
l“随车教练”——交通标志识别
商汤绝影的舱外识别功能不仅能识别前车，还能够识别交通标志，这也是行业首发的产品能力，其他上车的多模态大模型都没有做到交通标志的准确识别。
面对路面上越来越多的交通标志，即使是老司机有时候也会不知所措，反应不及。有了商汤绝影的「交通标志识别」功能，就相当于有了靠谱的驾校教练坐镇车内，交通标志的识别和解读信息不仅准确完善，车机系统还可以根据用户询问，给出驾驶建议，让司机驾驶起来更加安稳放心。
准确识别“车道数即将减少”的交通标志
l“地陪达人”——沿途风光识别
商汤绝影的原生流式多模态座舱产品还能够对沿途风光进行识别，成为最强的地陪达人。大家免不了要接待来游玩的亲朋好友，也不一定能够对当地景点进行充分的介绍，「沿途风光识别」能够进行车辆行驶途中的建筑物和景点的识别，准确率高，达90%以上。在此基础上，它还可以提供图文介绍，详细讲解景点和建筑，相关的历史典故、趣闻轶事等都能信手拈来，娓娓道出。
如果对这个沿途风光感兴趣，用户可以询问车机，进一步了解信息，比如，朋友问你某个路过小区的房价，它也能轻松准确应对。
不止如此，商汤绝影的沿途风光功能还能结合不同用户的需求，制定特色旅游路线并推荐给用户，如网红打卡路线、亲子欢乐之旅、高校游览路线、美食路线等，带来全新的智慧出行体验。
原生流式多模态，智能汽车通往AGI时代的钥匙
商汤绝影全面行业领先的舱外识别功能离不开原生流式多模态大模型能力。
大模型的发展从单一模态到多模态已经是不可阻挡的趋势，人工智能（AI）想要提升全面理解世界和理解「人」的能力，向通用人工智能（AGI）演进，从而真正在工作和生活中帮助人类，AI就必须能够支持并实现多种模态的感知、理解和交互，多模态能力是AI向AGI进化的核心推动力。
商汤绝影CEO、商汤科技联合创始人、首席科学家王晓刚就表示，基于商汤「日日新5o」打造的原生流式多模态大模型让世间万物都可被感知、被理解、被交互。原生流式多模态大模型是让文字、语音、视频等模态一同输入，模型统一处理后输出相应模态的信息。
原生流式多模态是一种非常自然且新颖的交互方式，将会成为一个全新的直接接触用户的超级入口，而智能汽车是这个超级入口的最佳落地场景。依靠智能汽车内外各种常开的摄像头，用户可以实时跟汽车通过多模态的方式进行交互。同时，智能汽车的保有量不断增加，能够产生丰富的终端用户反馈和数据信息，让模型不断迭代成长。
通过应用场景和用户需求驱动，以原生流式多模态大模型为基础的座舱产品将能够让智能汽车高效准确地全景感知和深度理解用户需求和周围环境，并以此为核心打通不同应用，全局调用车上开放的软硬件服务，将离散的单点功能聚合在一起，从而为用户提供更多深度个性化的主动关怀和服务，让智能汽车成为你的新助手、新伙伴乃至新的家庭成员。
现在，商汤绝影原生流式多模态大模型量产上车，大模型加速深度融入智能汽车，绝影正在用原生流式多模态这把钥匙，打开智慧出行的AGI新时代。
商汤绝影的「家庭新成员」，迈出了成长第一步
智能座舱目前陷入了「冰箱彩电大沙发」的内卷当中，原生流式多模态带来的自然、舒心的交互体验或许能够为车企突围这一轮内卷开辟出一条全新的路径。
在去年11月的2024「绝影实力AI DAY」上，商汤绝影首发了AI汽车创新产品「A New Member For U」（你的家庭新成员），将会让智能汽车拥有「有趣的灵魂」。
依托原生流式多模态大模型、车载类人记忆框架和持续运行框架等前沿AI汽车创新技术，商汤绝影打造的「家庭新成员」能够察言观色，无时不在，并且做到与你心有灵犀。
智能汽车从冰冷的工具和机械式的助手，进化为「你的家庭新成员」，是一个逐步转型与成长过程。商汤绝影的原生流式多模态座舱产品量产上车，舱外识别能力覆盖了座舱、汽车周边的环境，这意味着「家庭新成员」开始逐步认识世界、理解世界，迈出了成长的第一步。
这第一步迈得很踏实，首先，离不开商汤绝影强大的原生流式多模态大模型。在OpenCompass多模态评测榜单中，绝影多模态大模型的理解和推理能力排名第一，以此为基础，「家庭新成员」能全面感知用户的语音、表情、手势、以及环境数据，并进行深度理解和推理思考。
同时，车端模型部署能力是智能汽车交互革新不可或缺的技术保障。商汤绝影在行业率先实现原生多模态大模型的车端部署，如今可实现首包延迟低至60毫秒以内，推理速度40 Tokens/秒。以云侧、端云结合、端侧等全栈方式灵活部署多模态大模型，商汤绝影能快速、准确响应用户的识别需求，并充分保护个人隐私和数据安全。
作为最专注于汽车行业的AI公司，商汤绝影在智能座舱领域具备丰富的量产经验。第三方调研数据显示，商汤绝影在座舱视觉AI软件市场的份额连续五年蝉联第一，座舱AI大模型产品已上车智己全系车型、LEVC L380等车型。截至2024年底，商汤绝影已与超30家国内外车企达成合作，覆盖100余款车型，量产交付累计突破350万辆。
基于领先的模型能力、全栈的模型部署能力和丰富的量产经验，商汤绝影能够深入理解用户需求并进行个性化设计，让原生流式多模态座舱产品具备强大的复杂环境适应能力，并且提供自然、流畅的交互体验。
随着舱外识别功能的量产交付，商汤绝影的各项领先AI技术都将逐步上车，「家庭新成员」也将持续学习与成长，加速智能汽车驶入AGI时代。
扫一扫关注微信
