商汤大模型一体机可节约80%推理成本,完成云端边全栈布局

商汤科技在上海举办技术交流日活动

会上商汤发布业内首个“云、端、边”全栈大模型产品矩阵,并推出全新升级的“日日新SenseNova 5.0”大模型体系。 

影响至股价方面,商汤(00020.HK)今日开盘后大幅上涨。随后商汤在港交所公告称,商汤集团的B类股份自11时15分起暂停交易,暂停前涨幅达到31.15%。

日日新,出自《礼记·大学》中的“苟日新、日日新、又日新”。承载了人们对以大模型为代表的AI技术浪潮迭代,和走向AGI(通用人工智能)的期待。

目前,商汤“日日新SenseNova”大模型体系已正式完成5个版本迭代,基于超过10TB tokens训练、覆盖大量合成数据,“日日新SenseNova 5.0”(以下简称:「日日新5.0」)采用混合专家架构,推理时上下文窗口可以有效到200K左右。

具体到更新能力上,此次主要集中增强了知识、数学、推理及代码能力,全面对标GPT-4 Turbo,主流客观评测上达到或超越 GPT-4 Turbo。

「日日新5.0」能力评测

以模型的文科能力为例,「日日新5.0」创意写作能力、推理能力以及总结能力均大幅提升,相同的中文知识注入后,可以获得更好的理解总结及问答,为教育、内容产业等垂直应用场景提供有力辅助。

多模态能力方面,具体到应用产品中,「日日新5.0」可支持高清长图的解析和理解,以及文生图交互式生成,也能实现复杂的跨文档知识抽取及总结问答展示,还具备丰富的多模态交互能力。

「日日新5.0」和GPT-4回答趣味推理问题:“妈妈给圆圆冲了一杯咖啡,圆圆喝了半杯后,将它加满水,然后她又喝了半杯后,再加满水,最后全部喝完。问圆圆喝的咖啡多,还是水多?”,「日日新5.0」回答正确。

面对中心化算力需求向端侧扩展的未来趋势、和企业级在边缘侧的AI需求,商汤推出了“云、端、边”全栈大模型产品矩阵。其中包括应用于终端设备的“商汤端侧大模型”,及面向金融、代码、医疗、政务等多个领域的边缘产品“商汤企业级大模型一体机”。

当前,金融、代码、医疗、政务等行业边缘侧AI应用需求呈爆发式增长,但在实际落地场景中,企业仍面临算力使用门槛高、能耗高等难题。

关注到这一现象,商汤寻求最优数据配比并建立数据质量评价体系,推动自身大模型研发的同时,也为行业伙伴提供大模型训练、微调、部署和各类生成式AI的能力及服务。

会上,商汤推出端云协同解决方案,可以通过智能化判断协同发挥端云各自优势,需要联网搜索或处理复杂场景时分流至云端处理,部分场景端侧处理占比超过80%,从而显著降低推理成本。

比如近期火爆的小米汽车SU7,其智能车舱中就应用了商汤的大模型技术。基于商汤端云大模型解决方案,小米小爱同学可以为车主提供智能化的交互体验。 

同时在硬件方面,商汤本次发布的企业级大模型一体机,可支持企业级千亿模型加速和知识检索硬件加速,实现本地化部署,即买即用,降低企业应用大模型的门槛。相比行业同类产品,推理成本节约80%,检索大大加速,CPU工作负载50%。

伴随着尺度定律催生的模型性能大爆发,一方面,大模型发展已进入落地阶段,如何与产业、应用场景结合是关键一环;另一方面,“ScalingLaw(尺度定律)”路径逐渐清晰,“涌现”时刻不定出现,前瞻探索最先进的大模型技术也是重中之重。

商汤科技董事长兼CEO徐立表示:“商汤在尺度定律的指导下,会持续探索大模型能力的KRE三层架构(知识-推理-执行),不断突破大模型能力边界。”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/571273.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

《看漫画学C++》背后的故事1:艺术与科技的结合

引言: 在数字化浪潮中,艺术与科技的结合催生了无数创新。《看漫画学C》正是这一跨界合作的产物,它不仅是一本编程书籍,更是艺术与科技融合的典范。 一、相遇: 科技与艺术的火花作为一名专注于技术的软件程序员&…

【JAVA基础之IO】字节流、字符流以及乱码问题

🔥作者主页:小林同学的学习笔录 🔥mysql专栏:小林同学的专栏 目录 1. IO概述 1.1 什么是IO 1.2 IO的分类 1.3 字节和字符流的顶级父类 2. 字节流 2.1 一切皆为字节 2.2 字节输出流【OutputStream】 2.3 FileOutputStream类…

mfc140.dll丢失如何修复,分享多种有效的修复方法

在日常操作和使用电脑的过程中,我们可能会遇到一种较为常见的问题,即在尝试启动或运行某个应用程序时,系统突然弹出一个错误提示窗口,明确指出“mfc140.dll文件丢失”。这个mfc140.dll实际上是一个动态链接库文件(DLL&…

Flask框架初探-如何在本机发布一个web服务并通过requests访问自己发布的服务-简易入门版

Flask框架初探 在接触到网络框架之前我其实一直对一个事情有疑惑,跨语言的API在需要传参的情况下究竟应该如何调用,之前做过的项目里,我用python做了一个代码使用一个算法得到一个结果之后我应该怎么给到做前端的同学或者同事,之前…

微信小程序使用echarts组件实现饼状统计图功能

微信小程序使用echarts组件实现饼状统计图功能 使用echarts实现在微信小程序中统计图的功能,具体的实现步骤思路可进我主页查看我的另一篇博文https://blog.csdn.net/weixin_45465881/article/details/138171153进行查看,本篇文章主要使用echarts组件实…

移动桌面均覆盖-免费使用,解锁VIP!

hello,我是小索奇 分享一下剪映,附带windows和移动端哈 软件内所有功能都已经解锁了哈!不登录也是会员特权~ 相对于PR来说,用剪映省去了好多痛苦(用过的都懂,都是包装) 软件下载好之后双…

【计算机考研】计算机行业考研还有性价比吗?

刚上大学的时候觉得本科毕业就够了 到了大三找工作才发现自己什么都不会 只能踏上考研路 目前研一在读,身边有很多工作了几年又回来读研的同学,只能说现在计算机行业研究生还是比本科生有竞争力的 如果你的本科和我一样没有学什么技术,那…

实现Node.js安装与配置。

一 、Node.js简介 Node.js是一个基于Chrome V8引擎的JavaScript运行时环境,用于构建高性能、可扩展的网络应用程序。它发布于2009年5月,由Ryan Dahl开发,允许使用JavaScript进行服务器端编程,使开发者能够在前后端都使用同一种编程…

MessageBox的模版语法上如何注册事件

目标: 想要在MessageBox中的文本中写一些事件,如何处理 在vue中进行操作: coding // 弹窗提示 this.$confirm({customClass: "add-fail",title: this.$t(add_error),type: error,dangerouslyUseHTMLString: true, // 将消息使用…

【学习笔记二十六】EWM 盘点后台配置和前台演示

一、EWM盘点业务概述 SAP EWM(Extended Warehouse Management)模块中的盘点业务是一个关键流程,它允许企业对仓库中的库存进行实物清点,以确保系统中记录的数据与实际库存相符。盘点过程有助于企业识别库存差异,从而进行必要的库存调整,确保库存记录的准确性,这对于财务…

电商技术揭秘三十二:智能风控的案例研究与未来趋势

相关系列文章 电商技术揭秘相关系列文章合集(1) 电商技术揭秘相关系列文章合集(2) 电商技术揭秘二十八:安全与合规性保障 电商技术揭秘二十九:电商法律合规浅析 电商技术揭秘三十:知识产权保…

Excel 冻结前几行

Excel中有冻结首航和冻结首列的选项,但是如果想冻结前几行该怎么操作? 冻结首行或冻结首列 视图 -> 冻结窗格 -> 冻结首行或冻结首列 冻结前几行或前几列 视图 -> 冻结窗格 -> 冻结拆分窗格 具体冻结几行和几列取决于当前选中的单元格。…

leetcode 每日一题目 (树的直径 +DFS的深刻理解)

如下是题目的简单描述: 给你一棵二叉树的根节点 root ,二叉树中节点的值 互不相同 。另给你一个整数 start 。在第 0 分钟,感染 将会从值为 start 的节点开始爆发。 每分钟,如果节点满足以下全部条件,就会被感染&…

2. 多机多卡运行nccl-tests对比分析

系列文章 第2章 多机多卡nccl-tests 对比分析 目录 系列文章前言一、本地环境1. 网卡接口2. RDMA3. TOPO信息pcie信息nvidia-smi topo -m 二、nccl-test对比分析1. 相关环境变量2. 不同情况的对比3. 总结与分析 前言 NCCL(NVIDIA Collective Communications Libra…

带头双向循环链表的基本操作(c语言实现)

带头双向循环链表 带头双向循环链表是一种结合了双向链表和循环链表特性的数据结构。其主要特点如下: 双向性:链表中的每个节点都有两个指针,一个指向下一个节点(next),另一个指向前一个节点(p…

11.泛型

文章目录 1 泛型概念2. 自定义泛型结构3 泛型方法4 泛型在继承上的体现5 通配符的使用 1 泛型概念 所谓泛型就是用标识符标识不确定的类型,详细说就是:定义类或接口时用标识符表示类中某个属性的类型或者是某个方法的返回值及参数类型。泛型将在使用时&a…

《QT实用小工具·三十九》仿 Windows10 画图3D 的颜色选择器, 但更加强大

1、概述 源码放在文章末尾 该项目实现了仿 Windows10 画图3D 的颜色选择器,功能更加丰富更加强大。 项目部分代码如下所示: import QtQuick 2.15 import QtQuick.Controls 2.15 import QtQuick.Layouts 1.15 import QtGraphicalEffects 1.15Item {id…

基于OSAL 实现UART、LED、ADC等基础示例 4

1 UART 实验目的 串口在我们开发单片机项目是很重要的,可以观察我们的代码运行情况,本节的目的就 是实现串口双工收发。 虽然说 osal 相关的代码已经跟硬件关系不大了,但是我们还是来贴出相关的硬件原理图贴出来。 1.1 初始化 osal_init_s…

Leetcode743. 网络延迟时间

Every day a Leetcode 题目来源:743. 网络延迟时间 本题需要用到单源最短路径算法 Dijkstra,现在让我们回顾该算法,其主要思想是贪心。 将所有节点分成两类:已确定从起点到当前点的最短路长度的节点,以及未确定从起…

分类分析|KNN分类模型及其Python实现

KNN分类模型及其Python实现 1. KNN算法思想2. KNN算法步骤2.1 KNN主要优点2.2 KNN主要缺点 3. Python实现KNN分类算法3.1 自定义方法实现KNN分类3.2 调用scikit-learn模块实现KNN分类 4. K值的确定 在之前文章 分类分析|贝叶斯分类器及其Python实现中,我们对分类分…
最新文章