钟前趋动科技CEO王鲲用软件定义算力做到算力平民化AI才可以更好地赋能百业

钟前趋动科技CEO王鲲用软件定义算力做到算力平民化AI才可以更好地赋能百业

10月16日报道(文/王非)

10月16日,FUS猎云网2020年度人工智能产业峰会在北京金茂万丽酒店隆重举行,趋动科技CEO王鲲受邀发表《软件定义算力,助推AI产业》的主题演讲,他表示:趋动科技用业界领先的技术帮助客户降低成本,做到算力平民化,使AI可以更好地赋能百业,产业能够持续发展。

趋动科技在做的事情,就是用技术和软件帮助客户降低成本,做到算力平民化,让AI可以赋能百业,趋动科技则是用AI算力平民化的技术赋能AI。

根据国家《中央储备粮管理条例》相关规定,动用国家储备粮,程序非常严格,应报国务院批准。如此严格的动用程序,按理说是天衣无缝的。可事实证明,谭献华盗粮却另有他途,硬是绕过了程序,利用中国农业发展银行、粮食局和中储粮亳州库例行月度查库后的时机,突击进行了一次一两千吨的盗卖活动,这在短时间内很难被发现。

技术人员发现,粮库计量室的称重计量仪电路板被人为加装了小块电路板以及天线,该装置经过遥控器指挥,可以任意改变称重计量仪上显示的数字。

本次峰会由猎云网主办,猎云资本、企业管家、猎云财经、锐视角协办,近百位知名资本大咖,独角兽创始人、创业风云人物及近千位创业者共聚一堂。峰会以“AI UP!”为主题,聚焦人工智能产业的应用,通过展示多领域多维度人工智能技术和产品以及分享讨论AI在不同场景中最新落地应用,展现人工智能产业落地应用的最新成就;并围绕人工智能产业的“进击”与“破圈”,探讨AI技术如何为产业赋能。

通知要求,中小学校、中等职业学校以及少年宫、科技馆等校外单位要坚持安全第一,强化身心健康、注重全面成长、促进家校协同,指导学生做好日常个人防护,不参加聚餐、聚会等聚集性活动,指导家庭为学生安排合理的居家劳动,学习必要的生活技能,培养积极健康的生活态度和方式。要采取多种形式加强安全宣传教育,把防疫指导作为暑期安全教育的重中之重。不得占用暑假时间组织集体线上或线下课程教学、复习辅导,不得布置需要学生到社会单位、商场、超市等人员密集公共场所进行的实践类作业,不得利用校舍组织和接待各类夏令营、研学旅行、暑期社会实践等学生聚集性活动。鼓励中小学生积极参与市、区教育部门组织的网上夏令营等活动。

各区教育部门要协同区市场监管、人力社保等部门强化巡查监管,学科类校外培训机构继续暂停线下课程和集体活动,不组织、不接待面向学生群体的暑期境内外夏令营、社会实践等聚集性活动。

隔空取物是第三个场景,在数据中心里,最主要是由服务器提供算力,但是因为GPU非常昂贵,一般来说,不会每台服务器都配备GPU。在这种情况下,我们的OrionX软件定义AI算力可以帮助用户做到,让应用跑在没有GPU的服务器上,通过网络使用其他服务器的GPU。相当于,你在海淀区的车队无车可用了,但是在朝阳区的车队还有车,那么就可以直接使用朝阳区的车。未来网络基础设施会变得越来越好,如果网络条件足够好,我们甚至可以帮助用户在省、市的范围内来调配算力。也就是说,北京的用户运行程序可以直接使用上海的算力。有点像今天的特高压输电线,相当于在北京使用新疆发电得来的电力,这是隔空取物的意义。

而基于软件定义的方法,就可以帮助用户做到这一点。本质上,软件定义的方法就是帮助用户做到物理上全是50座大巴车,但是帮你虚拟成不同规格,比如说可以把一辆50座的大巴车,变成10辆5座的虚拟小车,也可以变成两辆5座的车外加两辆20座的车,通过软件定义技术可以帮用户做到随需应变、动态伸缩。

安徽一粮库9000多吨国家储备粮曾被盗

以美国公有云巨头AWS为例,他们公布出来的GPU利用率是10%-30%,这个数字和我们在国内了解到大部分用户的使用情况差不多。我们还知道有不少用户的利用率甚至不足10%,也就是说,一张1万美元GPU卡的利用率只有不到10%,这也就意味着超过9000美元以上的算力是浪费的,这是一个非常大的算力浪费。

无独有偶,4年前安徽也发生的盗粮大案。2015年,安徽省亳州市谯城区谯西粮库9000多吨国家储备粮被粮库负责人谭献华监守自盗。央视去年曾发表评论称:9000多吨国粮被盗,谁让偷粮“硕鼠”如此胆大?

趋动科技是一家AI加速器虚拟化及资源池化服务商,主要为用户提供AI加速器虚拟化和资源池化软件及解决方案。目前趋动科技已经推出OrionX计算平台,使用户应用无需修改就能透明地共享和使用数据中心内任一服务器之上的AI加速器。

最后我想讲一点,一般来说,一个产业的发展,会有三个阶段,Make It Work、Make It Perform、Make It Cheap……怎么理解,我们来举个例子。汽车产业在刚刚诞生的时候,也就是汽车刚被发明的时候,它只是跑得比马车快,甚至还没有马车快,它只是能够跑起来,这是一个Make It Work的阶段。但是后来,随着汽车技术的改进,它可以跑得比马车快,也就是Make It Perform,但是在这个阶段,它的缺点是成本太高,价格太高,能够买得起的人非常少。在最后一个阶段,Make It Cheap,只有当汽车的成本降低到了普罗大众都能买起的程度,整个汽车产业才能够蓬勃地发展起来。

据张某亮交代,2019年7月中旬的一天,相熟的何某平打电话约他见面,并介绍了陆某清(在逃)、王某安给他认识。在吃饭聊天的过程中,何某平试探性地开了口:“兄弟,我们这有个赚钱的门路,有没有兴趣一起搞?”想到最近打牌输了不少钱,刚好手头比较紧张,张某亮马上回答:“搞!有钱赚还不搞。”简单了解了一下“发财门路”,4人一拍即合,决定即刻前往宁乡进行“实地考察”。

王鲲认为,目前的AI产业也适用于上述规律。“新算法的出现,可以让我们做到很多之前做不了的事情;海量的数据和算力,可以让我们的算法跑得更多,使得人脸识别的正确率更高,语音识别准确率更高。但实际上,真正要让AI产业能够持续发展,我们认为算力平民化是很必要的,只有成本真正地降了下来,整个AI产业才能够持续的发展。”

今天AI算力的主要提供者已经不再是传统意义上的CPU,以GPU为代表的AI加速芯片已取代传统的CPU成为AI算力的主要提供者。因为像GPU这样的AI加速芯片,它的性能可以达到传统CPU的100甚至1000倍,这是非常惊人的提升。

王鲲这样介绍“隔空取物”:“在数据中心里,最主要是由服务器提供算力,但是因为GPU非常昂贵,一般来说,不会每台服务器都配备GPU。在这种情况下,我们的OrionX软件定义AI算力可以帮助用户做到,让应用跑在没有GPU的服务器上,通过网络使用其他服务器的GPU。未来网络基础设施会变得越来越好,如果网络条件足够好,我们甚至可以帮助用户在省、市的范围内来调配算力。”

粮仓内安保严密,400多吨粮食,若要一次性拉走,少说也得动用二十几辆货车,如此阵仗势必会惊动工作人员,这么多粮食绝不可能在众人眼皮子底下凭空消失。那么,到底是谁“偷”走了粮库里的粮食?消失的粮食又去了哪里?

不过,法网恢恢疏而不漏!经湖南省宁乡市检察院提起公诉,近日,该案被告人张某亮、王某安被法院以诈骗罪分别判处有期徒刑十年零三个月、十年零一个月,各并处罚金3万元,其余24名被告人也都受到了相应的处罚。

以下为演讲全文,猎云网整理删改:

2015年,安徽省亳州市谯城区谯西粮库9000多吨国家储备粮被粮库负责人谭献华监守自盗。案发后,亳州市多部门还曾采取“突击补库”的方式试图“就地处理”。案件的处理结果是谭献华被判入狱11年,但违规操作补库的责任人均未被问责。遗留的代管单位经营困难、拖欠粮款引发维权至今无果、追讨欠款向法院起诉被驳回等诸多乱象,则让案件欲盖弥彰,并重新回到人们的视线中。

我们今天AI的产业也适用于这样的规律。新算法的出现,可以让我们做到很多之前做不了的事情;海量的数据和算力,可以让我们的算法跑得更多,使得人脸识别的正确率更高,语音识别准确率更高。但实际上,真正要让AI产业能够持续发展,我们认为算力平民化是很必要的,只有成本真正地降了下来,整个AI产业才能够持续的发展。

下面给大家介绍两个客户的实际案例,第一个是一家互联网公司的案例。这家公司的AI训练平台部门在使用我们的软件,他们的需求与痛点是什么?他们有大量的GPU服务器,每台GPU服务器都有很多张GPU卡,整个平台是一个共享平台,有多个团队在共享使用。实际上,他们计算任务的规模很不一样,有的计算任务大,有的计算任务小。所以在整个平台运行的过程中,就会出现很多碎片化的资源,比方说这台服务器八张卡有两张空闲,另一台的八张空闲三张。在这种情况下,想要跑一个四卡的训练任务,是很难跑起来的。通过我们的软件,把他所有的资源变成一个资源池,在这里面做管理和调度,就可以解决他碎片化资源的浪费情况,提高利用率,同时也提高工程师的人效。

总结目前客户的情况,基本上,我们的软件能够做到:提升3-5倍的GPU利用率,提升超过50%的算法工程师人效,同时降低超过50%的TCU整体拥有成本,并且帮用户减少超过80%的电力消耗。对于用户来说,我们软件给到用户的价值是非常巨大的。

这个是我们在高校的案例,这所高校是双一流高校下属的一个学院。学院里面有很多实验室,每个实验室都有自己的AI在运行,有AI计算的需求。大家可以想像,如果每个实验室都自己采购自己的硬件,一定会非常浪费。因为平均下来,每个实验室能够采购的算力会比较少,而且算力也不能完全充分利用,所以会非常浪费。那么,把所有实验室的资源放在一起变成一个资源池,通过我们的软件就可以很好地帮助学院里所有的实验室,都能充分地利用这些资源。而这些实验室运行的任务中,既有AI的推理,也有训练,还有教学或者科研,场景非常多。而在不同场景下,所使用的资源量也完全不一样。使用我们的软件定义方法以后,就可以帮助用户较好地适应不同大小,不同时间任务的需求,从而提高利用率,降低成本。

经过一番自查之后,宁乡直属粮库排除了存在“内鬼”的可能性。无奈之下,只好请来技术人员对粮库内的电子设备进行了一次全方位的检修,不查不知道,一查果然有猫腻。真相浮出水面。

王鲲表示,一个产业的发展,会有三个阶段,Make It Work、Make It Perform、Make It Cheap……以汽车产业为例,在最后一个阶段,Make It Cheap,只有当汽车的成本降低到了普罗大众都能买起的程度,整个汽车产业才能够蓬勃地发展起来。

技术人员表示,该装置需要懂电子技术的专业人员才能制作出来,若要将其装在称重计量仪上,还需要其他人员的辅助配合。只需螺丝刀、电烙铁、焊锡丝三样东西,专业人士用时10分钟就可完成整个安装过程。安装完成之后,人在外面操纵遥控装置发射信号,称重计量仪内部的装置接收信号,就能影响集成电路板改变计量仪上显示的重量。如此,便可通过控制遥控器,使得运粮车上地磅称重时与车辆自身的重量不相符。这样一来,账面数字和实际数量当然也就对不上了。

随需应变是指,帮助用户根据他的需求来动态伸缩使用的资源。王鲲解释到,“比如说,他的任务刚启动时只需要半个GPU,但是随着运行的不断推进,需要的计算量越来越大,就需要10个GPU。我们的软件可以根据他的需求,动态变化伸缩他所使用资源的量。”

趋动科技的软件就是要帮助客户在AI领域里做到软件定义,在这里面,有几个非常典型的使用场景。第一个场景是化整为零。以GPU为例,当用户AI计算任务规模比较小的时候,一个任务不足以用满一张GPU卡。这时候,我们能做的事情就是帮助用户把一个性能强大的物理GPU,变成多个虚拟GPU给到多个用户共享,相当于在刚才大巴车的例子中,把一个大巴车变成多辆虚拟小车给到用户使用。通过这种方式化整为零,帮助用户提升资源的利用率。

实际上,目前用户就是在以这样一种非常粗放的方法,来使用性能强大却也非常昂贵的AI芯片,本质上这是造成今天算力利用率低、成本高的根本原本。

那么,用户需要的是怎样的一种方式来使用算力。我们总结出了两个词,一个是随需应变,一个是动态。仍然用大巴车与旅行团的例子,随需应变的意思是,像三四个人的小旅行团,可能要派辆轿车,如果是十个人的旅行团,派辆中巴车,如果是一百人,那么可能需要派几辆大巴车,根据实际需求来决定车辆的大小。

第二天一早,为了掩人耳目,经过商量,张某亮、王某安、何某平决定以在宁乡直属粮库有熟人可增加称重的说法,各自邀集相熟的粮贩向宁乡直属粮库出售粮食,由粮贩组织运粮司机从沅江市、汉寿县等地将稻米运送至该粮库,并要求司机将运粮车辆蒙上油布。

各位嘉宾朋友们大家上午好,我是王鲲,来自驱动科技,今天很高兴有这个机会给大家分享《软件定义算力,助推AI产业》。

到了宁乡已是晚上,4人在宁乡直属粮库附近的一家旅社住下了。安顿好后,陆某清开始向众人详细描述起他的“发财蓝图”:“我可以在宁乡直属粮库的地磅上安装一个设备,再喊人到宁乡粮库来送粮,在过地磅称重时,我们通过操作遥控器虚增粮食重量,就能多骗粮库的钱。这个事情肯定是有风险的,你们想清楚了。”张某亮当即表示:“来都来了,那就干吧。”另外二人也都点头同意。

“郭某顺(粮贩,系该案主犯之一)还叮嘱我,要我送谷子的时候一定要用油布将车厢蒙起来,免得在过地磅的时候,我们的谷子明显比别人少但是重量又多,地磅员会怀疑。”运粮司机潘道元表示。

此外,监控显示,7月16日至7月22日收粮期间,有3名中年男子总在计量室外走来走去,神色紧张,他们既非粮贩也非运粮司机,只要有蒙着油布的运粮车过磅称重,就将手放在裤子口袋处摸摸索索,还不时抬头张望计量室外面的重量显示屏。这些反常的举动似乎再次验证了技术人员所言。

果然,工作人员在调取过往监控录像的时候发现,2019年7月15日凌晨1点多钟,有两名陌生男子戴着帽子和口罩,手里提着工具箱,从后门潜入粮库,十几分钟后,计量室的门被打开了,两人进入计量室后,还有意用物品将室内的监控遮盖起来,半小时后才离开……

为什么会出现如此大的算力浪费,我们来打个比方,把50座的大巴车比喻成性能强大的AI芯片,把AI的计算任务比成旅行团,不同计算量的任务大概相当于不同规模的旅行团。小的计算任务相当于三四个人的旅行团,大的计算任务相当于上百人的旅行团。大家可以想像,最简单的使用和管理方法是,来一个旅行团派一辆车。但实际上的结果是,只有十个人,甚至两三个人,依然派一辆大巴车,那一定是非常浪费的。

谯西粮库是亳州市谯城区粮食局的下属单位,下设13个粮站。案发时,13个粮站负责人大部分与谭献华沾亲带故,甚至还出现了父母退休、子女顶班的继承式任职情况。这种把国家粮库当成私家粮库的情况已属反常,但无人过问、任其妄为的情况则更加反常。若不是2015年的那次突击检查,谭献华监守自盗一事可能至今无人知晓。这凸显了监管在任人唯亲面前的无力感。

化整为零与化零为整,实质上是根据具体情况去满足用户的实际需求,从而帮助用户提升资源的利用率、提高工程师的人效。

今天峰会的主题是AI,大家对AI也都并不陌生。在过去几年,AI的发展非常迅速,各种应用也在加速落地,不管是人脸识别还是语音识别,它们的背后都是由算力引领。可以这样说,高速增长的算力,一直在推动AI产业的发展。

6天诈骗宁乡直属粮库粮款81车次

趋动科技在做的事情,就是用技术和软件帮助客户降低成本,做到算力平民化,让AI可以赋能百业,趋动科技则是用AI算力平民化的技术赋能AI。

人称“亮哥”的张某亮一直有赌博恶习,他与本案的另外两名犯罪嫌疑人王某安、何某平(在逃)同为湖南益阳人,他们文化程度不高,平时主要以务工为生。

从2012年到现在,整个AI算力的需求增长了超30万倍,这个增长速度非常惊人。在可预见的将来,AI算力的需求仍然会保持这样高速的增长。

高等学校要切实履行疫情防控主体责任,严格落实常态化疫情防控各项措施,继续实施校园封闭式管理。不组织、不接待各类夏令营等聚集性活动,校外无关人员一律不得进入校园,严防聚集性、输入性风险,确保校园安全。

据介绍,趋动科技的软件能够提升3-5倍的GPU利用率,提升超过50%的算法工程师人效,同时降低超过50%的TCU整体拥有成本,并且帮用户减少超过80%的电力消耗。

“问题原来出在地磅上。”工作人员恍然大悟,随后报警。8月21日,宁乡市公安局经过初步审查,于翌日立案侦查,并依法对宁乡直属粮库进行现场勘验。

当有运粮车上地磅称重时,张某亮、王某安、陆某清轮流在地磅房窗口操控藏匿在裤袋里的遥控器,使每车粮食的重量虚增5吨左右,待运粮车称重结束下地磅时,3人再操控遥控器使地磅读数归零。

趋动科技的软件就是要帮助客户在AI领域里做到软件定义,在这里面,有四个非常典型的使用场景:化整为零、化零为整、隔空取物、随需应变。

最后一个场景是随需应变,主要是帮助用户根据他的需求来动态伸缩使用的资源。比方说,他的任务刚启动时只需要半个GPU,但是随着运行的不断推进,需要的计算量越来越大,就需要10个GPU。相当于旅行团,在上午可能只有四五个人,而到了下午又来了一拨人,可能变成了一百个人。这种情况下,我们的软件可以根据他的需求,动态变化伸缩他所使用资源的量,这就是随需应变。

如果想要以硬件的方法做到这点,就意味着用户一定需要准备各种规格的车,既需要准备轿车,也需要准备中巴车,也还需要准备大巴车,要决定每种规格的车的数量将会非常困难,因为每一波用户的数量是在变的。也就是说,基于这种硬件的方法想要实现随需应变、动态伸缩是非常难的。

据检察日报25日报道,2019年8月的一天,中央储备粮宁乡直属库有限公司(下称“宁乡直属粮库”)在对这季收购的早稻进行归仓平整测量时发现,账面上的数字和仓库的实际数量相去甚远,400多吨粮食不翼而飞了。“这可真是怪事,进库的时候明明是算足了量的,怎么今天一盘点,少了这么多?”宁乡直属粮库的工作人员小周百思不得其解。

但与此同时,GPU的价格不菲,企业级CPU的价格大概是在千美元的量级,但是企业级GPU的价格是在万美元的量级,提升了一个数量级。相对来讲,GPU的算力比较昂贵,而这么昂贵的算力,目前大部分用户的使用情况却不是很好。

凌晨1点多钟,除王某安因感冒留在房间休息,张某亮、陆某清、何某平从床上爬起来,戴上了事先准备好的帽子和口罩,开车前往粮库。偷偷潜入粮库后,陆某清和何某平去地磅房(即计量室)开锁,张某亮则躲在地磅房附近的绿化花坛里面观察动静。折腾了十几分钟后,门打开了,陆某清返回车上拿设备工具,回来时喊张某亮戴上手套,进来帮他打下手。二人进入地磅房后,陆某清立刻把头上的帽子摘下来挂在地磅房的摄像头上遮挡住监控,张某亮将地磅主机抬起来,陆某清拿出工具把主机的螺丝一一拧开,打开主机盒后,又熟练地在里面的电路板上安装了一个设备(干扰器)。

“硕鼠”在地磅上动手脚

第二个场景叫化零为整。对于用户来讲,他的计算任务可能非常大,像几百人的旅行团一样。当用户计算任务非常大的时候,我们可以把多个GPU给到用户的这个任务使用,给用户几张,甚至几十张GPU卡,去满足用户大计算量的需求,这是化零为整的场景。

经讯问,到案犯罪嫌疑人如实供述了案件事实,该案告破。

就这样,从7月16日至7月22日,短短6天,张某亮等人采取上述犯罪手法共计诈骗宁乡直属粮库粮款81车次,每车次虚增粮食重量约5吨,共计骗取粮款约97.2万元。其中,张某亮从中获利14万余元,王某安非法获利7万余元。

此后不久,王某等7人主动投案,其余犯罪嫌疑人也陆续被公安机关抓捕归案。几个月内,该起案件的犯罪嫌疑人多数落网,包括干扰器安装人员、粮贩、运粮司机,人数多达26人。

目前,我们也已经跟业内非常多重要的伙伴建立了合作关系,比如说戴尔、亚马逊、浪潮、AWS、科大迅飞,同时也在跟更多的伙伴建立更多的合作关系,让我们的软件、技术能够更快地服务于各行各业的客户,也取得了一些小小的成绩。

按照宁乡直属粮库每吨粮食2400元的收购价,每车次的获利金额约为1.2万元。根据约定,张某亮等4人每车次可获利5000元,4人平分,运粮司机每车次可分2000元至3000元不等,余下的给粮贩。

完成后,陆某清掏出一个遥控器进行测试,据张某亮等人事后描述:“白色遥控器长10公分左右,宽约5公分,在遥控器顶端有一根天线可以扯出来和收进去,遥控器上有两个按键,一个朝上、一个朝下,按朝上的按键就可以虚增约5吨的重量,按朝下的按键就可以使数值重新归零。”一切安排妥当后,陆某清取回自己的帽子,和同伴返回宾馆,此时已是7月15日凌晨3点钟。