您的位置: 首页 >> 大数据

杭州數夢工場科技有限公司行業首席架構師劉

2019.11.12 来源: 浏览:0次

杭州数梦工场科技有限公司行业首席架构师刘朋冲:“数梦&阿里”军事大数据解决方案与实践

国务院副总理马凯近期指出,要坚决贯彻落实党的10八大和十八届三中全会精神,坚持战略导向和问题导向,充分发挥国家主导和市场机制两大作用,服务国防军队建设和经济社会发展的两大需求,抓住民参军、军转民两大关键、依靠深化改革和科技创新两大动力,完善政策法则制度,改进加强行业管理,以更大力度推动军民融会深度发展

北京时间7月7日,2016中国军民大数据产业高峰论坛在南京召开,论坛上邀请到了众多专家学者、行业专家和优秀企业代表,共同探讨大数据分析在军队信息化建设中的重要作用,探讨如何做好兵工领域的大数据建设工作,探讨大数据在军工领域的价值和实践意义

杭州数梦工场科技有限公司行业首席架构师刘朋冲

杭州数梦工场科技有限公司行业首席架构师刘朋冲在论坛上为参会者带来《数梦阿里军事大数据解决方案与实践》的主题演讲,以下是演讲实录

刘朋冲:大家上午好,我叫刘朋冲,来自杭州数梦工厂,我是主要面向兵工行业的首席架构师因为数梦工厂是阿里投资的一家新型的互联公司,所以我们今天主要是谈一谈数梦和阿里在过去一年多的时间,在军事大数据领域的这些实践

这在之前我花几分钟时间简单介绍我们的数梦工厂,数梦工厂可能大家对他的的认知并不多,确切,因为它刚刚成立一年半的时间,大概是去年3月份的时候成立的,我们成立这个公司的成立是有它的独特性

大家都知道,现在的IT圈,大概分为两类公司,一种是传统的公司,比如说像IBM,Oracle这种传统的公司,还有一种是新型的互联公司,比如BAT,这类是新型的互联公司,真正的说把二者结合一起的,比如2C,2B结合在具有传统和互联基因的公司,在国内,几近是找不到的,数梦工厂就是这类公司

数梦工场既有互联的基因,又有面向传统企业的这类基因作为阿里使命级的合作伙伴,我们是面向政企提供平台和服务,大家都知道,阿里在消费者领域,在2C领域,已经做到了几乎一统天下的地步但是在企业客户,阿里有很多特别牛的技术,或者是能给带来价值的一些输出其实在这些企业客户并没有做的很深入其实数梦工厂就是要做到这一点,我们在企业客户客户深根,然后把阿里这些技术在企业级客户进行落地,解决客户实实在在的价值

我们的思路跟定位是很清晰的,我们是分为两大块,一个是平台一个是服务所谓的平台就是我们可以提供面向DT时期的平台解决方案,就是所谓的软件平台、云计算、大数据,还有面向企业级的互联架构应用比如说分布式的数据库,或者是我们的微服务架构,还有是安全这是我们可以做到平台级的东西其实大家知道,我们去一个客户现场,如果说想达到满足客户的业务价值,其实唯一平台是不够的,所以说我们需要做大量的服务所以上面也可以看到我们提供这种DT时代的服务这个服务我们是可以提供全站式的服务,无论是从咨询、实施,还是到最后的运维,乃至是我们将来跟某些厂商合作进行这类运维,其实我们都可以提供,我们会有专业的队伍提供这类服务的工作

接下来我跟大家分享一下,我们成立的时间只有一年半但是我们在军事大数据领域已做了很多实践,这些都是真实的案例而且我们做的很多都已经上线运行了,所以今天大概有三个方面去跟大家分享一个是关于军事情报研判的解决方案,我们称之为I+,还有一个是关于军事目标事件和目标态势的分析就是我们会讲一下关于一个军事事件,基于时间轴的演化情况还有目标态势,是简单讲这个目标是一个比较抽象的东西其实目标,比如说我们的一个飞机的飞行轨迹,乃至一个船舶的航迹,其实都可以作为一个目标,我们对他的这类态势的未来轨迹分析,其实就是我们所谓的态势分析还有第三点,我们会提到军事装备的这类预测性管理和保护

什么叫预测性维护和质量管理之前我们对军事装备的保护都是定期的去保护,比如说一周或是一天做这种维护其实这种保护是非常无效的,有的时候我们去保护的时候,可是他已经有问题了所以说去保护其实可能效果并不明显还有的时候我们去保护,根本他一点问题都没有,是完全完好的我们希望做到预测性的保护,在他需要的时候我们去做,所以主要是从这三面跟大家来做一个分享

首先第一点就是关于我们的军事研判解决方案叫I+其实我们为何可以做这种情报研判,现在大家每天在提大数据,如果能真正把大数据跟客户的业务价值做绑定,或者是跟客户带来实实在在的价值,做到这一点其实挺难的是由于阿里在电商领域有多年的沉淀和积累,这其实是最关键的因素为什么呢,其实电商领域的风控跟情报研判是非常类似的一种行动比如说我们的欺诈交易,包括用户的炒作,还有用户特点的识别,还有互联电商的打假,包括用户身份的这类偏好分析

,其实这类就是我们在电商平台的积累而且我们把众多数据进行分析,然后结合这类模型,其实最关键的是里面有模型的算法

这种模型的算法是经过反复训练的,所以这样我们能精准的预测,比如说人的这类交易欺诈,特定人的这种行为我们能够预测,某些人可以做到未来是我们重点监控对象的这就是我们在阿里的一个运用叫按键宝其实,我们做到很多的这种案件,我们其实其实不知道他产生了,但是我们只要得到这些数据,比如说人的数据,地的数据,机构的数据,物品的数据,这些数据我们会分析挖掘,分析发掘以后我们就可以360度的还原这个案件,其实这个是最关键的,这是我们按键宝的应用我们就把这些理论来应用到我们的情报研判当中下面就讲一下我们如何做这种情报研判

看这张图,我们是一个情报研判的360度追踪,首先我们进行一个个体的搜索,比如说进行这类关联的反查,轨迹的分析,时续的分析,包括行动的分析,这是对某一个个体进行他行动的分析接下来进行完个体之后,我们会进行这类群体的分析比如说骨干的分析,路径的分析,这类共同邻居的分析,还有这种空间的分析

在大量的分析完以后,我们会结合一定的算法,比如说我们通过这种血缘的算法密切度的分析,然后我们会得到一些冲突的系数,其实这个所谓的冲突系数就是说我们根据情报能得到未来某个事件是否可以演化成冲突的一个可能性甚至我们这个平台可以提供这类络分析包括信息的立方,然后协同的情报,乃至可以对外提供这类API的服务这是一种可视化的情报研判下面我有一个视频大概有4分钟的时间,其实我们就可以详细的呈现一下我们这种可视化情报研判的思路

(视频展现)

其实刚才这个短篇就跟大家真实的演示了一下我们如何进行这种情报研判的这也是比较直观的给大家展现一下然后接下来就是基于我们刚才这种情报研判的方案可以简单看一下我们落地的架构,这个就比较偏技术层面的东西了

首先我们会有一个数据模型,由于做大数据的应用,最重要的是把这数据模型建立完善所以说,这是一个全方位立体式的把这个数据模型建立起来所以说最左侧一侧我们是有一个非常完善的一个数据模型,就是OLP

接下来我们会进行这类复杂关系络的一个研判因为,首先数据完之后,他是形成了一个所谓的数据层,真正数据到知识是有一个过程的,所以我们所谓的关系络是形成一个知识的过程然后第三步我们可以看到,我们是基于这种特征的智能的模型这是最核心的东西

因为我们基于我们的数据分析,然后通过信息然后到知识,到知识之后我们会抽取这些知识,然后通过一定的算法,通过一定模型算法,然后这些算法是经过反复训练的,我们相对准确的算法出来之后,我们是有形成一定的智能模型然后最后可以看到,我们是通过可视化的大屏展现起来

所谓的智能研判这种展现其实展示到无论是我们的使用者,还是跟领导去汇报的时候最终要有一个大屏其实大家可以清晰的看到双11的大屏这一点不但仅是一个UI的展现,这里面因为是有动态实时的去更新我们后台数据的,所以这个大屏的展示,也是我们其中很重要的一点,就是可视化的这类布局

这就是我们里面所用到的产品架构,这就是我们阿里和树梦工厂共同打造的自己的一些解决方案然后可以看到底层是我们云平台,由于阿里有飞天平台,他是大平台,大概是一百台以上的,我们数梦工厂这边是可以提供这类小的平台,大概一百台以下叫DDQ然后还有真正离线分析平台我们做ODPS,还有基于这类离线的分析以后,我们可以在这种实时的多维处理,我们是有ADS研判的分析结点然后这是基础的云平台,因为所有的大数据都要基于这种云平台设计我们有了云平台之后会搜集数据源,搜集数据源以后建立这些主题库比如说人的主题,家的主题,包括物的主题然后去寻找人和案、物和人、人和人之间的关系模型关系模型建立起来以后,我们会基于这些特别固定的算法然后基于基本的算法以后,我们会有这类特殊的算法出来,其实这个是最关键的在这之上,我们就可以进行这类可视化的研判,包括个体的研判,包括群体的研判,包括智能算法,甚至我们可以提供一些对外的服务比如说这种API服务,或是协同情报其实是暴露给外面的

刚才讲到了我们的产品架构、落地架构,其实里面还有很重要的一点,就是我们数据模型的建立因为数据模型里面其实是有大量工作要做的,比如说原数据的建立,比如说关于分组定义、实体定义、实体的属性,这些都是需要在真正的每一个项目当中去大量实践得出来的一些比较经典的模型体系在里面上面讲完是关于我们军事研判的解决方案,接下来我会跟大家分享一下关于这种军事目标事件,和目标态势的分析

首先我们看一下关于军事事件的分析,首先我们看一下他的价值由于很多的军事事件的发展脉络,包括因果关系,由于这种时间跨度较长被打散,很难做出有效的分析,这就是他的一个很现实的痛点为什么我们可以通过大数据解决这个痛点呢

由于大数据的形势,突破了以前传统数据的一种分析理论所以说我们可以一个特定的军事事件分结构化,通过若干元素构成一个结构化的模型,然后通过这种反复训练的最优算法终究我们是想得到一个甚么情况呢,是得到一些比如基于该事件的一些内容推荐然后,基于同事件相关结构化数据的推荐,还有一些反馈式,怎么讲,怎么理解,其实就是可以基于一个事件,我会基于时间轴的一个演化,甚至可以推演出之前发生过类似的事件,他的类似事件的演变情况是如何的所以说基于事件的这种分析演变,包括展现,包括事件的这种起因、转折、高潮、结尾,乃至重要参与者的一些言论,相关国家的一些态度,相关方的一些行动我们通过大数据都会做一个很好的展现

这是民用里面的一个舆情,真正的一个军事事件里面的舆情分析是很关键的就是说大众包括媒体,对这种某个事件的关注度如何,他的倾向度如何,其实这个很关键,所以说我们所谓的这类舆情分析,在一个军事事件分析当中是至关重要的这个也是我们做的一个真实案例就是说你可以看到,一个舆情的重要性,他的倾向性,包括对媒体的转载性和他后期产生的效果,我们可以把这些舆情都进行归纳总结,通过大数据的这类能力展现出来,其实这个是很好的对军事事件的一个梳理,乃至对他结果的一个分类

其实所有的军事事件分析的核心理论是做这种文本的挖掘还有标签的建立,这个是偏理论的东西因为当前一个事件的分析,其实他要借助于很多历史事件的,很多历史事件是存在于哪儿呢存在于很多这种非结构化的数据当中所以说我们要通过这种大量的非结构化数据,寻觅里面的高频词或拓展词

通过这些拓展词我们会发现某两个事件是有类似特点的,这两个事件是有关联性的所以我们会对这两个事件做标签然后这样达到一个什么效果呢,我们就会查询到类似的事件,实际之前是很难做到这点的,关于类似事件的一个分析研判这是基于文本数据的发掘然后这里面还有很重要的一点,就是关于文本的达标和自动摘要我们的档案的文本上来以后,我们进行预处理,然后预处理完以后要进行最关键的两点要打标,就是打标签贴上一个标签,某个事件是什么样的标签,他是一个侦查的事件,还是说一个间谍的事件,这个是要打上标签的所以说打上标签之后未来就基于标签做很多这类预测或是关联的分析然后还有自动摘要,所谓的自动摘要就是说我要从这类事件里面得到这种关键字关键信息

可以看到一个事件模型大致提取的算法逻辑是什么模样,你可以看到,一个典型的事件模型是由甚么构成的,是时间、地点、人物、事件就构成了一个事件模型他是有主语和谓语还有宾语的所以说主语我们提取出来一些主题库,这就是我们构成未来数据模型的思路比如说是名人,还是说一些在军事领域比较突出的人,我们会把他作为一个主体抽取到我们的原数据库里面,还有会构成一些谓语的库比如说是风暴是爆炸,就是类似所以说我们在大量的事件当中提取这类关键字,然后这类关键词会构成我们原数据的仓储里面然后可以看到通过这种文本的内容之后进行这种事件发掘,事件发掘的结果我们可以对这类事件发展的脉络,包括事件的影响力做出一个精准的判断其实这个是最主要的一个因素

刚才讲的是关于目标事件的,下面我们可以看一下关于目标态势的所谓的目标态势,其实目标是有很多种的目标态势就是说比如说一个飞机轨迹,或是说一个航行轨迹,或者是说船舶的轨迹,其实这都叫目标

所以说我们就通过这类目标态势,由于之前是什么特定呢,以前的痛点是这样的由于以前这种航迹的数据量大,维度高,挖掘的点呢特别密集,传统的计算能力是有限的,无法找出这类有效的规律及关联的关系所以我们现在运用了大数据的理论来解决这个事情

军事目标态势分析,我们今天是拿航迹检索作为一个例子,我们通过大数据的这类行为可以找出他的时间规律、关联规律、路线规律其实这个对未来分析航迹是非常有意义的就是说哪两个飞行的轨迹是关联的,由于这种关联性是我们未来很有价值的信息包括线路的分析,我们会常常研判出为什么美国的飞机还有日本的飞机会同一个领域出现,而且他的时间间隔是有一定规律的所以说我们就能判断出这个飞机的这种飞行,他跟之前的某一个事件是有一定关联的

这也是我们真实做的一个案例,也是关于航迹分析的其实这张图更多的是展示UI能力,这是在民用领域我们关于这种航迹的分析,关于危险品运输的比如说我们在设置这种电子围栏,或是实施轨迹的查询,然后超越电子围栏络会不会进行报警,其实跟军用领域是有一曲同工之处的

这个就是我们在做这种军事目标,包括航迹轨迹的一个关键点比如出发点、结束点、关键点,然后对这类特征做这类提取然后建立一个所谓的这种特征索引,把这类离线的特征索引加入到实时的数据模型里面,我们就会进行这类轨迹的分析,其实最关键我们是得到类似轨迹分析的结果

固然我们可以对历史的数据进行分析研判,找出历史记点的一些标签也是很有价值的刚才讲的事件分析和态势分析之后,我们终究的落地架构大家可以看一下,这也是我们在客户现场落地的一个架构基础平台、数据管理包括大数据存储,包括分析组建其实我们最核心的分析组建,比如说刚才讲到事件分析,事件分析用到的分析组建就是关于这类文本数据的发掘,包括规则的管理,包括模型的建立其实这个是在里面做出了比较有挑战性的工作在里面的,其实最关键的是这一块分析组建

终究的业务是关于这类目标事件还有这种目标态势的分析,这就是我们整个落地的架构刚才讲了第二点关于目标事件和目标态势的分析,接下来说第三点,是关于这种军事装备预测性维护和质量管理

关于他的基本理论我刚才也大致讲了一下,说白了就是一句话,让数据觉醒,让数据说话我们所有的保护都要建立在预测性保护的基础上不是说我们定期的去保护,其实这个意义是不大的我们要从众多的海量数据当中发现规律找出规律其实我们现在可以看一下这张图,为何我们会做这类事情呢,就是由于如果军事装备在裂化的过程当中是四个阶段的,比如说初期有一些征兆了,然后征象完以后会有一些装备的缺点,缺点完以后如果再没有及时去修复就会产生装备的故障,设备的故障如果我们还没有去避免,那就真正的发生了生产故障了

如果我们在进行军事为时发现我们的军事装备是有问题的,这个生产故障是很严重的所以说我们把裂化的拐点尽早的发现,这种现象是比较隐蔽的,判断周期也比较长,但是我们一旦判断出来以后,这个是比较容易处理的,如果这个阶段没有发现,如果到了最后所谓的裂化极限控制阶段,到了那个阶段迹象就比较明显了,也比较容易发现但是一旦发现之后就很难控制情况了所以说这类生产故障也就再所难免了这是我们的一个大概整体思路,我们为什么可以做到这种预测性的维护其实我们可以收集大量的这种设备数据上来,比如说压力、温度、液位、震动、泄露的这种情况,我们跟历史数据对比会发现一些异常点,然后找出这些离散的规律

这就是一个离散计算加实时分析的预测性维护的基本思路,也是从历史数据当中去找出一些故障模型,然后我们把他应用到实时数据当中,我们就会实时的发现我们现有的这些设备是不是有发生异常的可能

其实终究的结果是我们想帮助这类人去高效的智能化的进行这类预测性的维护还有一点刚才是讲维护,其实还有一点是所谓的质量管理,其实我们在很多装备的生产过程当中,在生产零件的进程中是有很多环节的举个例子,在比较早的环节能发现一些异常,我们是能控制很多这种故障零件产生的

其实今天就描述一个简单的例子,关于军备发动机的一些铸件预测性质量管理怎样讲呢比如说发动机的相干铸件,其实在构造进程中,各种温度压力等参数,我们可以实时的追踪,我们会把这些参数得到一个结论,这些结论我们能判断出这个铸件是不是合格,是否允许进入下一个环节其实这个是最关键的因素如果在生产过程当中,大量的这类变量参数输入到这类系统当中建立这类数据模型之后,我们会在第一时刻发现这类不合格的产品然后采取相应的措施这样我们就能避免了真正产出以后的装备是不合格的,我们能及早的避免这种情况的发生其实在大量先进的国家,在军队的生产过程当中,是在大量的采取这种预测性的质量管理的就是我们把一些缺陷不要生产出来以后发现,我们是在尽早的发现这个缺陷

这就是我们终究也是我们真实的一个案例落地的架构然后我们所有的数据,数据上来之后各种工业,其实这都是工业数据包括装备的数据,数据上来以后进行存储,存储之后进行这类大量的计算,然后通过一种模型算法分析出这种故障率,然后未来我们说会支持我们这类预测性保护和质量管理的这类思路,我的演讲就到这里,谢谢大家

儿童积食便秘怎么办

宝宝健脾胃食谱

如何做有赞微商城

安阳治疗月经不调医院
长春治疗男科医院哪家好
西安高一生整形美容医院专家是谁
Tags:
友情链接