第2讲 大数据在商业上的应用

第2讲 大数据在商业上的应用

模块目标

学完本模块的内容,读者将能够:

讨论大数据在不同行业中的应用

本讲目标

学完本讲的内容,读者将能够:

描述社交媒体数据在商业环境中的重要性

解释大数据在金融行业欺诈管理中的应用

解释大数据在保险欺诈管理中的应用

讨论大数据在零售业中的应用

 

“从社交、移动到云和游戏,大数据是今天正在发生的一切大趋势的基础。”

——Chris Lynch

前一讲概括地介绍了“大数据”的概念,以及它对人类生活的影响。在某种意义上,数据的好坏取决于它所能提供的洞察力;因此,了解数据在真实世界里的使用是很重要的。

本讲将更深一步地探究大数据对当今业务的影响。因为这是理解在“现实世界”中如何使用和为什么使用这些技术和方法的关键。公司如何利用大数据来发挥优势?如何将大量的可用数据转化为知识?如何由数据产生更好的商业策略,从而获得可伸缩性和盈利能力?理解和实施大数据的关键在于,有效地管理大数据使其能够满足给定解决方案所预期支持的业务需求。

2.1 社交网络数据的重要性

人类是社会性动物,不能孤立地生活。只有生活在一个社会环境中,人才能获得知识,学习沟通和思考,工作和玩耍。如今,社交不再局限于与他人的交往和交流。移动电话和互联网的使用已使得全球范围内的通信变得快捷和容易,也使得社交既经济又方便。

不仅如此,基于这些新技术的通信使我们可以在全球范围内即时共享图片和视频。移动电话、社交网站都是新的流行社交模式。Twitter、Facebook和LinkedIn是一些最流行的社交网站,它们都是由社交媒体所构成的。

本小节分析了由社交媒体产生的大数据及其对各行业的影响。涉及社交网络数据的第一个问题是:什么是社交网络数据?

定  义

 

社交网络数据是人们通过社交媒体进行社交或沟通时产生的数据。

正如你所看到的,在社交网站上,无数人不断地新增和更新自己的评论、点赞、偏好、情绪和感觉,从而产生了海量数据。对这些海量数据进行挖掘和分析,就能找出大的群体中关于好恶、需求和偏好的集中性观点和倾向。

这种集中性数据也可以根据不同群体进行隔离和分析,例如,不同年龄段、不同性别、散布在世界各地的人群。组织可以利用这些信息设计和调整人们想要的产品和服务。这就是社交网络数据的重要性。

来源:Image courtesy of Domo; www.domo.com

社交网络分析(SNA)是指对社交网络所产生的数据进行的分析。由于数据量巨大,因此SNA是大数据的一个应用场景。

我们考虑一个移动网络运营商(MNO)的例子,以理解社交网络数据的价值。

MNO捕获的完整手机通话或短信记录是非常大的数据。这些数据经常用于各种用途。

在这个例子中,我们将看到数据分析水平是如何通过寻找多维关联(而不仅仅是一维关联)来提高的。这就是社交网络分析将简单数据源变成大数据源的方法。

例  子

 

对于一个移动网络运营商来说,仅仅观察所有的电话呼叫并对它们进行单独分析是不够的,还需要进一步的分析。对于该公司来说,观察通话发生在哪些客户之间,然后更深入地拓展视野,是非常有必要的。不仅需要知道该客户打给了谁,而且要依次探究客户社交圈中的人打给了谁,等等,以便利用数据来提供客户想要的服务。

这是一个来电者的社交网络。图1-2-1以图形化的方式展示了这个结构是如何创建的。

图1-2-1 一个来电者的社交网络结构

充分利用分析的多层次处理能力,获取客户的社交网络全貌是有可能的。从不同客户、不同呼叫中进行多层次深入分析的需求产生了巨大的数据量。特别是涉及传统方法时,分析的难度也将有所增加。

社交网站的工作方法是相同的。在分析社交网络的成员时,并不难确定一个成员有多少联系人,发布消息有多频繁,以及其他的标准指标。然而当包含了朋友、朋友的朋友、朋友的朋友的朋友时,若想知道一个成员拥有多广泛的社交,需要的工作量就大多了。  

1 000个用户不难跟踪,然而这些用户之间可能有多达100万个直接连接,若把“朋友的朋友”考虑在内,则又会有10亿个连接。对这些点生成的所有数据进行分析是一个现实的挑战,这就是社交网络分析属于大数据问题的原因。

总体情况

 

社交网络数据使组织能了解特定顾客所能影响的总收益(该顾客所影响的所有支付款项的总和),而不仅仅是该顾客所提供的直接收益(该顾客所做的实际支付)。这是很有吸引力的,可以使组织创造性地投资于特定的顾客。

一个很有影响力的顾客应当获得远远超出他或她的直接价值指标所对应的关注程度。通常情况下,最大化网络总盈利能力的优先级要高于最大化每个客户账户的个体盈利能力。

社交网络数据分析的用途

利用社交网络数据分析,可以在以下几个方面改善决策。

商业智能

你可以分析产生于社交网络的数据,以获得一些高价值的商业见解。社交客户关系管理(CRM)在当今很时髦。这种分析能够改变组织评价其客户价值的角度。现在我们已经可以评估客户的整个社交网络的价值了,而不再只能评估单个客户的价值。

下面的例子广泛适用于人们或群体之间关系已知的其他行业,但我们着重讨论移动电话行业,因为在这个行业中最广泛地应用了社交网络分析。

例  子

 

假设一个移动服务提供商拥有一个相对低价值的订购客户。该客户使用基本的通话套餐,不会产生任何额外的收入。该客户几乎不能产生利润,从传统上讲,服务提供商会根据他或她的个人账户做出对该顾客的评价。从历史上来说,当这样的一个客户对服务不满意并想离开时,公司可能会直接让客户离开,因为该客户是低收入价值的客户。

然而,公司通过社交网络分析有可能认识到,这个客户会影响他或她圈子中的重量级用户和交友广泛的人。这可能会使公司做出一个截然不同的商业决策——更加重视该客户。换句话说,客户的影响力对组织来说是非常有价值的数据。

研究表明,一旦一个电话圈子里的某个成员离开了,其他人很可能会跟随他的人一起离开。随着圈子里越来越多的成员离开,类似传染病的情形就会发生,很快整个圈子都消失了。利用社交网络分析,就有可能理解顾客能够影响的潜在价值,而不仅仅是他们能直接产生的收入。这就从一个完全不同的角度分析了应如何对待客户。

现在,移动服务供应商可以选择投资该客户,以保护该客户和他/她所属的电话圈子网络。应该让客户及其电话圈子对服务感到满意,使他们不选择退出服务,从而该移动服务供应商的收入也就保住了。另外一种方法是制订业务案例来弱化客户的个体价值,如果这样做,将保护顾客的更广泛的圈子。

 

与现实生活的联系

 

现在,执法和反恐机构也需要利用社交网络分析。这有可能识别哪些个人是直接或间接与已知的麻烦团体或人员有联系的。这种类型的分析通常被称为链接分析

因此,从上面提到的例子,我们可以推断出以下的业务见解。

  • 社交网络数据分析可以帮助提供新的语境,在新语境中,决策是数据驱动的而不是意见驱动的;
  • 大数据分析允许组织从“最大限度地提高个人账户盈利能力”转向“最大限度地提高客户圈子盈利能力”;
  • 大数据能帮助组织确定高度关联的客户,并能协助确定在什么时间、什么地点、用什么方法来调整和关注市场营销工作,以建立一个更好的品牌形象;
  • 大数据使得企业用免费试用装来吸引高度关联的客户,并征求他们对产品和服务改进意见的反馈;
  • 大数据分析帮助组织鼓励内部客户变得更加活跃,积极地在公司社交网站上对产品或服务提出评论和意见。

一些机构积极地寻求有影响力的客户,并给予他们特权、先期试用和其他特别吸引人的条件。作为回报,这些客户持续影响他们的圈子,产生积极的品牌形象,带来更多的客户,从而使得组织能够做出明智的商业决策。

总体情况

 

社交网站(如LinkedIn或Facebook)能洞察吸引大多数用户的广告种类。这是通过在客户及其朋友圈、联系人和同事亲述的兴趣、喜好和偏爱的基础上设计广告来完成的。

 

例  子

 

当今,游戏产业都利用社交网络数据进行商业智能的开发。社交网络数据分析或链接分析已成为跟踪游戏相关的遥测数据的有用手段。这些遥测数据包括谁在玩什么游戏、谁和谁一起玩、人或小组间游戏模式的变更等。

遥测有助于在对战游戏基础上帮助玩家确定首选合作伙伴。玩家可以按照自己的游戏风格进行分类,例如:

  • 部分玩家可能更倾向于以尽可能快的速度来通过一个级别,因为完成这一级别才能得到礼遇。

  • 另一部分玩家可能会在完成每一个级别前,尝试收集可获得的奖励项目。

  • 还有一部分玩家可能着眼于探索游戏各个级别中的细节。

在玩游戏时,有相同风格的玩家会组队吗?还是玩家会寻求混搭风格?

游戏制作人可能会发现这种信息很有价值。捕捉这样的信息需要使用遥测技术。这使得生产厂商可以在玩家/用户登录时,为可用组中的玩家提供加入的选项和建议。这样的选项和建议使得玩家保持了对游戏的参与度和兴趣,并反过来催生了能创造收入的参与度。

 

技术材料

 

遥测技术是视频游戏产业中使用的术语,用来描述游戏中的捕获活动。遥测技术与网络日志分析工具有概念上的相似性,在浏览游戏时能够捕捉玩家所采用的动作。

市场营销      

今天的消费者已经变了。他们再也不从头到尾地阅读报纸,也不看快速推进的电视广告和垃圾邮件了,因为他们有很多更契合其数字生活方式的选择。消费者现在可以选择在他们所希望的时间、地点、来源得到营销信息。在当今竞争激烈的形势下,营销者利用数字渠道(电子邮件、移动设备、社交和网站),通过相关的互动交流,提供消费者想要的东西。

反过来,这些渠道生成了洞察目标受众品牌传播偏好所需的社交数据。他们使用的口吻、兴趣爱好、所讨论的其他品牌以及大量的其他数据,能帮助各大品牌商家个性化与消费者的沟通,尽量维持大部分客户。

这种数据的社交网络分析已经在市场营销中以各种有趣的方式广泛应用着。

使用社交媒体监测平台对特定目标受众进行研究,可能会发现相对于其他社交平台而言,消费者更多地会在Facebook上进行对话,记录他们对产品、服务和在线行业的好恶与评论。与电子邮件营销平台上花费的工作量相比较,你可能会发现,把市场营销的精力花在Facebook上比花在电子邮件或其他任何渠道上要好。

与现实生活的联系

 

沃尔玛已经收购了社交媒体分析公司Kosmix,并建立了沃尔玛实验室, 这是一个通过对媒体传播进行分析以了解零售趋势的部门。

沃尔玛实验室的产品管理主管Tracy Chu在一篇博客帖子里说了如下的话:“沃尔玛实验室正在致力于帮助沃尔玛解读社交媒体来预测趋势,并能了解更多客户的想法。我们正在挖掘社交媒体的源头,诸如Twitter、Facebook、博客、搜索活动以及交易数据,寻求有用的见解。”(摘自:http://www.walmartlabs.com/category/social-media-analytics/page/2/)

这一部门的关键职责之一是监测公共领域的交流,然后把沃尔玛的产品投放到相应的位置。沃尔玛实验室一直跟踪社交闲聊,以分析各种类别的趋势,比如节日玩具、愤怒的小鸟的射程范围和移动商务。

最近,该部门还推出了一个名为Shopycat的Facebook应用程序。这款应用分析来自社交网络的数据,并据此做出赠礼的推荐。然后应用程序把这些推荐与沃尔玛和其他网站目录中拥有的产品进行匹配。不仅如此,该款应用还推荐礼品卡和可取礼品卡的最近沃尔玛门店位置。

 

总体情况

 

品牌知名度对营销是非常关键的。确定营销工作在每一项活动中是如何运作的,是一项相当艰巨的任务。Brandlove应用程序的用户在1至10分的范围内,根据他们将产品或服务推荐给朋友的可能性,对产品进行评级。一旦一个品牌的评级超过了300,应用程序就会发出一份报告,该报告包含了客户对产品的看法,以及与竞争对手相比的品牌声誉详细分析。

联盟营销是一种基于奖励的营销结构。在联盟营销中,联盟公司利用自己的市场努力,为另一家公司吸引客户,相应地也从获益的公司得到酬谢。

今天,所有主流品牌几乎都有蓬勃发展的联盟计划。行业分析师估计,联盟营销是一个价值30亿美元的行业。Couponmountain.com和其他一些著名的联盟网站为其促销商家推动了交易,产生的年收入可达数百万美元。

产品设计和开发

随着身边社交媒体的普及和使用,用户生成内容(大数据)的数量巨大。人们每秒共享数以百万计的状态更新、博客帖子、照片和视频。要取得成功,组织机构不仅需要确定与公司、产品和服务相关的信息,而且应该能够实时、连续地剖析、理解和响应相关的信息。

能够以数据表示情绪并具备更高精度的系统,为客户提供了在社交平台上访问信息的方式。在设计产品和服务时,更紧密地测量情绪是很有价值的。对品牌而言,能够理解所接收到的人口统计信息并设计出更好的目标产品和项目是很重要的。

通过倾听消费者所想,了解产品的差距在哪里等,组织机构可以在产品开发和服务的方向上,做出正确的决策。这样,社交网络数据可以帮助组织机构提高产品的开发和服务,确保消费者最终获得想要的产品和服务。

附加知识

 

情绪分析是指一种分析流行社交网络(包括Facebook、Twitter和博客)上人类情绪、态度和看法的计算机编程技术。该技术需要分析技能以及计算技术。

遍布全球的商业公司、研究机构和营销专业人士都使用某种形式的情绪分析,以确定和衡量客户的行为和在线趋势。然而,这种技术仍在不断发展,充满潜力的情感分析尚待市场人员和其他业务的专业人士去探索。目前大多数的组织机构只是简单地依赖点赞、推文和评论的数量,而不是真正地研究在对话中所表达情绪的特质。

 

与现实生活的联系

 

根据MSN理财(MSN Money)的说法,美国航空公司,已被列入全美最令人反感的公司名录。

像其他大多数航空公司一样,美国航空公司有一大块预算分配给社会媒体和在线营销,研究表明这家航空公司在Twitter上有约346 259个粉丝,在Facebook上有273 591个赞。但这不能被视作公司知名度的真正指标。对顾客情绪的深层次研究表明,有关该公司的在线谈话的趋势是负面的,这表明它是最令人反感的航空公司之一。显然,该公司在社交媒体社区的努力还没有产生足够的成效。

为了更好的形象和排名,美国航空公司和类似的公司,若能注重情感和情绪的数据和输入数据源的“正确”类型,而不是仅仅专注于粉丝的数量和点赞的数字,则会做得更好。

 

知识检测点1

 

讨论一些社交网络数据分析对其有用的部门。

2.2 金融欺诈和大数据

在银行和其他金融机构中经常发生欺诈。这些金融机构会发送一些关于如何阻止此类欺诈和不要参与欺诈的教育性电子邮件和通信。金融欺诈在在线零售业中更是经常发生,在此类欺诈案例中,在线零售商(如Amazon、eBay和Groupon)往往因此招致巨额费用和损失。

巧妙地运用大数据,不仅能教育网上零售商,而且也能管理和防止在他们业务中发生的欺诈和损失。以下是影响在线零售商的最常见的金融欺诈。

  • 信用卡欺诈:这是一种广泛而频繁的欺诈行为。网上零售商看不到用户的卡,因此无法验证卡的所有权。在交易中很可能使用的是被盗甚至是伪造的信用卡。
  • 尽管在网上交易过程中进行了多次检查,例如地址验证或卡安全码,但也并不是所有的系统漏洞都被堵上了。
  • 换货或退货政策欺诈:每个在线零售商都有退换货的政策,这为骗子行骗提供了很大的操作空间。骗子使用过商品后,声称不满意将货退回。更有甚者,他们甚至宣称货物未收到,稍后将其在网上出售。正是零售商鼓励顾客订购超出需求的产品,然后退回不需要的商品的做法,使得这种欺诈变得很容易。抑制这种欺诈的现成方法包括为退货商品收取再入库费用、交货时从客户处获得签名以及对已知的欺诈犯罪的顾客保持警惕。
  • 个人信息欺诈:在这种欺诈案件中,顾客的登录信息被窃取,然后该骗子登录,顺利完成整个销售交易,接着将交货地址更改到不同的地点。这对网上零售商有着巨大的影响,因为真正的客户会由于未下单购买而打电话来要求退款。当他或她能证明这是一笔欺诈性交易时,零售商反过来必须要退款。如果欺诈者以这种方式取得新的信用卡,那么欺诈的影响范围还会进一步变化。

防止这些欺诈的唯一办法是了解客户的订货模式,并对超规订单和交易保持监视,同时对变更发运地址、大额订单、紧急订货和可疑账单地址等危险信号保持警觉。但这只是一些手段,任何方法都不能完全消除欺诈。

利用大数据分析防止欺诈

现在我们对网上零售业的一些金融欺诈有了一些认识,下面将介绍大数据是如何帮助防止金融欺诈的。

分析数据以了解各种欺诈模式是众多预防方法之一,但它只在样本尺寸小的时候才起作用。样本尺寸难以增大,因为这需要大量的时间和金钱的投资。然而,利用大数据技术,这个难题现在可以克服了。对全套的可用数据进行评估,可以获得有意义的见解。

大数据分析可以用下列方式帮助发现欺诈行为:

  • 可以在所有的数据上运行检查,以确定任何欺诈性事项;
  • 可以识别任何新的欺诈方式,然后将它们添加进欺诈预防检测集中;
  • 不会以不必要的政策和治理结构妨碍客户。

通过检查数据流,大数据可以判断一个产品是否实际交付了,这些数据流表明了顾客的位置及产品交付的时间。也可以访问来自于eBay和其他电子商务网站的列表,确定该产品是否在其他地方有售。

实时欺诈检测

为了实时检测欺诈,大数据将实时对比来自不同数据源的数据,以验证网上交易。例如,如果有一个在线交易,大数据将立即启用传入IP地址与来自客户智能电话应用程序的地址数据之间的比较。若两者匹配,则可以证明该交易是真实的。

大数据也可以梳理历史数据并指出欺诈模式,这些模式稍后用于创建检查以防止实时欺诈。

通过了解物品交付给客户的准确时间,零售商可以有效地使用实时分析。高价值物品拥有可传送自身位置的传感器,当这样的物品交付给客户时,零售商可以接收并处理来自这些传感器的流化数据,这样就防止了欺诈行为。

与现实生活的联系

 

Visa使用一个强大的欺诈管理系统,该公司报告已经确定了高达20亿美元的潜在欺诈机会。该欺诈管理系统基于被称之为大规模并行处理(MPP)数据库的大数据技术。为了检测和防止欺诈,该系统从500个不同方面对每一笔交易进行分析并返回有效的结果。

 

预备知识 了解MPP方法及其在大数据中的使用。

 

可视化欺诈分析

大数据可以方便地绘制可对比的地图和图表,然后用它们做出决策,建立高效的系统,并精准定位以阻止欺诈。

例如,图形化形式的分析可帮助确定拥有较高欺诈率的地区、客户和产品。

大数据甚至可以显示产品和地区间的比较等情况,就有更高欺诈可能性存在的位置向零售商提出警告。零售商可以相应地缓解风险。

可视化还可以降低逐行或逐个物品地复查数据的工作量。

总体情况

 

图像分析是利用图像数字处理技术,对图像数据中所发现信息的分析。条形码和二维码的使用是简单的例子,其他有趣的解决方案可能很复杂,如面部识别和位置运动分析。今天,图像和图像序列(视频)约占企业和公众非结构化大数据的80%。随着非结构化数据的增长,分析系统必须消化和解释可解释的结构化数据(如文本和数字)以及图像和视频。

 

知识检测点2

 

信用卡的验证方法是什么?

2.3 保险业的欺诈检测

我们假设一家保险公司想要提高处理新理赔案件时的实时决策能力,从而减少理赔周期。另一方面,该公司的诉讼和欺诈性索赔费用都在稳定增长。该公司有政策和程序,以帮助保险从业者评估欺诈性索赔;然而,保险从业者没有在合适的时间拥有所需数据以做出必要的决定,这进一步拖延了处理的时间。  

在此背景下,公司实施了一个大数据分析平台,它使用来自于社交媒体的数据,以提供实时视图。这使得呼叫中心代理人可以在客户第一次打进电话要求理赔时,就判断出该行为模式以及与其他索赔人之间的关系,并记录下来供保险从业者检查。

在某些情况下,社交媒体也可以为识别欺诈行为提供强有力的启发;例如,客户可能会表示他或她的汽车在洪水中被摧毁,但是来自于社交媒体反馈的文件显示,在洪水发生的那天,汽车实际上在另外一个城市。这些明显的差异反映了欺诈。

保险欺诈行为对组织机构的成本有着巨大的影响,这就是组织机构喜欢使用大数据分析和其他先进技术来处理这个问题的原因。这对客户也有积极的影响,因为损失会以更高保费的形式转嫁给客户。

大数据可以从大量的结构化和非结构化数据中,检测欺诈行为模式,并有助于实时监测欺诈,从而减少处理索赔的天数,保证更好的回报。实施大数据分析平台之后,组织机构现在可以在几分钟内而不是几天或数月,分析复杂的信息和事故情节。

欺诈检测方法

传统上,保险公司一直在使用统计模型以识别欺诈性索赔。这种模型有很多的局限性,仅仅可以在一定程度上防止欺诈。本节考察了这些局限性,以及大数据是如何克服它们的。

  • 保险公司通常使用小样本数据进行分析,从而导致一起或多起欺诈未被发现。这种方法依赖于先前记录的欺诈案件;因此每一次基于新技术的欺诈行为发生时,保险公司不得不承担后果和第一次的损失。
  • 识别欺诈的传统方法是独立工作的。它不能以综合的方式处理来源于不同渠道和不同功能的各种信息源。相反,大数据分析可以处理这种挑战。

公共数据可以提供避免欺诈的实用预测分析方法。银行对账单、法律判决、犯罪记录、医疗账单是可用于检测可疑人行为的一些公共数据的例子。

为了从这样的公共数据中得到最有效的预测值,企业组织将其内部数据与第三方数据做了整合。这种整合有助于调查和限制欺诈活动。

下一小节更详细地说明了各种创新的欺诈检测方法。

社交网络分析

早些时候,我们了解了社交网络分析(SNA)以及大数据如何用于发现业务中的盲点。SNA同时也是创新、有效的欺诈识别和检测手段之一。下面举一个例子。

例  子

 

假设在一次事故中,所有涉及的人都已经交换了他们的地址和电话号码,并将其提供给了保险人。在他们当中,如果其中一个事故受害者提供的地址显示了好几次索赔,或者车辆也被认定为已经牵涉各种其他索赔,这时将自动显示欺诈性索赔的可能性。有了获取此类信息的能力,就能更快地捕捉此类欺诈性索赔。社交网络分析有助于揭示此类信息,因为它可以审查巨大的数据集,并通过链接揭示关系,例如,打给保险公司理赔部门的电话数量和车辆索赔之间的联系。

SNA工具使用混合的分析方法。这种混合方法包括统计方法、模式分析和链接分析,发现大量的数据以显示关系。当链接分析用于欺诈检测时,人们可以寻找数据聚类以及这些数据聚类与其他聚类的联系。如前所述,判决、止赎权、犯罪记录、地址变更频率和破产等公共记录是可以集成到一个模型中的不同数据源。

使用这种将各种数据源集成到一个模型中的方法,保险人可以对索赔进行评级。如果评级很高,则表明该索赔是欺诈性的。这可能是因为记录不良的地址,或是可疑的供应商,或该车辆涉及多家运输公司的多起交通事故。

然而,在实施SNA之前,组织机构应该仔细考虑以下问题:

(1)数据到达的速度有多快?

(2)到达的数据中有多少是不需要的?

(3)需要多么深入的分析,才能确定最准确的结果?

(4)SNA仪表盘需要包括什么类型的用户界面组件?

技术材料

 

在技术领域中,提取、转换和加载(ETL)是用于数据库中的一个过程。提取意味着从外部源中引入数据。转换意味着改变数据以适应经营需求。加载则意味着将数据推送到所需的领域。

以下是循序渐进的欺诈检测SNA方法。

(1)来自不同来源的结构化和非结构化的数据流入ETL(提取、转换和加载)工具中。然后这些数据被转换并加载到数据仓库中。

(2)分析小组使用来自于不同来源的信息,对欺诈风险进行打分,并对欺诈可能性评级。所使用的信息可以来自不同的来源,比如之前的信用水平、与另一个人早期情况的任何类型的联系、被拒绝的索赔数量、可疑的数据组合或者可疑的个人信息变更。

(3)可以在欺诈检测和预测建模机制中纳入多种大数据技术,包括文本挖掘、情感分析、内容分类和社交网络分析。

(4)根据特定网络的得分生成警报。

(5)调查人员可以利用这些信息,并开始探究更多的欺诈性索赔。

(6)最终,已识别的欺诈问题被添加到案例系统中。

与现实生活的联系

 

在通用电气公司的消费者及工业家庭服务部,负责保修期内消费者产品维修的技术人员通常也处理索赔。对旧流程最大的挑战是,技术人员无法从可得到的数据中找出模式。没有人能够发现不寻常的行为。

不久前,通用电气遇到了一个完美的场景,可以对来自于商业分析软件开发商SAS的SNA(Statisitical Analysis System)解决方案进行测试。该公司得到消息,某些服务提供商存在欺诈现象;这种情形成为一个理想的试点场景。用SAS可以对获得的数据进行分析,并识别数据中的模式,从而找出是谁实施了欺诈行为。

SAS欺诈检测系统的功能:每次索赔的度量标准和指标都有助于识别可疑的或者欺诈性的索赔。通用电气声称,将把这些数据提供给欺诈检测软件。对于每次索赔,都自动进行多达26种索赔级别的分析。在各种度量指标的基础上,计算一些特征指标;这些索赔发送到审计部门,当审计结果表明索赔中的多个元素低于正常曲线时,该索赔就被标记为可疑索赔,供通用电气的审计人员再调查。

成果:通用电气的消费者及工业家庭服务部估计,在检测欺诈性索赔当中使用SAS后,在第一年就节省了约510万美元。

 

技术材料

 

数据仓库:从技术上讲,数据仓库是一个用于报表和数据分析的数据库。这是一个存储来自各种来源的所有数据的中心位置。

预测分析

预测分析的理念是“欺诈检测越早进行,业务遭受损失就越小”。

例  子

 

一位顾客以汽车着火为由提出索赔。然而,该顾客的文件陈述表明,大多数有价值的物品在火灾前已从车上取出。这可能清楚地表明了汽车是故意被烧毁的。

预测分析包括使用文本分析和情绪分析来观察大数据以进行欺诈检测。

多页的索赔报告并没有给文本分析留下多少轻松进行欺诈检测的空间。大数据分析有助于筛选非结构化数据(这在以前是不可能的),也有助于主动检测欺诈。

预测分析技术正被越来越多地用于发现潜在的欺诈性索赔,加快合法索赔的支付。在过去,预测分析被用来分析存储在数据库中的统计信息;然而,它现在正在扩展到大数据领域。

下面是预测分析技术的工作方式。

与现实生活的联系

 

Infinity 是一家财产和意外险公司,提出了对客户的保险索赔进行分级以寻找欺诈迹象的思路。Infinity使用预测分析技术来发现潜在的欺诈性索赔,同时也加快合法索赔的支付。使用预测分析之后,索赔欺诈检测系统发现欺诈性索赔的成功率从50%提高到了88%,而发现需要调查的可疑索赔所需的时间则减少了95%。

社交客户关系管理(CRM)

社交CRM使保险行业能够有效地进行欺诈检测。社交CRM既不是一个平台也不是一种技术,而是一个过程。由于它的出现,保险公司将其CRM系统链接到社交媒体网站(如Facebook和Twitter)就显得很关键了。

当社交媒体被整合到组织机构中时,可以让客户得到更大的透明度。互利的透明度表明,该公司信任其客户,反之亦然。这种以客户为中心的生态系统日益加强了对客户群体的控制。如果企业能够利用其客户群的集体智慧,这种生态系统就能给企业带来益处。

以下几点简要说明了社交CRM过程是如何工作的。

  • 使用组织机构现有的CRM,收集来自于各种社交媒体平台的数据。
  • 使用“倾听”工具,从社交交流中提取数据,并将该数据作为组织机构CRM现存数据的参考数据。
  • 参考数据和CRM存储的信息一起流入案例管理系统。
  • 案例管理系统在本组织业务规则的基础上,分析这些信息并发送响应。
  • 然后,调查人员确认索赔管理系统对欺诈性索赔的响应。这是因为社交分析的输出只是一个指标,不应该被视为拒绝索赔的最终理由。

与现实生活的联系

 

土耳其保险公司AXA OYAK已经开始使用SAS社交CRM解决方案管理风险和防止欺诈。它整合了所有客户相关信息,围绕社交CRM建立了一个软件。使用社交CRM,AXA能够清理它的客户组合数据。这有助于AXA OYAK检测和纠正客户数据中的不一致性:即使同一客户有两条差别很小的记录,也能将其找出来。

利用更“干净”的数据,AXA OYAK能够运行更准确的客户分析,更有效地调查欺诈性索赔。使用SAS,该保险公司能够快速有效地检测客户行为和欺诈性索赔之间的关系。利用SAS数据仓库,AXA可以根据在数据集中分析特定关系时所产生的标志,检查他们的客户数据。

 

知识检测点3

 

1.描述文本分析技术是如何工作的。

2.列出SNA检测欺诈时遵循的步骤。

2.4 在零售业中应用大数据

对于零售业,大数据也有巨大的潜力。鉴于巨大的交易数量及其相关性,零售业是一个很有前途的大数据运营领域。

如果只有一个零售店且客户群很小,下面的问题似乎很容易回答:

  • 我们今天卖出了多少打底衫?
  • 这一年中的什么时候,我们卖出的紧身裤最多?
  • 顾客X还买了什么?我们可以寄什么样的优惠券给这位顾客?

技术材料

 

全渠道维持流程类似于多渠道零售的早期阶段。这个流程通过所有可用的渠道,包括移动电话、互联网、实体店、电视、广播、邮件等,专注于消费者体验。为了迎合新客户的需求,零售商实施了专业化的软件应用。

由于每天都要进行数以百万计的交易,这些交易散布在多个互不相连的遗留系统和IT团队中,不可能看到数据的全貌。

找到公司销售部门、实体店以及在线商店销售之间的关联,可以深入洞察客户行为和公司整体健康状况,但这些信息往往难以汇聚,以致问题得不到解决。零售商店通常依靠每日更新的传统销售点系统运营,这些系统往往无法相互通信,更不用说与电子商务网站通信了。

对于市场分析师而言,尝试和了解公司产品或活动的优势和健康度,协调这些系统和它们的不同数据是一项不可能完成的任务。虽然全渠道零售解决方案确实存在,但它们要求商店管理者和网站开发人员学习全新的系统,公司范围的培训和系统部署导致了巨大的时间和金钱成本。让团队熟悉不同的技术及其访问数据的方式,以及后续的再培训,都是艰巨的任务。

此外,由于系统的伸缩性问题,实时访问数据并不是总能做到。

假设你想知道,某个特定物品是否在附近的另一家商店有库存。该信息最终并不容易获得,需要采用电话呼叫或其他通信方式,这进一步增加了交易时间,而且有可能阻碍该商品在生产之后立即出售。

即使有可能访问这些数据,它们也可能无法提供特别丰富或者实用的信息。原始形式的交易数据仅能帮助公司了解其销售量,但不一定能了解销售和天气、购物者人口统计数字之间的联系,以及顾客和其他购买行为之间的关系。

此外,仍然存在这样一个事实:大数据中的绝大多数是没有必要的,也是没有用的。在大数据流中,某些信息有长远的战略价值,有些仅对立刻使用和战术使用有效,而另一些数据则毫无用处。驾驭大数据的关键是确定数据属于哪一个类别。

与现实生活的联系

 

沃尔玛使用大约10个不同的网站,收集购物和交易数据并提供给分析数据处理系统。其他公司(如Sears和Kmart)利用大数据技术,根据特殊顾客的喜好,专注于个性化营销策略。Amazon还使用大数据技术为建立联盟网络提供支持,提供风险管理并更新他们的网站。

随着沃尔玛和Amazon等零售业越来越大规模和广泛地使用技术,对运输和生产的跟踪也有了显著的增长。在这些场景中,大数据被证明有巨大的益处。来自于标签等创新解决方案的数据被用于分析。这些标签可以产生大量的数据,可以进行分析以提供各种解决方案,它们中的一些将在下一小节中讨论。

零售业中RFID(射频识别)数据的使用

RFID标签指的是包含唯一代码(如UPC码)以识别产品的小标签。此标签作为一个邻接图像,放置在装运托盘或产品包装中。

除了条码之外,RFID还可以:

  • 将某个托盘分配给一组精确、专用的计算机系统;
  • 有助于发现商店中的缺货现象;
  • 指定商店中每种商品的剩余数量,在需要重新进货时触发警报;
  • 区分缺货产品和货架上的可售产品,可以更好地跟踪产品。例如,如果一个产品在货架上没有了,这并不意味着该产品彻底没有了。使用RFID阅读器和移动计算机,可以从仓库中识别存货并立即替换。

技术材料

 

UPC是Universal Product Code(通用产品代码)的缩写,是某些国家(包括英国、美国、加拿大、澳大利亚和新西兰)为在购物商店中交易所售商品而采用的条码符号。

除此之外,使用RFID还能节约时间,减少劳动量,在整个生产交付生命周期中提高产品可见度,并节约成本。使用RFID的一些常见的好处如下所示。

资产管理

组织机构可以标记他们的所有资本资产,如托盘、车辆和工具,以便随时随地跟踪它们。固定在特定地点的阅读器可以用最大限度的准确度,观察并记录所有标记资产的活动。当工人需要时,所收集的数据也可以用来跟踪工具和设备,从而减少了寻找它们的工作。

该机制还可以作为安全检查和警报的监督者,当有人在授权区域以外移动资产时发出声音报警。

当包装箱装货后准备发运时,也包含了带有RFID的跟踪托盘。这些RFID包含了储存在包装箱内物品的记录。这有助于生产管理者对库存水平和包装箱的实时位置有一个完整的视图。此信息可在无需浪费任何时间的情况下,用于定位物品并完成紧急的订单。

当拥有RFID标签的运输包装箱、托盘、气罐和可重复使用的塑料包装箱装运时,很容易在码头入口处识别它们。当数据库与发运信息相匹配后,产品的生产商为每个发运包装箱建立详细日志,并为跟踪他们的货物制定一套程序。这些信息可用于减少文件周转所需要的时间,对解决货物丢失和损坏的纠纷也很有价值。

生产跟踪

最近的一项研究表明,制造商使用RFID可将其制造成本降低2~8个百分点,因为RFID在跟踪材料库存和工作流程方面提供了高度的可见性。在不能使用条形码的场合下,RFID的使用能够准确而实时地反映情况。

库存控制

RFID的主要好处之一是库存跟踪,特别是在以前没有做过跟踪的地方。RFID标签可透过包装读取,而不需直接目视,这意味着可以在不打乱货物摆放顺序的情况下,读取整个混装货物托盘。RFID标签对物理损伤(如灰尘、湿气、热量和污染物)具有足够的抵抗力。而条形码不具备这样的抵抗力,很容易发生损坏或错误。RFID的优点有助于改善库存和供应链的运作。

RFID跟踪系统的使用可以优化库存水平,从而降低库存和劳动力的整体成本。RFID允许生产商跟踪原材料存货、进行中的工作或者已完工的货物。安装在货架上的阅读器可以自动更新库存,在需要再进货时发出报警。在移动计算机和RFID阅读器的帮助下,就有可能简单地定位物品了。

RFID还可以创建安全存储区,在安全存储区里,可以对阅读器进行编程,当物品被移走或放置于其他地方时,就能发出警报。一项研究表明,消费品制造商通过使用RFID,可以减少约10%的存货缩水或损失的可能性。

用同样的方式,移动计算机和阅读器可以帮助现场管理人员快速和精确地在商店或车辆里进行盘点。自动计数器节约了时间,节省下来的时间可以用于为更多的客户服务。

发运和收货

用于管理库存的RFID标签也可以用于自动化的发货跟踪应用程序。制造商可以使用这些读数来产生一个发运清单。该清单可以用于许多事情,包括:

  • 打印出货文件;
  • 在装运系统中,自动记录装运信息;
  • 打印发运标签的二维码。

考虑系列货运包装箱代码(SSCC)数据结构,这是发运标签广泛使用的条形码。SSCC很容易转换成RFID标签,以提供发运的自动化处理。

RFID标签中的数据可以和发运信息一起输入,收货方很容易读取该数据,这简化了接收流程并消除了处理延迟。

物流公司从不同的地点,把各种包裹收取到了集散中心。此后,它从常规包裹中,分拣出紧急的包裹以供早晨投递。这就是RFID能起作用的地方,RFID可以帮助定位这些包裹或货盘,并将其装运以便更快投递。

合规管理

如果和材料一起运输的RFID标签已经更新了所有处理数据,就可以生成全套的监管追踪痕迹,和监管要求的其他材料一起提交给监管机构(如食品药品监督管理局FDA,交通运输部DOT和职业安全与健康管理局OSHA)。这对从事危险品、食品、药品和其他监管物料工作的公司很有用处。

服务和保修授权

服务保修要求的保修卡或文件将不再是必需品,因为RFID标签可以保存所有这些信息。一旦修理或服务已完成,该信息可以输入RFID标签,以提供维护历史。RFID一直都在产品上,如果未来需要维修,技术员就可以访问这些信息,而不需要访问外部数据库,这有助于减少通话和查阅文档的时间耗费。

附加知识  更多关于RFID标签的内容

 

各种类型的RFID标签可用于不同环境,如纸板箱,木制、玻璃或金属包装箱。标签也有不同的大小和不同的功能,包括读写能力、内存和电源需求。

它们有广泛的耐久性。有些品种如纸张一样薄,通常用于一次性使用,被称为“智能标签”。RFID标签也可以定制,可以耐高温、潮湿、酸和其他极端条件。

一些RFID标签可重复使用,并可以提供比条形码标签更有优势的总体拥有成本(TCO)。

现在你已经知道了大数据是如何变革和转变业务以及决策的。大数据更多的是与业务转型而不是与IT转型相关。

下表概括了企业使用大数据进行转型的具体做法。

序  号

传统的策略制定

大数据的策略制定

1

回顾过去

前瞻性的建议

2

使用样本数据

使用来自多个源的所有数据

3

批处理、不完整、不连贯

实时、紧密结合

4

业务变现

业务优化

 

知识检测点4

 

描述RFID标签在零售业中的应用。

练习

基于图的问题

1.上面的数字代表了哪种分析?

2.该图中展现了多少层的数据?

多项选择题

选择正确的答案。在下面给出的“标注你的答案”里将正确答案涂黑。

1.客户维持经理使用哪种社交网络数据分析的应用?

  a.商业智能

  b.市场营销

  c.产品设计和开发

  d.保险欺诈

2.识别通常会影响在线零售商的欺诈类型。

  a.信用卡欺诈

  b.正向欺诈

  c.公司欺诈

  d.保险欺诈

3.如何用大数据来打击欺诈和帮助防止欺诈?

  a.分析所有的数据

  b.实时检测欺诈

  c.使用预测分析

  d.以上都是

4.选择SNA用以通过链接显示关系的分析方法。

  a.组织结构业务规则

  b.模式框架

  c.链接分析

  d.统计方法

5.指出能够用于欺诈识别和预测建模过程的技术。

  a.文本挖掘

  b.社交媒体数据分析

  c.回归分析

  d.以上都是

6.基于历史和实时数据的预测模型可以帮助哪些企业在早期发现可疑的欺诈案件?

  a.市场营销公司

  b.医疗索赔公司

  c.建筑公司

  d.基于CRM的制造企业

7.确定保险公司在实施SNA之前应当考虑的关键方面。

  b.到达的数据有多干净

  c.应对数据进行哪种分析

  d.SNA的输出是什么

8.在下列哪种情况下,通过产品交付,RFID可以减少人工劳动成本和时间并改善资产的可见性?  

  a.资产管理

  b.身份欺诈检测

  c.SNA

  d.公司欺诈检测

9.下列哪一项可以使用RFID标签进行跟踪?

  a.原材料

  b.废料

  c.成品库存

  d.保险欺诈

10.下面哪一个是RFID阅读器的功能?

  a.文本挖掘

  b.信用证管理

  c.保险欺诈检测

  d.存货管理

标注你的答案(把正确答案涂黑)

测试你的能力

1.研究和讨论社交媒体分析在新政府选举投票后民意调查中的应用。

2.研究和讨论大数据分析在下列项目中的适用性。

  a.制造业

  b.娱乐业

  c.体育产业

  d.改善和优化城市

  e.执法

  f.天气预报

备忘单

  • 社交网络数据有资格作为一个大数据源,并提供比传统数据更全面的关于分析方法的洞察力。
  • 社交网络数据应用包括:
    • 商业智能;
    • 社交和联盟营销;
    • 为市场营销赋予社交智能。
  • 影响在线零售商的主要欺诈类型为:
    • 信用卡欺诈;
    • 退货欺诈;
    • 身份欺诈。
  • 为了阻止金融欺诈,大数据可以:
    • 分析全部数据;
    • 实时监测欺诈;
    • 使用可视化分析。
  • 保险欺诈检测的目标是在第一次受损通知时,就能识别欺诈性的索赔。
  • 组合来自不同来源的数据,能够建立有效的欺诈检测能力。
  • 欺诈可以通过如下手段识别:
    • 结合了分析方法的混合方法的社交网络分析工具;
    • 预测分析,包括使用文本分析和情感分析为了欺诈检测审视大数据;
    • 社交客户关系管理既不是平台也不是技术,而是一个过程。
  • 在零售业中,射频识别(RFID)数据可用于:
    • 资产管理;
    • 生产跟踪;
    • 库存控制;
    • 发运和收货;
    • 合规管理。
  • 服务和保修授权。

目录

相关技术

推荐用户