• 亚马逊AWS:云上构筑大数据框架

    时间:2017-05-27    来源:《IT经理世界》    作者:赵艳秋 我要评论() 字号:T | T

  • 2.jpg 

    “大数据不是一个新话题, 一些概念20多年前就有,比如数据挖掘、BI(商业智能)、BA(商业分析)等。之所以最近更火了,是因为云。”现任AWS首席云计算企业顾问张侠博士说,他十几年前就撰写过大数据的文章。“云既帮助产生、收集、存储更多数据,又帮助提供多样的数据分析处理方法手段。如今人工智能的兴起,能把数据分析做得更好。”

    云确实为大数据应用带来变革。

    一家在亚马逊AWS上提供大数据分析服务的企业,此前去投标一个客户的大数据分析项目,同时参与的有传统大数据分析公司。招标方在传统模式和云服务中各选了一家供应商,并行开展,来对比一下效果。一个半月后,这家云服务企业已经按照客户要求,把建模、分析和交付全部做完了。而那家非云厂商,为之购买的服务器还没有到货。

    “这就是云服务带来的变革。”张侠借此来解释。

    不仅如此,云服务还在产品和服务选型中带来另一个差异——让企业选型过程变得简单便捷。

    “很多厂商都会对你说,我有这个功能,我有那个功能。我建议你招呼一声,你想做什么事情,会有很多供应商来给你提供方案。使用云上的工具和服务,你马上就能开始实验,也能很快了解这些工具的真实深度和广度。”虽然用户也要在学习和了解上花费一定时间,但相对传统模式要简化透明得多。

     
    频谱的一端
     
            “企业应用大数据云服务的状况就像一个‘频谱’。”张侠说。从频谱的这一端,是完全没有使用、将数据资源白白浪费的企业;而频谱的另一端,是对大数据利用得非常好,甚至商业模式就建立在大数据基础之上的企业。
     
            而一些比较极致的客户,甚至自己在云计算平台上创新大数据的工具和服务。Netflix是在亚马逊云上提供互联网视频流的服务商。“很多亚马逊云上的大数据工具最初是Netflix发展提供的,现在被大家广泛采用”。
     
            Netflix很乐于分享。在国际大数据会议上,人们甚至会经常见到Netflix工程师的身影。“他们非常自信,为什么呢?因为当你学会这些时,他们已经开始做更先进更高级的事情了。”
     
            先进客户在云上的大数据创新脚步很快。

    全新的大数据架构
     
          亚马逊云为大数据提供全套产品和服务,覆盖从数据收集、存储、处理到使用/可视化的全流程。
     
          去年,在其“Re:Invent”年度大会上,亚马逊阐述了基于云全新的大数据架构,分为十大步骤,推出相关的部分服务。“我们正在研究怎样提供更全面的工具。对于大数据,我们正在持续努力。”张侠说。
     
          张侠特别强调,大数据整体有两个新特点:一是对实时数据的分析,一是利用现在和历史数据进行未来的预测,这都是更高的要求。
     
          针对这样的新趋势,亚马逊也正在提供一些创新服务。其一是Athena,它可以直接在S3上做SQL查询。“S3本身不是一个结构化数据库,它存储的可能是视频、mp3、 Word文档和Excel表格。现在,有了Athena,可以马上使用SQL进行查询,在以前没想过的维度上实时查询”。
     
           另一个是数据湖(Data Lake)服务。在传统模式下,数据收集上来要逐渐放到一个企业级数据仓库里,这要对数据的结构、特征和颗粒度都很清楚。但现在很多实时数据不断涌来,存储在S3上,通过Athena直接查询,再放到Redshift数据仓库中。“这个整体就是数据湖概念。它的目的是对实时数据能先进行一个快速分析,帮助快速做出一些决策”。
     
          上个月在旧金山AWS宣布推出Redshift Spectrum,这是AWS的Redshift托管数据仓库服务的延伸版,能够直接查询驻留AWS S3存储服务里面的数据。亚马逊首席技术官沃纳·沃格尔斯(Werner Vogels)在发布时举了一个例子:使用Apache Hive开源数据查询软件对艾字节(EB)数据执行查询。这项任务需要五年的时间和1000个节点――也就是说,成本相当高昂。沃格尔斯表示,但是借助Redshift Spectrum,只要花155秒和区区几百美元。
     
           还有两个创新服务,一个是Batch,是对数据进行批处理ETL的服务。另一个是Glue,这个词是英文“胶水”,意思是把数据流程、数据转化更好地串在一起。与此同时,亚马逊云也针对人工智能(AI)推出一些工具和服务。
     
    AWS提供的AI服务
     
           在亚马逊,目前有上千员工致力于人工智能,涉及发现与搜索、物流配送、发现现有产品、定义新产品类型以及将机器学习引入更多领域。
     
            MXNet是亚马逊选择的深度学习框架,已纳入Apache孵化项目,也与AWS集成整合,进行了优化。
     
            亚马逊云推出了3种人工智能服务——Polly、Rekognition和Lex。Polly做文本语音转换——看见一段文字就能念出来。Rekognition做图像识别和分析。Lex做自然语言理解和自动语音识别。“我们把这3种服务软件开发包,任何人都能直接调用,目前很火。”张侠说。
     
            CNBC财经新闻台应用了Lex,如果用户现在说“请告诉我今天的market update”,CNBC马上会告诉你今天道琼斯、纳斯达克的表现。福特汽车集成了Lex,甚至高通芯片也集成了Lex,可以想象,未来各种设备应用语音服务的多样化场景。
     
            利用亚马逊云上的AI技术,Howard Hughes公司预测高档房地产交易,Fraud.net检测在线付款欺诈,Pinterest开展图像识别搜索,FINRA进行异常检测、序列匹配、回归分析和网络分析,辉瑞制药开展药物发现。
     
            张侠认为要用好大数据和人工智能,业界需要更多的数据科学家——“数据科学家要数理方法、计算编程和行业知识三者兼而有之”。
     
           他强调了行业和社会知识。“大数据真正的意义,是从数据中挖掘出价值,进而提供洞察力,为企业创造财富”。为此,当人们使用大数据来时,“他不仅要懂得数理和编程,还要了解其他相关的知识。行业和社会知识让你知道该从什么角度去看数据,进而把数据价值体现出来。如果想成为一个好的数据科学家,应该在这三个维度上去琢磨,这会让你更能成功”。 
  • 加入收藏
  • [ 作者:赵艳秋 ]
  • 分享到: 更多
    标签:
  • 相关推荐
    无相关信息
  • 最新消息
    · 亚马逊AWS:云上构筑大数据框架2017-05-27
    · 云上的数据生态2017-05-27
    · SaaS CRM破旧出新,销售易用四朵云助力企业连接客户2017-05-25
    · 光大银行:如何实现应用的一键式投产发布2017-05-19
    · 赋能生态圈,腾讯云智取企业市场2017-05-16
      已有条评论,查看更多评伦发表评论
  • 用户名:  密码:              匿名发表  | 注册会员
  • 网友评论仅供网友表达个人看法,并不表明本站同意其观点或证实其描述