加入收藏 | 设为首页 | 会员中心 | 我要投稿 核心网 (https://www.hxwgxz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 教程 > 正文

DL+视觉分析+流媒体分析=大数据成功案例

发布时间:2018-03-28 01:21:51 所属栏目:教程 来源:李佳惠
导读:【资讯】近些年,深度学习获得越来越多的吸引力和关注。它主要集中在机器学习的一部分:人工神经网络。本文具体解释了为什么深度学习是分析中的游戏改变者、何时使用它,以及Visual Analytics如何让业务分析师利用由(公民)数据科学家构建的分析模型。 什么
副标题[/!--empirenews.page--]

  【资讯】近些年,深度学习获得越来越多的吸引力和关注。它主要集中在机器学习的一部分:人工神经网络。本文具体解释了为什么深度学习是分析中的游戏改变者、何时使用它,以及Visual Analytics如何让业务分析师利用由(公民)数据科学家构建的分析模型。

  什么是深度学习和人工神经网络?

  深度学习是人工神经网络的现代流行词,它是机器学习中构建分析模型的许多概念和算法之一。一个神经网络的工作原理类似于我们从人脑中所了解到的:将非线性交互作为输入并将其传输到输出。在这儿,神经网络是利用连续学习和增加输入和输出之间计算节点的知识。

  神经网络在大多数情况下是监督算法,它使用历史数据集来学习相关性以预测未来事件的输出,例如,用于交叉销售或欺诈检测。无监督的神经网络可以用来发现新的模式和异常。在某些情况下,结合监督和非监督算法是有意义的。

  神经网络被用于研究数十年,包括各种复杂的概念,如递归神经网络(RNN)、卷积神经网络(CNN)和自动编码器。然而,今天的强大且具有弹性的计算基础架构与其他技术(如具有数千个内核的图形处理单元(GPU))相结合,可以用更深层次的层数进行更强大的计算。因此,术语称为“深度学习”。

  以下来自TensorFlow Playground的图片展示了一个易于使用的环境,其中包含各种测试数据集、配置选项和可视化,以学习和理解深度学习和神经网络:

  深度学习+视觉分析+流媒体分析=新一代大数据成功案例!

  如果您想深入了解深度学习和神经网络的细节,我推荐以下资源:

  ·“深度学习框架解析”——一篇关于神经网络基本概念和组成部分的文章

  ·TensorFlow游乐场可以亲自动手操作神经网络,无需任何编码,也可在Github上使用,以建立自己的定制离线游乐场

  ·在Youtube上的“深度学习简化”视频系列中,对基本概念、替代算法和一些框架如H2O.ai或Tensorflow

  尽管深度学习越来越受到人们的关注,但它并不是每个场景的灵丹妙药。

  何时不使用深度学习?

  深度学习实现了几年前在“大规模生产”中不可能实现的许多新的可能性,例如,图像分类、对象识别、语音翻译或自然语言处理(NLP),而不是深度学习。自动特征工程的一个主要优点是,与大多数其他机器学习方案相比,这花费了大量时间和精力。

  您还可以利用深度学习做出更好的决策,增加收入或降低现有(“已解决”)问题的风险,而不是使用其他机器学习算法。例子包括风险计算、欺诈检测、交叉销售和预测性维护。

  但是请注意,深度学习有一些重要的缺点:

  ·非常昂贵,而且缓慢、计算密集,训练深度学习模型通常需要数天或数周,执行时间也比大多数其他算法会花费更多时间

  ·很难解释:分析模型的结果缺乏可理解性,但它又通常是法律或合规规定的关键要求

  ·倾向于过度配合,因此需要正规化

  深度学习是解决复杂问题的理想方法,它也可以在层级属于中等的问题上超越其他算法。深度学习不应该用于简单的问题。其他算法,如逻辑回归或决策树可以更容易、更快地解决这些问题。

  开源深度学习框架

  神经网络大多采用各种开源实现之一。各种成熟的深度学习框架可用于不同的编程语言。

  下图显示了开源深度学习框架的概述并评估了几个特征:

  深度学习+视觉分析+流媒体分析=新一代大数据成功案例!

  这些框架的共同之处在于它们是为数据科学家而建立的,即具有编程、统计、数学和机器学习经验的人物角色。请注意,编写源代码并不是一项大任务。通常,构建分析模型只需要几行代码。这与其他开发任务完全不同,例如构建Web应用程序,可能会需要在其中编写数百或数千行代码。在深度学习和一般数据科学中,理解代码背后的概念以建立一个良好的分析模型可能才是最重要的。

  一些不错的开源工具,如KNIME或RapidMinerallow视觉编码可以加速开发,并鼓励市民数据科学家(即经验较少的人)学习概念并构建深度网络。这些工具使用自己的深度学习实现或其他开源库,如H2O.ai或DeepLearning4j作为嵌入式框架。

  如果您不想构建自己的模型或利用现有的预先训练好的模型进行常见深度学习任务,那么您也可以查看大型云提供商的产品,例如,用于文本到语音翻译的AWS Polly,用于图像内容分析的Google Vision API或微软的 Bot Framework来构建聊天机器人。

  这些技术巨头在分析文本、语音、图片和视频方面拥有多年经验,并将他们在复杂分析模型方面的经验作为云服务提供给他们,现收现付。您还可以使用自己的数据改进这些现有模型,例如训练并改善您的具体行业或场景图片的通用图片识别模型。

  与视觉分析相结合的深度学习

  无论你想用你最喜欢的编程语言还是一个可视化编码工具来“使用”一个框架:你需要能够根据构建的神经网络做出决定。这是视觉分析发挥作用的地方。总之,可视化分析允许任何角色在分析复杂数据集时进行数据驱动的决策,而不是倾听直觉。

  业务分析师不了解深度学习的任何内容,只是利用集成分析模型来回答其业务问题。当业务分析师更改某些参数、功能或数据集时,分析模型就会在幕后应用。(公民)数据科学家也可以使用视觉分析来构建神经网络,以更详细地了解技术和非技术人员应该如何使用可视化分析来构建神经网络,从而帮助解决业务问题。甚至一些数据准备工作最好在可视化分析工具中完成。

  从技术角度来看,深度学习框架(当然也可以类似于任何其他机器学习框架)以不同方式集成到可视化分析工具中。以下列表包含每种替代方案的TIBCO Spotfire示例:

  ·嵌入式分析:直接在分析工具中实施(自我实施或“OEM”);可以被业务分析人员使用,而不需要任何有关机器学习的知识(Spotfire:通过输入和输出数据以及群集大小的一些基本简单配置进行群集)

  ·本地整合:连接器可直接访问外部深度学习群集。 (Spotfire:TERR使用Ras的机器学习库,KNIME连接器直接与外部工具集成)

  ·框架API:通过Wrapper API以不同编程语言访问。例如,您可以将MXNet通过R或TensorFlow集成到您的可视化分析工具中。如果没有本地集成或连接器可用,则始终可以使用此选项并且是合适的。(Spotfire:通过Spotfire的TERR集成使用任何R库的MXNet?R接口)

(编辑:核心网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读