DL+视觉分析+流媒体分析=大数据成功案例
|
云服务：访问预先训练的模型，用于图像识别、语音识别或文本处理等常见深度学习特定任务。不适用于企业的非常具体的个人业务问题。 (Spotfire：通过Spotfire?的TERR / R界面，通过REST服务向AWS，Azure，IBM，Google等公共深度学习服务提供图像识别，语音翻译或Chat Bot等服务) 所有选项的共同之处在于您需要添加一些超参数的配置，即“高级”参数，如问题类型、特征选择或正则化等级。根据集成选项的不同，这可能是非常技术性又低级别的，或者简化、降低灵活性使用业务分析人员所理解的术语。 深度学习示例：TIBCO Spotfire的自动编码器模板 让我们以神经网络的一个特定类别为例：自动编码器寻找异常。自动编码器是一种无监督神经网络，用于通过限制神经网络中隐藏层的数量来复制输入数据集。预测时会产生重建错误。重建误差越高，该数据点成为异常的可能性越高。 自动编码器的使用案例包括打击金融犯罪监控设备传感器、医疗保险索赔欺诈或检测制造缺陷。 TIBCO社区中，免费提供通用的TIBCO Spotfire模板。您可以简单地添加数据集并利用模板来使用自动编码器查找异常情况，而无需任何复杂的配置或编码。引擎盖下，模板使用H2O深度学习实施和它的R API。它在运行Spotfire的计算机上的本地实例中，您也可以查看R代码，但根本不需要使用该模板，因此也是可选的。 真实世界示例：预测性维护的异常检测 让我们列举一个将Autoencoder用于真实世界的例子。在电信公司，你必须不断分析基础设施，以发现网络中的问题。最好在失败之前发生，以便在客户发现问题之前就可以解决问题。看看下面的图片，它显示了电信网络的历史数据： 橙色的点是尖峰，这是基础设施技术问题的首要表现。红点显示了一个不断失败的地方，机械师必须更换部分网络，因为它不再工作。 自动编码器可用于在实际发生之前检测网络问题。 TIBCO Spotfire在后台使用H2O自动编码器来查找异常情况。如前所述，源代码相对较少。以下是使用H2O学习深度学习R API构建分析模型并检测异常情况(通过找出Autoencoder的重建错误)： 这个由数据科学家建立的分析模型被集成到TIBCO Spotfire中。业务分析师可以直观地分析历史数据和Autoencoder的见解。这种结合使数据科学家和业务分析师能够流利地合作。实施预测性维护并通过降低风险和成本创造巨大的商业价值从未如此简单。 使用流式分析将分析模型应用于实时处理 本文重点介绍如何使用数据科学框架和可视化分析构建深度学习模型。项目成功的关键在于将构建分析模型实时应用于新事件，以增加业务价值，如增加收入、降低成本或降低风险。 “如何将机器学习应用于事件处理”更详细地描述了如何将分析模型应用于实时处理。或者观看利用TIBCO StreamBase实时应用一些H2O型号的相应视频录像。最后，我们推荐学习各种流式分析框架来应用分析模型。 让我们回到Autoencoder用例来实现电信公司的预测性维护。在TIBCO StreamBase中，您可以轻松应用构建的H2O Autoencoder模型，而无需通过StreamBase进行任何重新开发 H2O连接器。您只需附加由H2O框架生成的Java代码，其中包含分析模型并编译为非常高性能的JVM字节码： 最重要的经验是：在构建分析模型之前考虑执行要求。对于延迟，你需要什么样的性能?您需要每分钟、或者几毫秒能够处理多少事件数量?您是否需要将分析模型分布到具有多个节点的群集?你多久需要改进和重新部署分析模型?您需要在项目开始时回答这些问题，以避免分析模型的双重努力和重新开发! 另一个重要的事实是，分析模型并不总是需要“非常快速或频繁执行模型的实时处理”。在上述电信公司的例子中，这些高峰和失败可能会在随后的几天甚至几周发生。因此，在许多使用案例中，因此，每天或每周应用一次分析模型就好了，而不是每一次新事件。 深度学习+视觉分析+流媒体分析=新一代大数据成功案例 深度学习允许以更高效的方式解决诸如交叉销售、欺诈检测或预测性维护等许多众所周知的问题。另外，您还可以解决其他场景，这些场景之前无法解决，例如准确高效的对象检测或语音到文本的翻译。 可视化分析是深度学习项目成功的关键组件。它简化了(公民)数据科学家对深度神经网络的开发，并允许业务分析师利用这些分析模型来发现新的见解和模式。 今天，(公民)数据科学家使用R或Python等编程语言，Theano，TensorFlow，MXNet或H2O深水等深度学习框架以及像TIBCO Spotfire这样的可视化分析工具来构建深度神经网络。将分析模型嵌入到业务分析师视图中，以便在不知道技术细节的情况下利用它。 未来，可视化分析工具可能会嵌入神经网络功能，就像今天已经嵌入了其他机器学习功能(如聚类或逻辑回归)一样。这将允许业务分析师在没有数据科学家的帮助下利用深度学习，并适用于更简单的用例。 但是，不要忘记，构建分析模型以发现洞察力只是项目的第一部分。事后部署到实时与第二步一样重要。在找到见解和将新见解应用于新事件的工具之间的良好整合可显著提高数据科学项目的上市时间和模型质量。开发生命周期是一个连续的闭环。分析模型需要在特定的序列中进行验证和重建。 （编辑：核心网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
