Netflix应用架构之用于个性化和推荐的系统架构

这两个任务都需要处理精制的数据，而这些数据通常是通过运行数据库查询生成的。由于这些查询运行在大量数据上，因此以分布式方式运行它们是有益的，这使得它们非常适合通过Hive或Pig作业在Hadoop上运行。一旦查询完成，我们就需要一种发布结果数据的机制。我们对该机制有几个要求:首先，当查询结果准备好时，它应该通知订阅者。其次，它应该支持不同的存储库(例如，不仅支持HDFS，还支持S3或Cassandra)。最后，它应该透明地处理错误，允许监视和警报。在Netflix，我们使用一个名为Hermes的内部工具，它提供所有这些功能，并将它们集成到一个一致的发布-订阅框架中。它允许向订阅者提供近乎实时的数据。在某种意义上，它涵盖了与Apache Kafka相同的一些用例，但它不是消息/事件队列系统。

信号和模型

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!