腾讯云文件存储CFS如何以40GB/s高吞吐应对新基建挑战？

采用CFS优势在于它可以提供高吞吐、低延时用于视频渲染，同时可以将用户希望长期保存的数据沉淀在COS中进行持久化存储，降低成本。最终的方案在腾讯云的云总机上部署媒资管理系统，同时使用CFS作为渲染存储库，通过COS进行分发。

第三个案例，动画电影制作。需要执行高吞吐、高并发计算任务，客户现行的方案是使用IDC机房计算节点加上商用文件存储形式，痛点是动画后期渲染IDC计算节点不足、存储性能不足，导致渲染耗时很长，无法满足电影按时上线的需求。采用CFS的优势，腾讯云能够提供弹性伸缩高吞吐的文件存储，而且也支持标准的NFS协议，并且可以方便地协同低成本的计算实例。最终的方案，客户原始素材通过专线上传到CFS，同时超过1000+云主机进行渲染作业，客户峰值吞吐达到160Gbps，整体时长降低了28%，保证了电影按时上线。

第四个案例，教育行业AI训练，教育场景是小文件、低延时。客户现行方案是CVM+自建HDFS+COS。现行方案的一个痛点是转码平台原对接云上自建HDFS，其延时性能不佳、维护耗时。使用CFS的优势在于CFS可以提供低延时、高吞吐的云服务，同时可以很大程度上提升转的码平台的效率。加速模型优化，最终的方案也是使用CFS，是无缝替换CFS的集群。

第五个案例，短视频训练和推理。该客户直接采用CFS加COS文案，训练的流程是COS读取后，在TKE上训练分析，并发挂载量是几十个Node，单文件大小是几百KB到2MB左右文件，数量百万到千万级。为了满足写吞吐的需求，采用异步操作的模型，从COS预拉取进行系统。读吞吐峰值可以打满10GB/s，因此训练模型30分钟，因此训练过程+模型发布最短要求为30分钟。客户端是GPU，而发布的流程则是训练完成后将最终的模型存储到CFS上，业务的Pod就需要在最短的时间内完成，并发挂载量是100以内的Pod，文件大小是10GB到30GB之间，读吞吐的分级是实际运营的，需要10分钟以内做完，而数据的更新频率是在最短30分钟时间内发布模型。

CFS如何在新基建中发挥作用?

首先是客户业务场景的分析。广告推荐顾名思义，我们在使用期间会看到各种消费的小弹窗、小视频等等，结合用户模型为用户提供最精准的广告，从而提高营销资金的利用率。CFS参与应用广告推荐的具体业务流程主要分为三步。第一步模型发布，广告客户模型在训练中心完成，训练完成之后将模型文件发布到腾讯云。第二部分是业务应用获取模型，客户在腾讯云上使用了三个T的云系集群，共计超过4000node，或者超过8000个，以分担业务的压力。这些Pod将几十GB的数据模型全部加载后应用才能启动。

第三步是广告推荐，系统使用模型文件和用户数据，为用户定制广告推送。这是客户的一个广告业务架构图，左边是广告推荐训练集群，当训练集群推初模型后会挂载CFS，将模型拷贝到CFS中。上面是客户在腾讯云线上应用集群，大概是2000到8000个Pod组成不同的多个集群，分布在北京三个核心区，这些Pod通过挂载客户端，从CFS中读取虚拟集群，生成推理模型数据。在业务启动时，运营程序需要读取广告推荐模型的文件。在运行的过程中，系统根据用户使用数据进行广告推荐。

腾讯云通过对业务流程的摸底，了解业务的存储场景、存储留存以及集成规模。关键性的含量指标包括业务的性能需求，客户容量的需求以及具体模型。CFS解决了特定场景下大文件、大吞吐的难题。

“总而言之，新基建为中国的产业升级清晰指明的方向，数字化技术广泛的应用以及随之产生的需求，将带来数据爆发式增长，海量数据蕴含着巨大的价值，存储作为新基建坚实的支柱。更多样化的数据模式、日益复杂的数据管理，以及高效的数据利用对存储提出更高的要求，无论对传统的吞吐厂商还是创新的吞吐厂商来说，这既是挑战更是机遇，”陈宏亮表示。

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!