加入收藏 | 设为首页 | 会员中心 | 我要投稿 核心网 (https://www.hxwgxz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

GPU完善信息处理速度,降本增效节能首选

发布时间:2021-06-12 14:57:11 所属栏目:大数据 来源:互联网
导读:伴随着计算力、算法和数据量的巨大进步,人工智能迎来第三次发展高潮,开始了各行业的落地探索。然而,在大数据兴起的同时,数据分散的情况也越发明显,数据孤岛

伴随着计算力、算法和数据量的巨大进步,人工智能迎来第三次发展高潮,开始了各行业的落地探索。然而,在“大数据”兴起的同时,数据分散的情况也越发明显,“数据孤岛”现象广泛存在。随着政策法规的逐渐完善和公众隐私保护意识的加强,隐私安全、数据保护等原因限制着数据不能轻易互通,如何在保护数据隐私的前提下实现行业协作与协同治理,是大数据时代人工智能行业应用的一大难题。

 

多方获益,联邦学习破解“数据孤岛”难题

 

“联邦学习”(Federated Learning)指的是在满足隐私保护和数据安全的前提下,设计一个机器学习框架,使各个机构在不交换数据的情况下进行协作,提升机器学习的效果。其核心就是解决数据孤岛和数据隐私保护的问题,通过建立一个数据“联邦”,让参与各方都获益,推动技术整体持续进步。大会上,来自微众银行AI部门的高级算法工程师黄启军也为观众展示了联邦学习的落地案例之一——视觉横向联邦学习系统。

 

黄启军提到,在目标检测领域,已标注数据是非常珍贵的资源,各家公司一般都有各自不同场景的标注数据,但这些数据相对散乱,如想利用其它公司已标注好的数据模型来建立更优模型,只能通过拷贝聚拢数据,但这种行为不符合GDPR、《数据安全管理办法》等法律规范。而引入横向联邦学习机制以后,个体可以在本地设备中直接标注数据,无需上传。本地模型的训练数据标注完成后,客户端将自动加入联邦,等待进行训练,当有两台设备进入到等待训练状态时,则开始进行联邦学习训练模式。这一案例真实展现了联邦学习技术的价值,相比于单点模型,联邦学习使得本地设备的mAP大幅提升,同时Lossless更加稳定。mAP平均提升15%的数据显示,整体上联邦学习远比单点模型效果更佳。

 

深度创新,GPU加速联邦学习再升级

 

作为一门具有前景的新兴技术,联邦学习为了完成隐私保护下的机器学习,使用了很多与传统机器学习不一样的方法,也因此迎来了诸多新挑战。在会上,黄启军也分享了微众银行AI部门携手星云Clustar突破的联邦学习计算三大难题:

 

首先就是大整数运算问题,传统机器学习一般使用的是32-bit的基本运算,这些基本运算一般都有芯片指令的直接支持,而联邦学习中的Paillier/RSA算法依赖的是1024或2048-bit 甚至更长的大整数运算,但现实情况是,GPU流处理器并不直接支持大整数运算。面对这一情况,双方基于分治思想做元素级并行,通过递归将大整数乘法分解成可并行计算的小整数乘法,从而实现“化繁为简”,间接完成GPU流处理器的大整数运算。

(编辑:核心网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读