MesaTEE GBDT-RS开源:模型兼容XGBoost 预测更快捷 数据更安全

2019-06-12 15:31:597817人阅读

GBDT(Gradient Boosting Decision Tree,梯度提升决策树)是工业界广泛应用的机器学习算法,而XGBoost则是著名华人学者陈天奇发起并被工业界广泛应用的开源GBDT工具包。GBDT/XGBoost在各项机器学习比赛中屡屡夺冠,是机器学习领域最常用的方法/工具之一。

随着数据安全和隐私保护越来越收到各界的关注,如何在公有云和数据离岸等场景保护数据不泄漏、不被滥用成为业界共同关心的急迫问题。自然的,业界急切的需要一个能够保障数据安全的GBDT解决方案。随着Intel SGX为代表的硬件可信执行环境(TEE)技术的发展,数据代码的完整性和保密性可得到芯片级的安全保障支持。而在软件层面,百度安全实验室首创的Hybrid Memory Safety(HMS)技术可在软件架构上保障使用系统的内存安全。百度安全实验室MesaTEE项目结合硬件TEE和HMS技术,从软硬件两个维度保护机器学习的数据和代码,确保敏感数据和机密模型不泄漏,提供下一代安全的大数据/机器学习解决方案。

将GBDT与HMS/TEE结合,百度安全实验室和北京大学计算机所信息安全实验室合作,基于Rust语言,在开源项目MesaTEE GBDT-RS中实现了GBDT算法。MesaTEE GBDT-RS兼容XGBoost的模型,同时还符合MesaTEE内存安全的要求,并能直接运行在SGX环境中。另外,MesaTEE GBDT-RS提供了令人惊讶的高速预测性能:在SGX环境下,GBDT-RS单线程预测性能甚至能达到XGBoost 正常环境8线程的2倍以上。

通过使用MesaTEE GBDT-RS和百度MesaTEE Rust SGX SDK等工具链,开发者可以创建能在SGX中运行的内存安全的机器学习程序,保护模型和数据。在云计算场景下,即使云计算环境里的操作系统、虚拟机管理器(VMM)、或相邻的其他虚拟机被攻破或作恶,模型和数据的完整性和保密性都能得到高安全性保障。使用者还可以远程验证执行环境,确保代码符合预期,并通过可信信道传递模型和数据。

MesaTEE GBDT-RS开源地址:https://github.com/mesalock-linux/gbdt-rs

MesaTEE GBDT-RS特点介绍

下面与XGBoost对比,介绍MesaTEE GBDT-RS (下面简称GBDT-RS)的特点

  • 安全:GBDT-RS基于纯Rust编写,且不包含unsafe语句。因此,Rust编译器保证了GBDT-RS的内存安全性。开发者在使用GBDT-RS时,无需担心内存破坏漏洞导致的模型和数据泄漏。

  • 易审计:GBDT-RS只包含约2000行代码,代码整洁小巧,依赖少。任何质疑者都可以快速容易地对代码进行审计,建立信任关系。而XGBoost包含上万行代码,且依赖其他C/C++开源项目,审计困难。

  • 高性能:GBDT-RS已验证支持200维 x 500万,或35维 x 1186万的数据进行训练。单线程单棵决策树的训练速度可达到XGBoost单线程的70%左右;预测速度可达XGBoost的4~10倍。在SGX中使用GBDT-RS单线程预测,甚至可比非SGX环境下的XGBoost多线程预测快。

  • 易用性:GBDT-RS支持回归和分类两种任务,支持多线程并发预测。同时,GBDT-RS兼容XGBoost的模型,可使用XGBoost的模型进行回归、分类、多分类等多种预测。

  • 支持SGX:GBDT-RS支持在SGX中训练和预测,支持在SGX环境中使用XGBoost的模型。开发者可以非常容易地使用百度的rust-sgx-sdk,编译在SGX中运行GBDT-RS的程序,让数据和模型都能得到高安全性保障。

性能测试

我们分别测试了模型训练,正常环境下的预测,以及SGX环境下的预测。


模型训练

数据集:35维x1186万条数据

环境:linux, i7-8086K, 64G内存,非SGX

1.jpg


非SGX环境下的预测


模型:32维,10000棵决策树,树深为6,由XGBoost训练

数据集:1万条,10万条

环境:i7-8086K/Linux,i7-8850H/macOS,Intel J5005/Linux

2.jpg

在1万条数据上,GBDT-RS快4-10倍,在10万条数据上,GBDT-RS快3.6-7.7倍


SGX环境预测

模型:32维,10000棵决策树,树深为6,由XGBoost训练

数据集:1万条,10万条

环境:Intel J5005(4核4线程)/Linux,XGBoost正常环境,GBDT-RS正常环境+SGX环境

3.jpg


  • 在1万条数据上测试,SGX会带来约13%的性能损失,但仍比单线程XGBoost快8.7倍,比8线程XGBoost快2.1倍

  • 在10万条数据上测试,SGX依旧比XGBoost单线程快2倍。若将batch设为10000后,减少内存切换的开销,SGX可比单线程XGBoost快9.6倍,比8线程XGBoost快2.3倍


更多内容请移步:

  • gbdt-rs项目主页:https://github.com/mesalock-linux/gbdt-rs


0
现金券
0
兑换券
立即领取
领取成功