2020年3月13—14日,以“促進工業(yè)界和學(xué)術(shù)界的對話”為主題的benchcouncil國際大數(shù)據(jù)與人工智能線上峰會正式拉開帷幕。星云clustar 作為代表之一,與來自、facebook、、、等教育、金融、醫(yī)學(xué)等領(lǐng)域的百余名大數(shù)據(jù)和ai專家共同探討學(xué)術(shù)前沿。
星云clustar 打造聯(lián)邦學(xué)習(xí)的新算力
星云clustar 首席科學(xué)家胡水海博士受邀于會上發(fā)表了《gpu在聯(lián)邦機器學(xué)習(xí)中的探索》的主題演講,全面展示了星云clustar 在聯(lián)邦學(xué)習(xí)領(lǐng)域的布局與全新研究成果。
應(yīng)對聯(lián)邦學(xué)習(xí)難題,星云clustar 的破局之道
在人工智能領(lǐng)域,目前存在比較嚴重的數(shù)據(jù)孤島問題。雖然每個公司和機構(gòu)都有數(shù)據(jù),但大部分是小數(shù)據(jù),難以成勢;加之行業(yè)競爭、安全問題等因素,企業(yè)之間不愿意分享數(shù)據(jù);另外,隨著多國著手出臺一系列數(shù)據(jù)隱私與安全的法律法規(guī),縱使行業(yè)間愿意交換數(shù)據(jù)也變得難以合規(guī)。這都造成了數(shù)據(jù)以一個個孤島的形式存在,相互之間不能連接,數(shù)據(jù)失去流通性。
“聯(lián)邦學(xué)習(xí)”就是同時可以滿足隱私保護和數(shù)據(jù)安全的解決方案。聯(lián)邦學(xué)習(xí)采用同態(tài)加密技術(shù),對數(shù)據(jù)進行加密,保證數(shù)據(jù)不泄漏。然而同態(tài)加密的代價是加密后的數(shù)據(jù)量龐大導(dǎo)致計算耗時和通信傳輸延時。聯(lián)邦學(xué)習(xí)中的部分同態(tài)計算量是明文計算量上千倍,且數(shù)據(jù)傳輸總量也比傳統(tǒng)機器學(xué)習(xí)大100到1000倍。
面對這些挑戰(zhàn),星云clustar 在聯(lián)邦學(xué)習(xí)中做了革命性的算力突破:
1.優(yōu)化單點計算:
gpu的并行計算為深度學(xué)習(xí)開拓了前進的道路。然而聯(lián)邦學(xué)習(xí)計算需進一步處理2048-bit的大整數(shù)運算、大量的模冪運算以及緩存大量中間計算結(jié)果,此時gpu表現(xiàn)就不盡人意。
針對這些技術(shù)挑戰(zhàn),胡水海表示:星云clustar 首先使用分治思想做元素級并行,通過將大整數(shù)乘法分解成可并行計算的小整數(shù)乘法,優(yōu)化了運算本身;其次,利用平方乘算法和蒙哥馬利算法降低復(fù)雜度并避免取模運算;最后,使用中國剩余定理,減小中間值計算結(jié)果,避免了更大的顯存緩存中間結(jié)果。
胡水海同時展示了星云clustar 基于gpu初步優(yōu)化方案,測試結(jié)果顯示:相對于傳統(tǒng)服務(wù)器,星云clustar 在聯(lián)邦學(xué)習(xí)復(fù)雜的同態(tài)加密和解密計算上帶來了約6倍的加速比;密態(tài)乘法和加法效率上分別提高了30倍和400倍以上。
2.突破通信傳輸瓶頸
聯(lián)邦學(xué)習(xí)通信的兩大場景:一是數(shù)據(jù)中心內(nèi)部不同機構(gòu)間通信,二是不同機構(gòu)的數(shù)據(jù)中心跨區(qū)域通信。在這兩大場景下,都需要加速聯(lián)邦學(xué)習(xí)通信,以帶來模型訓(xùn)練效率的提升。胡水海表示:星云clustar 利用gdr(gpu direct rdma)技術(shù),gpu的數(shù)據(jù)不再經(jīng)過內(nèi)存的多次拷貝,而是直接從gpu移動到rdma網(wǎng)卡,然后通過rdma網(wǎng)卡直接發(fā)送到網(wǎng)絡(luò),接受側(cè)也同樣,從而實現(xiàn)零拷貝的數(shù)據(jù)流目標。同時gdr還可以控制內(nèi)存分配機制,直接把數(shù)據(jù)分配在允許rdma操作的內(nèi)存上,就能減少數(shù)據(jù)拷貝,進一步提升性能。相對于tcp模式,gdr能提高75%整體訓(xùn)練效率。
星云clustar :助力聯(lián)邦學(xué)習(xí),打造“新”算力礦機
聯(lián)邦學(xué)習(xí)作為同時保障安全和隱私的新一代人工智能算法框架,對于同態(tài)加密后的龐大數(shù)據(jù)量的處理上則需要更強勁的算力作為支撐。星云clustar 推出pai密態(tài)計算硬件加速卡,能讓數(shù)據(jù)在加密狀態(tài)下進行ai模型訓(xùn)練與推理,解決數(shù)據(jù)安全和用戶隱私的合規(guī)挑戰(zhàn)。星云clustar 以領(lǐng)先的聯(lián)邦學(xué)習(xí)、同態(tài)加密等創(chuàng)新性技術(shù),加速有密態(tài)需求的ai場景,致力于打造“ai+隱私”新算力,提供更加高效、更加安全的ai解決方案,為企業(yè)之間數(shù)據(jù)快速流通、互惠共贏的合作方式保駕護航。未來,星云clustar 將打造新算力時代領(lǐng)航者,助力聯(lián)邦學(xué)習(xí)在多行業(yè)多應(yīng)用場景下發(fā)揮無限潛能。
關(guān)于星云clustar
星云clustar 成立于2018年1月,是全球領(lǐng)先的ai算力解決方案提供商,支持通用、密態(tài)ai計算,致力于將高性能網(wǎng)絡(luò)、聯(lián)邦學(xué)習(xí)等創(chuàng)新性技術(shù)應(yīng)用到人工智能及大數(shù)據(jù)領(lǐng)域。星云clustar 核心團隊來自香港科技大學(xué)sing lab,其世界領(lǐng)先的學(xué)術(shù)成果為星云clustar 研發(fā)提供支撐,獲得紅杉資本等頂級機構(gòu)投資,在北京、深圳和香港都設(shè)有產(chǎn)品和研發(fā)中心,目前團隊規(guī)模100余人,80%以上為產(chǎn)品研發(fā)團隊。
星云clustar 從通用ai市場著手,首先完成aios高性能算力平臺,加速分布式ai訓(xùn)練;于2019年進一步打造全新產(chǎn)品線 pai (privacy preserving ai),這是軟硬件一體的高性能ai算力解決方案,包括星云clustar aios高性能通用算力平臺以及星云clustar 深度安全ai處理器,支持密態(tài)ai場景下從數(shù)據(jù)準備、模型訓(xùn)練到模型推理的完整解決方案。
（文章為作者獨立觀點，不代表艾瑞網(wǎng)立場）
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“機電號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of JDZJ Hao, which is a social media platform and only provides information storage services.
