產(chǎn)品詳情


DWX-8030S智能除濕裝置 固原第二中學采購
算力進步給模型迭代帶來的紅利 在ResNet-50的提交結果中,可以對比去年年底的數(shù)據(jù)來看 當時,在和英偉達DGX-A100的對比中,Graphcore超過英偉達,IPU-POD16訓練耗時28.3分鐘


本次提交中,這一結果繼續(xù)刷新,IPU-POD16訓練耗時為19.64分鐘,而Bow Pod256,訓練時間僅需2.67分鐘 從幾年前的一個小時到現(xiàn)在只需大概3分鐘,算力進步給模型迭代帶來了實實在在的紅利 BERT提交方面,從Bow Pod16到Bow Pod256,也幾乎是線性的提升結果

金琛補充,系統(tǒng)越大,進一步提升就越難 為此,Graphcore在大尺度系統(tǒng)上做了很多集合通信(collective communication)上的優(yōu)化,使得在大尺度系統(tǒng)上的表現(xiàn)也有類似的同比例提升


對比去年ResNet的提交結果,硬件、軟件整體都有明顯提升 從IPU-POD16到Bow Pod16,訓練時間提升了31%,吞吐量的提升約為1.6倍,其中1.3倍來自硬件提升,1.26倍來自軟件提升 Bow Pod256則提升了接近30%


