談到網絡,我們常見的網絡有:以太網、光纖網絡等。但談到高速、低延網絡,我們第一時間會想到infiniband。這就不得不提到RDMA技術。RDMA的全稱是:Remote Direct Memory Access,遠程直接數據存取。它是為了解決網絡傳輸中服務器端數據處理的延遲而產生的。RDMA通過網絡把數據直接傳入計算機的內存區,將數據從一個系統快速移動到遠程系統內存中,這樣做一來速度開,二來降低CPU開銷。
傳統RDMA傳輸介質通過infiniband網絡實現,這沒有問題,但它的缺點價格高、部署不靈活。在HPC領域中,由于計算節點很多,實用傳統的infiband將不利于節點的靈活擴展。而紅帽操作系統支持ROCE技術(遠程內存訪問):Remote direct memory access over converged Ethernet (RoCE),可以解決這一問題。依賴于萬兆以太網絡,ROCE用低成本方式實現了RDMA。
從技術上講,ROCE越過系統和內核調用,直接調用TCP(iWARP:internet Wide Area RDMA Protocol)或者infiniband(傳統的RDMA),將數據放在遠端系統的內存里。這樣做可以大幅降低CPU開銷。ROCE對于那些高速數據交易系統,或者經常需要做分布式擴展的應用是非常有用的。