Mooncake 会抽象成和硬件无关吗？

[Leetion07]

在我阅读代码时，注意到 mooncake 中 有nvlink，rdma之类的transport 实现。那如果需要支持 AMD的Rocm 可能又需要另外的实现了。而 UCX 对于这些硬件都已经有了实现。因此疑问，Mooncake有计划直接使用 UCX吗？

[stmatengss]

在我阅读代码时，注意到 mooncake 中 有nvlink，rdma之类的transport 实现。那如果需要支持 AMD的Rocm 可能又需要另外的实现了。而 UCX 对于这些硬件都已经有了实现。因此疑问，Mooncake有计划直接使用 UCX吗？

首先纠正下，Rocm也离不开rdma或者tcp的transport来传输。目前在nixl，ucx和mooncake的transfer engine并列存在。并且补充下下，我们其实支持amd的rdma，Rocm有自己的GPUDirect传输方式。