yr.datasystem.DsTensorClient

class yr.datasystem.DsTensorClient(host, port, device_id, connect_timeout_ms=60000, client_public_key='', client_private_key='', server_public_key='', req_timeout_ms=0, enable_remote_h2d=False)

异构对象客户端。

参数：

• host (str) - 数据系统 Worker 的主机 IP 地址。

• port (int) - 数据系统 Worker 的端口号。

• device_id (int) - 客户端所在进程绑定的device id。

• connect_timeout_ms (int) - 客户端连接和请求超时时间，单位为毫秒。默认值： 60000 。

• client_public_key (str) - 用于 curve 认证的客户端公钥。默认值： "" 。

• client_private_key (str) - 用于 curve 认证的客户端私钥。默认值： "" 。

• server_public_key (str) - 用于 curve 认证的服务端公钥。默认值： "" 。

• req_timeout_ms (int) - 请求超时时间，单位为毫秒。当 req_timeout_ms<=0 时，req_timeout_ms 与 connect_timeout_ms 相同。默认值： 0 。

• enable_remote_h2d (bool) - 如果为 True ，启用异构场景远端共享内存到NPU内存的数据传输功能。默认值： False 。

输出：

DsTensorClient

方法：

init	初始化数据系统客户端。
mset_d2h	将 device 的数据写入到 host 中。
mget_h2d	从 host 中获取数据并写入 device 中。
async_mset_d2h	将 device 的数据写入到 host 中的异步接口。
async_mget_h2d	从 host 中获取数据并写入 device 中的异步接口。
delete	删除 host 中的 key。
dev_send	将 device 上的内存发布为数据系统的异构对象，发布后的异构对象可通过 dev_recv 获取。
dev_recv	订阅发布到数据系统的异构对象，并接收数据写入 tensors。
exist	检查给定 key 在数据系统中是否存在。
dev_mset	通过数据系统缓存 device 上的数据。
dev_mget	获取 device 中的数据，并写入到 Tensor 中。
dev_mget_into_tensor	从 device 中获取多个 key 的数据，并根据用户定义的复制范围将每个数据段复制到单个目标 Tensor 的指定位置。
dev_local_delete	从数据系统删除本节点上此 key 的元数据，不再管理此 key 对应的 device 内存。
dev_delete	从数据系统删除此 key 的元数据，不再管理此 key 对应的 device 内存。
async_dev_delete	从数据系统删除此 key 的元数据的异步接口，删除成功后不再管理此 key 对应的 device 内存。
put_page_attn_layerwise_d2d	将 PagedAttention 的层级 Tensor 发布为数据系统的异构对象。发布后的异构对象可通过 get_page_attn_layerwise_d2d 获取。
get_page_attn_layerwise_d2d	根据 key 获取缓存在数据系统的 PagedAttention 的层级 Tensor。
mset_page_attn_blockwise_d2h	将 PagedAttention 的层级 Tensor 异步写入 Host 中。
mget_page_attn_blockwise_h2d	从 Host 中获取 PagedAttention 的层级 Tensor 并写入 Device 中。