CN111104459A-存储设备、分布式存储系统以及数据处理方法.docx

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 CN 111104459 A
(43)
H04L 29/08(2006 .01)
(21)申请号 201取所述业务数据，并 对所述业务数据进行AI计算。
根据权利要求8所述的系统，其特征在于，所述数据获取请求包括第一数据获取请 求;
所述第一处理器，用于响应于所述第一数据获取请求，从所述第一硬盘中获取所述业 务数据，并将所述业务数据发送给所述第一AI装置。
根据权利要求8所述的系统，其特征在于，所述数据获取请求包括第二数据获取请 求；
所述第一处理器，用于响应于所述第二数据获取请求，将所述业务数据的元数据发送 给所述第一AI装置，所述元数据用于指示所述业务数据的地址；
所述第一AI装置，用于当所述元数据指示所述业务数据位于所述第一存储设备本地 时，向所述第一硬盘发送第一数据访问请求，所述第一数据访问请求包括所述元数据；
所述第一硬盘，用于根据所述元数据获取所述业务数据，并通过直接内存存取DMA方式 将所述业务数据写入所述第一AI装置。
根据权利要求8所述的系统，其特征在于，所述数据获取请求包括第三数据获取请 求；
所述第一处理器，用于响应于所述第三数据获取请求，将所述业务数据的元数据发送 给所述第一AI装置，所述元数据用于指示所述业务数据的地址；
所述第一AI装置，用于当所述元数据指示所述业务数据位于所述多个存储设备中的第 二存储设备时，向所述第二存储设备发送第二数据访问请求，所述第二数据访问请求包括 所述元数据；接收所述第二存储设备响应于所述第二数据访问请求所发送的所述业务数 据。
根据权利要求8所述的系统，其特征在于，
所述多个存储设备中的第二存储设备，用于通过第二网络将所述业务数据传输给所述 第一存储设备；
所述第二存储设备，还用于通过第一网络将AI参数传输给所述第一存储设备，所述AI 参数用于对所述业务数据进行AI计算。
根据权利要求12所述的系统，其特征在于，
所述第二存储设备，还用于通过所述第一网络将其他业务数据传输给所述第一存储设 备；
所述第二存储设备，还用于通过所述第二网络传输其他AI参数，所述其他AI参数用于 对所述其他业务数据进行AI计算。
根据权利要求8所述的系统，其特征在于，还包括管理装置；
所述管理装置，用于接收第一作业请求，根据所述第一作业请求确定待训练的数据集 的分布，所述数据集包括所述业务数据；当确定所述业务数据分布在所述第一存储设备时， 向所述第一存储设备发送第一计算请求，所述第一计算请求用于请求所述第一AI装置对所 述业务数据进行AI计算。
根据权利要求14所述的系统，其特征在于，所述管理装置向所述第一存储设备的第 —AI装置发送第一计算请求之前，还用于确定所述第一存储设备的运行状态满足设定条 件。
根据权利要求14所述的系统，其特征在于，所述数据集还包括其他业务数据；
所述管理装置，还用于当确定所述其他业务数据分布在所述多个存储设备中的第二存 储设备中时，进一步确定所述第二存储设备的运行状态，当所述第二存储设备的运行状态 不满足所述设定条件时，向所述第一存储设备发送第二计算请求，所述第一存储设备与所 述第二存储设备之间的距离低于设定的距离阈值；
所述第一AI装置，还用于基于所述第二计算请求，从所述第二存储设备中获取所述其 他业务数据，对所述其他业务数据进行AI计算，获得第二计算结果。
-种数据处理方法，其特征在于，所述方法应用于分布式存储系统中，所述分布式 存储系统包括多个存储设备；所述多个存储设备中的第一存储设备包括第一处理器、第一 硬盘和第一AI装置，所述第一AI装置和所述第一处理器之间通过高速互联网络通信；
所述第一处理器，接收业务数据，并将所述业务数据存储至所述第一硬盘中；
所述第一AI装置，向所述第一处理器发送数据获取请求以获取所述业务数据，并对所 述业务数据进行AI计算。
根据权利要求17所述的方法，其特征在于，所述数据获取请求包括第一数据获取请 求；
所述第一AI装置获取所述业务数据包括：所述第一处理器，响应于所述第一数据获取 请求，从所述第一硬盘中获取所述业务数据，并将所述业务数据发送给所述第一AI装置。
根据权利要求17所述的方法，其特征在于，所述数据获取请求包括第二数据获取请 求；所述第一AI装置获取所述业务数据包括：
所述第一处理器，响应于所述第二数据获取请求，将所述业务数据的元数据发送给所 述第一AI装置，所述元数据用于指示所述业务数据的地址；
所述第一AI装置，当所述元数据指示所述业务数据位于所述第一存储设备本地时，向 所述第一硬盘发送第一数据访问请求，所述第一数据访问请