专利名称：一种基于矩阵表示的分布式模型训练优化方法专利类型：发明专利发明人：王彪,王亚强,曹亮申请号：CN202010722500.1申请日：20200724公开号：CN111813580A公开日：20201023
摘要：本发明公开了一种基于矩阵表示的分布式模型训练优化方法，方法包括：节点配置，在子节点中搭建神经网络，通过前向传播获取参数，随机梯度下降算法更新参数，将节点搭建成完全二叉树集群的形式；消息上传，在不同的主机上搭建通讯协议，子节点将消息通过消息队列并行传输到根节点，并对神经网络中的节点进行验证；模型上传，将模型文件分割成等份，并标注索引，采用并行IO流的方式将模型文件上传到根节点；安全检测，根节点对消息队列进行安全检查，确认安全后，从队列中取出模型文件，按照分割后的模型的索引号组成完整的模型，并将其作为当前神经网络的隐含层进行迁移学习的训练。通过本方案能大大减少分布式训练的耗时，并提高模型的训练效率。
申请人：成都信息工程大学,成都成信高科信息技术有限公司
地址：610225 四川省成都市西南航空港经济开发区学府路1段24号
国籍：CN
代理机构：成都金英专利代理事务所(普通合伙)
代理人：袁英
更多信息请下载全文后查看
因篇幅问题不能全部显示，请点此查看更多更全内容