批量计算 深度学习示例 - 最佳实践
VIEW CONTENTS
摘要: 快速开始本文介绍一个基于scikit-learn机器学习库,编写一个多层感知器(MLP,MultilayerPerceptron)BP算法的深度学习示例。通过对历史国际足球比赛、球队排名、球员体能技术 ...
点击领取2000元阿里云代金券,付款抵现金用,云服务器69元/年限时抢>>>    点击咨询成为阿里云VIP客户享永久折扣>>>
点击领取2860元腾讯云代金券,付款抵现金用云服务器88元/年限时抢>>>    点击成为腾讯云VIP客户享永久折扣优惠>>>
点击进入华为云最新优惠活动现场>>>    点击成为华为云VIP客户享永久折扣优惠>>>

快速开始

本文介绍一个基于 scikit-learn 机器学习库,编写一个多层感知器(MLP,Multilayer Perceptron)BP 算法的深度学习示例。通过对历史国际足球比赛、球队排名、球员体能技术指标以及 FIFA 2018 小组赛结果建模,预测两只球队的胜负平概率。具体操作步骤如下。

步骤1:制作自定义镜像

  1. 制作步骤参考 创建自定义镜像 文档。
  2. 安装依赖包,以 CentOS 7.2 64 bit 为例:
    yum -y install gcc
    yum -y install python-devel
    yum -y install tkinter
    yum -y install python-pip
    pip install --upgrade pip
    pip install pandas
    pip install numpy
    pip install matplotlib
    pip install seaborn
    pip install sklearn
    pip install --upgrade python-dateutil

步骤2:下载程序包

单击 下载程序压缩包,下载完成后上传压缩包至 对象存储。通过指定程序包的对象存储地址,Batch 会在作业运行前下载压缩包到云服务器,自动解压后执行。

步骤3:创建 “fifa-predict” 任务模板

  1. 登录批量计算控制台,选择左侧导航栏中的【任务模板】。
  2. 在“任务模板”页面上方选择目标地域后,单击【新建】。
  3. 单击【新建】,进入“新建任务模板”页面,参考以下信息进行创建。如下图所示:
    • 名称:fifa-predict。
    • 描述:数据训练与预测。
    • 计算环境类型:请按需选择,本文选择【自动计算环境】。
    • 资源配置:S2.SMALL1(1核1G),公网带宽按量收费。
    • 镜像:自定义镜像标识符,选择 步骤1 中已创建的镜像。
    • 资源数量:并发渲染数,例如3台,并行训练3个神经网络模型。
    • 超时时间、重试次数:请保持默认值。
  4. 单击【下一步】,配置程序信息。如下图所示:
    • 执行方式:PACKAGE。
    • 程序包地址:以对象存储举例,cos://barrygz-1251783334.cosgz.myqcloud.com/fifa/fifa.2018.tar.gz
    • Stdout 日志:格式参考 COS、CFS 路径填写。
    • Stderr 日志:同 Stdout 日志。
    • 命令行python predict.py "Japan" "Senegal"
      球队列表:'Russia', 'Saudi Arabia', 'Egypt', 'Uruguay', 'Portugal', 'Spain', 'Morocco', 'Iran', 'France', 'Australia', 'Peru', 'Denmark', 'Argentina', 'Iceland', 'Croatia', 'Nigeria', 'Brazil', 'Switzerland', 'Costa Rica', 'Serbia', 'Germany', 'Mexico', 'Sweden', 'Korea Republic', 'Belgium', 'Panama', 'Tunisia', 'England', 'Poland', 'Senegal', 'Colombia', 'Japan'。
  5. 跳过存储映射配置步骤,单击【下一步】。
  6. 预览任务 JSON 文件,确认无误后,单击【保存】。

步骤4:创建 “fifa-merge” 任务模板

  1. 登录批量计算控制台,选择左侧导航栏中的【任务模板】。
  2. 在“任务模板”页面上方选择目标地域后,单击【新建】。
  3. 单击【新建】,进入“新建任务模板”页面,参考以下信息进行创建。如下图所示:
    • 名称:fifa-merge。
    • 描述:预测数据汇总。
    • 计算环境类型:请按需选择,本文选择【自动计算环境】。
    • 资源配置:S2.SMALL1(1核1G),公网带宽按量收费。
    • 镜像:自定义镜像标识符,选择 步骤1 中已创建的镜像。
    • 资源数量:1台。
    • 超时时间、重试次数:请保持默认值。
  4. 单击【下一步】,配置程序信息。如下图所示:
    • 执行方式:PACKAGE。
    • 程序包地址:以对象存储举例,cos://barrygz-1251783334.cosgz.myqcloud.com/fifa/fifa.2018.tar.gz
    • Stdout 日志:格式参考 COS、CFS 路径填写。
    • Stderr 日志:同 Stdout 日志。
    • 命令行python merge.py /data
  5. 单击【下一步】,配置存储映射。如下图所示:
    • 输入路径映射 - COS/CFS路径:填写 “fifa-predict” 模板 Stdout 日志路径。
    • 输入路径映射 - 本地路径/data
  6. 预览任务 JSON 文件,确认无误后,单击【保存】。

步骤5:提交作业

  1. 单击左侧导航栏中的【作业】,进入“作业”列表页面。
  2. 在“作业”列表页面上方选择目标地域后,单击【新建】。
  3. 进入“新建作业”页面,参考以下信息配置作业信息。
    • 作业名称:fifa。
    • 优先级:默认值。
    • 描述:fifa 2018 model。
  4. 选中任务流页面左侧 fifa-predictfifa-merge 任务,移动鼠标将任务放置到右侧画布中。单击 fifa-predict 任务拖拽箭头到 fifa-merge 任务。
  5. 打开任务流右侧 任务详情,确认配置无误后,单击【完成】。
  6. 查询作业运行信息,请参考 查询信息。
  7. 渲染结果查询,请参考 查看对象信息。

下一步操作

本文列举了一个简单的机器学习示例,仅仅是向用户展示最基本的能力,您可以根据控制台使用指南继续测试 Batch 更高阶的能力。

  • 丰富的云服务器配置:Batch 提供了丰富的云服务器 CVM 配置项,您可以根据业务场景自定义 CVM 配置。
  • 远程存储映射:Batch 在存储访问上进行优化,将对远程存储服务的访问简化为对本地文件系统操作。
  • 并行训练多个模型:Batch 支持指定并发数,通过 环境变量 区分不同的并发实例,每个实例读取不同的训练数据,实现并行建模。

路过

雷人

握手

鲜花

鸡蛋
2021-9-13 09:00| 发布者: xtyly| 查看: 13| 评论: 0



在线客服(工作时间:9:00-22:00)
400-600-6565

内容导航

微信客服

Copyright   ©2015-2019  云服务器社区  Powered by©Discuz!  技术支持:尊托网络     ( 湘ICP备15009499号-1 )