Paperspace Gradient 运行机器学习

Gradient

网址:https://www.paperspace.com/&R=SQDQNX 如果不介意,可以使用我的这个邀请链接,获得10美金奖励,我也可以收到一定金额奖励。谢谢大家。

使用Gradient可以建立Jupyter Notebook,也可以自己上传代码让它使用GPU执行。新注册用户绑定信用卡可以获得10美元奖励金,可以用相当久了。

没有外币信用卡的,可以试试全球付,获得一张MasterCard。

进入之后是这样的界面:

点选左边的Gradient就能看到一些介绍。在这里可以阅读Jobs的文档。

Gradient Jobs

根据教程安装paperspace CLI之后,可以在控制台中运行以下指令执行Job,来让代码在GPU中执行。使用--container指定镜像,--machineType选择使用的机器类型(一般来说处理数据之类的用CPU,训练时用GPU,比较省钱),--command来指定镜像执行的命令,--project指定一个项目名称(区分用,任意取)。

paperspace jobs create --container tensorflow/tensorflow:latest-gpu-py3 --machineType GPU+ --command python3 train.py --project mnist

他会把当前文件夹中的一切打包上传,线上的环境就和线下完全一致。不过总大小不能超过100MB。

机器的价格如下:

建立完job之后,想看控制台的输出,除了在之前输入指令的控制台中看,还可以进入job页面,就能看到实时刷新的log。

存储

首先是数据集的存储,可以存放在storage中。

在一个job中,可以把数据放到/Storage目录下,这样就能将数据“保持”在云端,不必反复上传,同时也可以绕开总大小100MB的上传限制。

这个功能用来存放数据集是再好不过了。如果是公网上有的数据集,直接建立一个job使用bash脚本下载到storage中。如果是你自己的数据集,并且很大或者不想每次都上传,那么可以先上传到某个公共的服务器上(比如云对象存储,或者代码仓库),然后再建立job下载。

每次这个/storage目录都会被挂载,直接访问文件即可。

他还提供了一些公共的数据集访问,在/datasets目录下。详情看:https://paperspace.zendesk.com/hc/en-us/articles/360003092514

训练出来的模型可以存放在/artifacts目录下,可以在job页面直接访问和下载。

Gradient Notebook

其实他家还提供Jupyter Notebook服务,价格也很有竞争力。另一个竞品是Crestle,也是我以前用来跑机器学习的服务。那时候Paperspace还只有类似VPS的租赁模式。现在一比Paperspace的价格便宜多了,而且我基本不会用Notebook来训练了,直接用jobs就能很好满足要求。

总结和题外话

这不是一篇软文,只是非常简略地介绍了一下这个工具,对于没有机器学习设备又想进行机器学习训练的人,我觉得这是相当好的一个工具。当然如果有人用了我的邀请链接,我还是会有收益的。

介绍得非常简略,但也涵盖了基本的用法。相信会去折腾机器学习的人,一般都对这种工具的使用毫无压力吧。

我个人是相当反对把工具当成一种“学问”的,比如PS,比如某种编程语言,甚至说时间管理方法,它们只是工具,工具就是给人用的,必定要有很好的可用性以及适用性。网上一堆收费网课,一堆“课本”,其实并没有什么价值和技术含量,反而显得相当高大上,号称“大神”。

我仔细想了想,主要原因还是很多人信息获取的能力不够,更重要的是我们也不够重视。学会怎样获取信息,在新的时代是尤其重要的。

发表评论

电子邮件地址不会被公开。 必填项已用*标注