如何使用远程计算资源

在普渡学习期间,为了提高训练模型的速度,获得了使用多个远程计算资源的权限,包括课题组自己搭建的 swarm 和 crater 服务器,普渡计算中心集群 Conte [1],以及匹兹堡超算中心(Pittsburgh Supercomputing Center)Bridges 计算集群。下面记录一下使用各个远程计算资源的方法。

swarm 和 crater

远程登录主机

在 macos 或 Linux 中,可以直接使用 ssh 命令登录远程主机,使用方法为

1
$ ssh username_in_remote_host@remote_host

其中,username_in_remote_host 是自己在远程主机上拥有的用户名,remote_host 是远程主机的 IP 地址或者域名。登录远程主机以后就跟在自己电脑上一样操作了。另外,可以使用下面的 scp 命令在本地主机和远程主机之间传输文件

1
$ scp path_to_local_file username_in_remote_host@remote_host:path_to_remote_file

值得一提的是,我们可以在本地使用多个 shell 登录远程主机,而且在远程主机上可以使用同样的命令登录另外一台远程主机,比如说课题组还有一台服务器 crater 只能通过内网访问,而我的 mac 只能连无线网,无法接入内网,只能通过 ssh 先连接到可以外网访问的服务器 swarm,然后在 swarm 上再通过 ssh 连接 crater。

ssh 免密登录

正常情况下,每次在本地使用 ssh 和 scp 的时候,都需要输入一次远程主机的登录密码,非常麻烦。为方便起见,我们可以使用 ssh 秘钥对来进行免密登录。

首先,在本地主机使用ssh-keygen命令产生秘钥对,密钥对默认存放在 ~/.ssh 文件夹中,需要注意的是,在产生秘钥过程中会提示设置密码,我们直接按回车键,表示不设置密码,否则就失去了免密登录的意义了。接下来使用 scp 命令把 ~/.ssh 文件夹中的 id_rsa.pub 文件远程拷贝到远程主机的 ~/.ssh 文件夹(如果没有,可以使用mkdir .ssh命令创建)中,接下来使用下面命令对远程主机中的 id_rsa.pub 进行重命名

1
$ mv id_rsa.pub authorized_keys

这个时候当我们再在本地执行 ssh 命令时,不需要输密码就能进入远程主机了。

Conte

front end,计算集群

存储空间使用

提交任务

Bridges

Reference

  1. Conte user guide
  2. Bridges user guide
Contents
  1. 1. swarm 和 crater
    1. 1.1. 远程登录主机
    2. 1.2. ssh 免密登录
  2. 2. Conte
    1. 2.1. 存储空间使用
    2. 2.2. 提交任务
  3. 3. Bridges
  4. 4. Reference
|