使用Colab下载资源

很多的数据集放在 AWS S3 上,下载的速度十分缓慢,前面提到可使用 VPS 下载。Colab + Google Drive 不就是免费且强大的 VPS 吗!?

Colab 中的 NoteBook 通过 加上! 可以执行一些 Shell 命令,我们可以通过安装 AWS-CLI 来获取在 AWS 上的资源。

一、AWS S3

1 安装 AWS-CLI

1
2
3
4
5
6
7
8
9
10
11
# 下载
! curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"

# 解压
! unzip awscliv2.zip

# 安装(不需要 root 权限)
! ./aws/install

# 安装成功后,查看版本测试
! aws --version

2 下载资源

! aws s3 cp --no-sign-request "s3://xxx.xxx" <drive_path>