rclone

博主： billljc
发布时间：2024 年 04 月 20 日
360 次浏览
关闭评论
8691字数
分类：默认分类

rclone

在shell里运行安装

singularity pull rclone.sif docker://rclone/rclone:latest #安装rclone
singularity run rclone.sif  #运行rclone

以下 rclone 均用 singularity run rclone.sif 代替（建议写到alias 里面alias rclone='singularity run rclone.sif'）

1.获取Token

在Windows电脑上下载Rclone，下载地址:https://rclone.org/downloads/ ，然后解压，使用cmd进入解压后的文件夹

./rclone.exe authorize "onedrive"

然后会跳转到浏览器的登录页面，输入账号密码登录成功后cmd命令框就会返回你的token

框起来的就是要复制保存的，后期会用

2.Linux安装onedirve

官方提供的脚本

curl https://rclone.org/install.sh | bash

3.配置

安装好之后输入：

rclone config

会看到：

2022/04/27 09:01:17 NOTICE: Config file "/root/.config/rclone/rclone.conf" not found - using defaults
No remotes found, make a new one?
n) New remote
s) Set configuration password
q) Quit config
n/s/q>

输入 n 新建配置。

name 可以随便输入，

然后会出现挂载的服务类型，如下：

Option Storage.
Type of storage to configure.
Choose a number from below, or type in your own value.
 1 / 1Fichier
   \ (fichier)
 2 / Akamai NetStorage
   \ (netstorage)
 3 / Alias for an existing remote
   \ (alias)
 4 / Amazon Drive
   \ (amazon cloud drive)
 5 / Amazon S3 Compliant Storage Providers including AWS, Alibaba, Ceph, Digital Ocean, Dreamhost, IBM COS, Lyve Cloud, Minio, RackCorp, SeaweedFS, and Tencent COS
   \ (s3)
 6 / Backblaze B2
   \ (b2)
 7 / Better checksums for other remotes
   \ (hasher)
 8 / Box
   \ (box)
 9 / Cache a remote
   \ (cache)
10 / Citrix Sharefile
   \ (sharefile)
11 / Compress a remote
   \ (compress)
12 / Dropbox
   \ (dropbox)
13 / Encrypt/Decrypt a remote
   \ (crypt)
14 / Enterprise File Fabric
   \ (filefabric)
15 / FTP Connection
   \ (ftp)
16 / Google Cloud Storage (this is not Google Drive)
   \ (google cloud storage)
17 / Google Drive
   \ (drive)
18 / Google Photos
   \ (google photos)
19 / Hadoop distributed file system
   \ (hdfs)
20 / Hubic
   \ (hubic)
21 / In memory object storage system.
   \ (memory)
22 / Jottacloud
   \ (jottacloud)
23 / Koofr, Digi Storage and other Koofr-compatible storage providers
   \ (koofr)
24 / Local Disk
   \ (local)
25 / Mail.ru Cloud
   \ (mailru)
26 / Mega
   \ (mega)
27 / Microsoft Azure Blob Storage
   \ (azureblob)
28 / Microsoft OneDrive
   \ (onedrive)
29 / OpenDrive
   \ (opendrive)
30 / OpenStack Swift (Rackspace Cloud Files, Memset Memstore, OVH)
   \ (swift)
31 / Pcloud
   \ (pcloud)
32 / Put.io
   \ (putio)
33 / QingCloud Object Storage
   \ (qingstor)
34 / SSH/SFTP Connection
   \ (sftp)
35 / Sia Decentralized Cloud
   \ (sia)
36 / Storj Decentralized Cloud Storage
   \ (storj)
37 / Sugarsync
   \ (sugarsync)
38 / Transparently chunk/split large files
   \ (chunker)
39 / Union merges the contents of several upstream fs
   \ (union)
40 / Uptobox
   \ (uptobox)
41 / Webdav
   \ (webdav)
42 / Yandex Disk
   \ (yandex)
43 / Zoho
   \ (zoho)
44 / http Connection
   \ (http)
45 / premiumize.me
   \ (premiumizeme)
46 / seafile
   \ (seafile)
Storage>

直接输入序号，比如我挂载的是 OneDrive 就可以输入 28 ，

client_id 可以直接回车默认，

client_secret 也可以直接回车默认，

然后会出现 OneDrive 区域选择，如下：

1234567891011Choose national cloud region for OneDrive.
Enter a string value. Press Enter for the default ("global").
Choose a number from below, or type in your own value
 1 / Microsoft Cloud Global
   \ "global"
 2 / Microsoft Cloud for US Government
   \ "us"
 3 / Microsoft Cloud Germany
   \ "de"
 4 / Azure and Office 365 operated by 21Vianet in China
   \ "cn"

可以直接输入 1 选择全球，

然后是选择是否进行高级配置，如下：

123dit advanced config? (y/n)
y) Yes
n) No (default)

可以输入 n ，

接着是自动配置选择，如下：

123456Remote config
Use auto config?
 * Say Y if not sure
 * Say N if you are working on a remote or headless machine
y) Yes (default)
n) No

可以输入 n ，

这里需要获取授权码：

Copy1234567891011For this to work, you will need rclone available on a machine that has
a web browser available.

For more help and alternate methods see: https://rclone.org/remote_setup/

Execute the following on the machine with the web browser (same rclone
version recommended):

    rclone authorize "onedrive"

Then paste the result below:

然后复制刚刚保存的token包括首尾的 {} ，到 Linux 终端粘贴。

然后是选择 OneDrive 的类型，如下：

123456789101112131415Choose a number from below, or type in an existing value
 1 / OneDrive Personal or Business
   \ "onedrive"
 2 / Root Sharepoint site
   \ "sharepoint"
 3 / Sharepoint site name or URL (e.g. mysite or https://contoso.sharepoint.com/sites/mysite)
   \ "url"
 4 / Search for a Sharepoint site
   \ "search"
 5 / Type in driveID (advanced)
   \ "driveid"
 6 / Type in SiteID (advanced)
   \ "siteid"
 7 / Sharepoint server-relative path (advanced, e.g. /teams/hr)
   \ "path"

可以输入 1 ，

然后会显示找到的 OneDrive 账户，如下：

12Found 1 drives, please select the one you want to use:
0: OneDrive (business) id=b!b_xnJJqyBMSVPjgvhvbP8XmJ_M_dMjhzrbhnaWknnbKqNBm8MTqM3kvEtW67P

根据提示输入序号，

这里会根据你输入的序号查找账户，如下：

1234Found drive 'root' of type 'business', URL: https://xxx-my.sharepoint.com/personal/changbin_xxx_onmicrosoft_com/Documents
Is that okay?
y) Yes (default)
n) No

确认无误后输入 y ，

接着会显示你选择的配置信息，确认无误后输入 y 保存配置。

4.挂载

其他博客对挂载参数的说明

root权限安装fuse3

sudo apt install fuse3

进入挂载目录上一级

cd ~

输入：root用户建议用下面这条

rclone mount onedrive_ljc:/ onedrive_disk/ --allow-other --attr-timeout 5m --vfs-cache-mode full --vfs-cache-max-age 48h --vfs-cache-max-size 30G --vfs-read-chunk-size-limit 100M --buffer-size 800M --daemon

非root用户（去除--allow-other，否则会报错）：

rclone mount onedrive_ljc:/ljc/ onedrive_ljc/ --attr-timeout 5m --vfs-cache-mode full --vfs-cache-max-age 48h --vfs-cache-max-size 10G --vfs-read-chunk-size-limit 100M --buffer-size 800M --daemon

‍

rclone mount configName:OneDriveLocation dir --copy-links --no-gzip-encoding --no-check-certificate --allow-other --allow-non-empty --umask 000

其中的 configName 就是配置名称，OneDriveLocation 就是要挂载的 OneDrive 目录，dir 就是要挂载到的本地目录。

例如我要把一个名为 myonedrive 的配置挂载到本地的 /myonedrive 目录

没有目录的话先创建：mkdir myonedrive

我可以这样写：

nohup rclone mount myonedrive:/ /root/myonedrive --vfs-cache-mode writes --vfs-cache-max-age 10s --onedrive-chunk-size 100M >/dev/null 2>&1 &

我这里挂载的是整个 OneDrive 网盘，所以我写的是 OneDrive 的根目录 / 。

挂载完成后不会显示任何内容，可以再开一个终端，输入 df -h 查看磁盘空间，如下：

成功挂载！！

常用指令

rclone mkdir remote:path [flags]

rclone [命令] onedrive_ljc:/

上传：

rclone copy /home/data/ssy307/data/GOLP/Figure8/sc.cd8T_human_2000.RDS onedrive_ljc:/ --transfers 32 -P

下载：

rclone copy onedrive_ljc:/sc.cd8T_human_2000.RDS /home/data/ssy307/Onedrive --transfers 32 -P

rclone copy – 复制

rclone sync – 同步 将目录内容同步到网盘目录

rclone move – 移动 将目录内文件移动到网盘，默认删除路径文件 

rclone purge – 删除路径及所有文件 

rclone delete – 删除路径所有文件但不删除路径 

rclone mkdir – 创建目录 

rclone rmdir – 删除目录 

rclone check – 检查目标文件与源文件是否匹配 

rclone ls – 列出指定路径下的所有的文件以及文件大小 

rclone lsf --max-depth 1 – 列出指定路径下的所有的文件以及文件大小且停止递归

rclone lsl – 仅列出对象的修改时间，大小和路径 

rclone lsd – 仅列出目录

注意ls和lsl默认是递归的 – 使用--max-depth 1来停止递归。.

其他列表命令lsd,lsf,lsjson默认不递归 – 使用R使其递归。.

第六步：别忘了还需要安装个screen

apt-get install -y screen    //这是debian系

centos系安装screen需要使用yum install screen

上传命令

rclone move source:path dest:path    //别急看完下面的


若要加screen 后台运行，rclone 换成必须singularity run rclone.sif  alias没用
screen rclone move /root/download onedrive1:/upload --transfers 32 -P    //完整的命令

参数详解：

source:path是本地目录，dest:path是云端目录

其中dest是网盘名称，就你刚才随便取的那个path就是目录

你可以指定上传到哪一个文件夹

比如说，

我要把本地的/root/download目录下所有的文件移动到onedrive里面的/upload文件夹里面

命令应该是rclone move /root/download onedrive1:/upload

但是这样上传的话，他一直在前台上传,占用你的ssh。
想让他变成后台，在前面加上screen

命令就是：screen rclone move /root/download onedrive1:/upload

这样你就可以关掉ssh，他就可以在后台上传

如果文件目录比较复杂，而且文件数量庞大
可以提高线程，他默认是4线程，测试后发现100M带宽32线程效果最好。（根据你的vps而定线程。）

可以在后面再加一个参数 -P（大写）显示上传详情

screen rclone move /root/download onedrive1:/upload --transfers 32 -P

screen

等你想看看传完了没有的时候,
screen -ls就可以看到后台screen进程。

‍

最后修改：2024 年 04 月 20 日

如果觉得我的文章对你有用，请随意赞赏

此处评论已关闭

rclone

billljc • 2024 年 04 月 20 日

<h1>rclone</h1>在shell里运行安装<pre><code class="lang-shell">singularity pull rclone.sif docker://rclone/rclone:latest #安装rclone
singularity run rclone.sif #运行rclone</code></pre>以下 rclone 均用 singularity run rclone.sif 代替（建议写到alias 里面alias rclone='singularity run rclone.sif'）<h2>1.获取Token</h2>在Windows电脑上下载Rclone，下载地址:<a class="no-external-link" href="https://rclone.org/downloads/" target="_blank">https://rclone.org/downloads/</a> ，然后解压，使用cmd进入解压后的文件夹<pre><code class="lang-powershell">./rclone.exe authorize &quot;onedrive&quot;</code></pre>然后会跳转到浏览器的登录页面，输入账号密码登录成功后cmd命令框就会返回你的token框起来的就是要复制保存的，后期会用<img src="https://s2.loli.net/2024/04/20/FXkVDbKqBtdvI71.jpg" alt="" title="" style=""><h2>2.Linux安装onedirve</h2>官方提供的脚本<pre><code class="lang-shell">curl https://rclone.org/install.sh | bash</code></pre><img src="https://s2.loli.net/2024/04/20/1HWtj5TMPOJuBAk.jpg" alt="" title="" style=""><h2>3.配置</h2>安装好之后输入：<pre><code class="lang-shell">rclone config</code></pre>会看到：<pre><code class="lang-shell">2022/04/27 09:01:17 NOTICE: Config file &quot;/root/.config/rclone/rclone.conf&quot; not found - using defaults
No remotes found, make a new one?
n) New remote
s) Set configuration password
q) Quit config
n/s/q&gt; </code></pre>输入 <code>n</code> 新建配置。<code>name</code> 可以随便输入，然后会出现挂载的服务类型，如下：<pre><code class="lang-shell">Option Storage.
Type of storage to configure.
Choose a number from below, or type in your own value.
 1 / 1Fichier
 \ (fichier)
 2 / Akamai NetStorage
 \ (netstorage)
 3 / Alias for an existing remote
 \ (alias)
 4 / Amazon Drive
 \ (amazon cloud drive)
 5 / Amazon S3 Compliant Storage Providers including AWS, Alibaba, Ceph, Digital Ocean, Dreamhost, IBM COS, Lyve Cloud, Minio, RackCorp, SeaweedFS, and Tencent COS
 \ (s3)
 6 / Backblaze B2
 \ (b2)
 7 / Better checksums for other remotes
 \ (hasher)
 8 / Box
 \ (box)
 9 / Cache a remote
 \ (cache)
10 / Citrix Sharefile
 \ (sharefile)
11 / Compress a remote
 \ (compress)
12 / Dropbox
 \ (dropbox)
13 / Encrypt/Decrypt a remote
 \ (crypt)
14 / Enterprise File Fabric
 \ (filefabric)
15 / FTP Connection
 \ (ftp)
16 / Google Cloud Storage (this is not Google Drive)
 \ (google cloud storage)
17 / Google Drive
 \ (drive)
18 / Google Photos
 \ (google photos)
19 / Hadoop distributed file system
 \ (hdfs)
20 / Hubic
 \ (hubic)
21 / In memory object storage system.
 \ (memory)
22 / Jottacloud
 \ (jottacloud)
23 / Koofr, Digi Storage and other Koofr-compatible storage providers
 \ (koofr)
24 / Local Disk
 \ (local)
25 / Mail.ru Cloud
 \ (mailru)
26 / Mega
 \ (mega)
27 / Microsoft Azure Blob Storage
 \ (azureblob)
28 / Microsoft OneDrive
 \ (onedrive)
29 / OpenDrive
 \ (opendrive)
30 / OpenStack Swift (Rackspace Cloud Files, Memset Memstore, OVH)
 \ (swift)
31 / Pcloud
 \ (pcloud)
32 / Put.io
 \ (putio)
33 / QingCloud Object Storage
 \ (qingstor)
34 / SSH/SFTP Connection
 \ (sftp)
35 / Sia Decentralized Cloud
 \ (sia)
36 / Storj Decentralized Cloud Storage
 \ (storj)
37 / Sugarsync
 \ (sugarsync)
38 / Transparently chunk/split large files
 \ (chunker)
39 / Union merges the contents of several upstream fs
 \ (union)
40 / Uptobox
 \ (uptobox)
41 / Webdav
 \ (webdav)
42 / Yandex Disk
 \ (yandex)
43 / Zoho
 \ (zoho)
44 / http Connection
 \ (http)
45 / premiumize.me
 \ (premiumizeme)
46 / seafile
 \ (seafile)
Storage&gt; </code></pre>直接输入序号，比如我挂载的是 OneDrive 就可以输入 <code>28</code> ，<code>client_id</code> 可以直接回车默认，<code>client_secret</code> 也可以直接回车默认，然后会出现 OneDrive 区域选择，如下：<pre><code class="lang-shell">1234567891011Choose national cloud region for OneDrive.
Enter a string value. Press Enter for the default (&quot;global&quot;).
Choose a number from below, or type in your own value
 1 / Microsoft Cloud Global
 \ &quot;global&quot;
 2 / Microsoft Cloud for US Government
 \ &quot;us&quot;
 3 / Microsoft Cloud Germany
 \ &quot;de&quot;
 4 / Azure and Office 365 operated by 21Vianet in China
 \ &quot;cn&quot;</code></pre>可以直接输入 <code>1</code> 选择全球，然后是选择是否进行高级配置，如下：<pre><code class="lang-shell">123dit advanced config? (y/n)
y) Yes
n) No (default)</code></pre>可以输入 <code>n</code> ，接着是自动配置选择，如下：<pre><code class="lang-shell">123456Remote config
Use auto config?
 * Say Y if not sure
 * Say N if you are working on a remote or headless machine
y) Yes (default)
n) No</code></pre>可以输入 <code>n</code> ，这里需要获取授权码：<pre><code class="lang-shell">Copy1234567891011For this to work, you will need rclone available on a machine that has
a web browser available.

For more help and alternate methods see: https://rclone.org/remote_setup/

Execute the following on the machine with the web browser (same rclone
version recommended):

rclone authorize &quot;onedrive&quot;

Then paste the result below:</code></pre>然后复制刚刚保存的token包括首尾的 {} ，到 Linux 终端粘贴。然后是选择 OneDrive 的类型，如下：<pre><code class="lang-shell">123456789101112131415Choose a number from below, or type in an existing value
 1 / OneDrive Personal or Business
 \ &quot;onedrive&quot;
 2 / Root Sharepoint site
 \ &quot;sharepoint&quot;
 3 / Sharepoint site name or URL (e.g. mysite or https://contoso.sharepoint.com/sites/mysite)
 \ &quot;url&quot;
 4 / Search for a Sharepoint site
 \ &quot;search&quot;
 5 / Type in driveID (advanced)
 \ &quot;driveid&quot;
 6 / Type in SiteID (advanced)
 \ &quot;siteid&quot;
 7 / Sharepoint server-relative path (advanced, e.g. /teams/hr)
 \ &quot;path&quot;</code></pre>可以输入 <code>1</code> ，然后会显示找到的 OneDrive 账户，如下：<pre><code class="lang-shell">12Found 1 drives, please select the one you want to use:
0: OneDrive (business) id=b!b_xnJJqyBMSVPjgvhvbP8XmJ_M_dMjhzrbhnaWknnbKqNBm8MTqM3kvEtW67P</code></pre>根据提示输入序号，这里会根据你输入的序号查找账户，如下：<pre><code class="lang-shell">1234Found drive 'root' of type 'business', URL: https://xxx-my.sharepoint.com/personal/changbin_xxx_onmicrosoft_com/Documents
Is that okay?
y) Yes (default)
n) No</code></pre>确认无误后输入 <code>y</code> ，接着会显示你选择的配置信息，确认无误后输入 <code>y</code> 保存配置。<h2>4.挂载</h2><a class="no-external-link" href="https://blog.xiaoz.org/archives/15519" target="_blank">其他博客对挂载参数的说明</a>root权限安装fuse3<code>sudo apt install fuse3</code>进入挂载目录上一级<code>cd ~</code>输入：root用户建议用下面这条<pre><code class="lang-shell">rclone mount onedrive_ljc:/ onedrive_disk/ --allow-other --attr-timeout 5m --vfs-cache-mode full --vfs-cache-max-age 48h --vfs-cache-max-size 30G --vfs-read-chunk-size-limit 100M --buffer-size 800M --daemon</code></pre>非root用户（去除--allow-other，否则会报错）：<pre><code class="lang-shell">rclone mount onedrive_ljc:/ljc/ onedrive_ljc/ --attr-timeout 5m --vfs-cache-mode full --vfs-cache-max-age 48h --vfs-cache-max-size 10G --vfs-read-chunk-size-limit 100M --buffer-size 800M --daemon</code></pre>‍‍<pre><code class="lang-shell">rclone mount configName:OneDriveLocation dir --copy-links --no-gzip-encoding --no-check-certificate --allow-other --allow-non-empty --umask 000</code></pre>其中的 <code>configName</code> 就是配置名称，<code>OneDriveLocation</code> 就是要挂载的 OneDrive 目录，<code>dir</code> 就是要挂载到的本地目录。例如我要把一个名为 <code>myonedrive</code> 的配置挂载到本地的 <code>/myonedrive</code> 目录没有目录的话先创建：mkdir myonedrive我可以这样写：<pre><code class="lang-shell">nohup rclone mount myonedrive:/ /root/myonedrive --vfs-cache-mode writes --vfs-cache-max-age 10s --onedrive-chunk-size 100M &gt;/dev/null 2&gt;&amp;1 &amp;
</code></pre>我这里挂载的是整个 OneDrive 网盘，所以我写的是 OneDrive 的根目录 <code>/</code> 。挂载完成后不会显示任何内容，可以再开一个终端，输入 <code>df -h</code> 查看磁盘空间，如下：<img src="https://s2.loli.net/2024/04/20/SQqCIfbz9v1BX3r.jpg" alt="" title="" style="">成功挂载！！常用指令rclone mkdir remote:path [flags]rclone [命令] onedrive_ljc:/ 上传：rclone copy /home/data/ssy307/data/GOLP/Figure8/sc.cd8T_human_2000.RDS onedrive_ljc:/ --transfers 32 -P下载：rclone copy onedrive_ljc:/sc.cd8T_human_2000.RDS /home/data/ssy307/Onedrive --transfers 32 -P<pre><code class="lang-shell">rclone copy – 复制

rclone sync – 同步 将目录内容同步到网盘目录

rclone move – 移动 将目录内文件移动到网盘，默认删除路径文件

rclone purge – 删除路径及所有文件

rclone delete – 删除路径所有文件但不删除路径

rclone mkdir – 创建目录

rclone rmdir – 删除目录

rclone check – 检查目标文件与源文件是否匹配

rclone ls – 列出指定路径下的所有的文件以及文件大小

rclone lsf --max-depth 1 – 列出指定路径下的所有的文件以及文件大小且停止递归

rclone lsl – 仅列出对象的修改时间，大小和路径

rclone lsd – 仅列出目录 </code></pre>注意<code>ls</code>和<code>lsl</code>默认是递归的 – 使用<code>--max-depth 1</code>来停止递归。.其他列表命令<code>lsd</code>,<code>lsf</code>,<code>lsjson</code>默认不递归 – 使用<code>R</code>使其递归。.<h3>第六步：别忘了还需要安装个screen</h3><pre><code class="lang-shell">apt-get install -y screen //这是debian系

centos系安装screen需要使用yum install screen</code></pre><h2>上传命令</h2><pre><code class="lang-shell">rclone move source:path dest:path //别急看完下面的

若要加screen 后台运行，rclone 换成必须singularity run rclone.sif alias没用
screen rclone move /root/download onedrive1:/upload --transfers 32 -P //完整的命令</code></pre><img src="undefined" alt="" title="" style=""><h3>参数详解：</h3>source:path是本地目录，dest:path是云端目录其中dest是网盘名称，就你刚才随便取的那个path就是目录你可以指定上传到哪一个文件夹比如说，我要把本地的/root/download目录下所有的文件移动到onedrive里面的/upload文件夹里面命令应该是rclone move /root/download onedrive1:/upload但是这样上传的话，他一直在前台上传,占用你的ssh。 想让他变成后台，在前面加上screen命令就是：screen rclone move /root/download onedrive1:/upload这样你就可以关掉ssh，他就可以在后台上传如果文件目录比较复杂，而且文件数量庞大 可以提高线程，他默认是4线程，测试后发现100M带宽32线程效果最好。（根据你的vps而定线程。）可以在后面再加一个参数 -P（大写）显示上传详情screen rclone move /root/download onedrive1:/upload --transfers 32 -P<h3>screen</h3>等你想看看传完了没有的时候, screen -ls就可以看到后台screen进程。‍

rclone

rclone

1.获取Token

2.Linux安装onedirve

3.配置

4.挂载

第六步：别忘了还需要安装个screen

上传命令

参数详解：

screen

欢迎使用 Typecho

rclone

针对网盘限速的分块上传、下载思路

Linux分卷压缩与分卷解压缩

多线程压缩pigz

欢迎使用 Typecho

磁珠分选细胞

Linux分卷压缩与分卷解压缩

rclone

小鼠活体成像

rclone