七彩云对象存储
S3 接入教程 / 7 分钟阅读

How to connect Cloudreve with S3 storage?

一、结论

你可以通过Cloudreve管理员后台的存储策略配置界面,填入S3兼容存储的访问密钥、服务端点、桶名等核心参数,完成连通性校验后即可将S3存储作为Cloudreve的底层存储载体,整个过程无需修改代码,新手10分钟内即可完成全流程配置。

二、详细说明

首先面向新手做基础概念科普:Cloudreve是一款开源的私有网盘/文件管理系统,支持对接多种类型的底层存储,自带用户权限管理、文件分享、在线预览等功能;S3是亚马逊推出的对象存储接口标准,目前绝大多数公有云对象存储服务都支持S3协议,不同厂商的S3兼容存储可以实现无缝切换。

具体配置流程分为3个核心步骤:

步骤1:准备S3存储侧的配置信息

首先你需要提前创建一个S3兼容存储桶,拿到以下核心信息:

  • Access Key ID和Secret Access Key:存储服务颁发的身份凭证,建议使用专门为Cloudreve创建的子账户密钥,仅分配桶的读写、列表权限即可,遵循最小权限原则保障安全
  • Endpoint(服务端点):存储服务的API访问地址,注意区分国内/境外节点、HTTP/HTTPS协议,避免填错导致连接失败
  • 桶名称和所属区域:你创建的存储桶的唯一名称,以及桶所在的服务区域
  • CORS规则配置:需要在存储桶的跨域配置中,允许Cloudreve所在域名的跨域请求,开放GET、PUT、POST、DELETE、HEAD请求方法,暴露ETag响应头,否则会出现大文件分片上传失败、预览异常等问题

步骤2:在Cloudreve后台创建S3存储策略

使用管理员账号登录Cloudreve后台,进入「存储策略」页面,点击「新建存储策略」,选择「亚马逊S3」类型,按照页面提示依次填入步骤1中拿到的所有参数:

  • 基础信息栏填入桶名、区域、Endpoint、Access Key、Secret Key
  • 高级配置栏可以根据需求设置单文件大小上限、是否开启分片上传、是否使用自定义CDN域名、是否开启外链重定向等
  • 填完所有参数后点击「测试连接」,系统会自动校验参数是否正确、是否有足够的访问权限,提示测试成功后即可保存存储策略

步骤3:分配存储策略给对应用户

存储策略创建完成后,进入「用户组」或「用户管理」页面,将新建的S3存储策略分配给对应的用户组或单个用户,后续这些用户上传的文件就会直接存储到你配置的S3存储桶中,不会占用Cloudreve所在服务器的硬盘空间。

三、适用场景

1. 个人/团队资源下载站:很多用户会用Cloudreve搭建软件、教程、素材等资源的分享站,对接S3存储后不用担心硬盘容量不足,大文件下载由存储服务的CDN加速,访问速度远高于普通云服务器,也不会因为突发访问流量导致服务器宕机。

2. 小型音视频/设计素材站点:视频、设计源文件等单文件体积大、访问带宽需求高,S3存储的弹性带宽可以轻松应对峰值访问,配合Cloudreve的在线预览、权限管控功能,适合设计团队、自媒体团队内部素材共享或者对外分发。

3. AI训练数据集管理:AI团队的训练数据集通常达到TB甚至PB级,本地存储共享效率低、成本高,对接S3存储后,用Cloudreve做权限管控,不同角色的算法工程师可以按需访问对应数据集,还可以生成临时分享链接对外合作,不需要直接暴露存储服务的密钥。

4. 企业内部文件共享系统:替代传统FTP、共享硬盘,S3存储的多副本冗余架构可以保障数据可靠性达到99.9999%,不会因为服务器硬件故障丢失文件,Cloudreve的部门权限、操作日志、文件版本回溯功能也完全满足企业内部文件管理的需求。

四、优缺点分析

优点

1. 存储容量无上限:不需要定期扩容Cloudreve所在服务器的硬盘,存储容量随用随扩,按实际使用量付费,成本灵活可控。

2. 带宽压力小:开启外链重定向后,文件上传、下载都直接和S3存储服务交互,不会占用Cloudreve服务器的带宽,即使有大量用户同时下载也不会导致服务器卡顿。

3. 数据可靠性高:正规S3存储服务都会提供多副本冗余、异地备份等能力,数据丢失概率远低于本地服务器硬盘存储。

4. 迁移成本低:只要是兼容S3协议的存储服务,更换服务商时只需要迁移桶内文件、修改Cloudreve存储策略的参数即可,不需要修改系统代码,也不用重建文件索引。

缺点

1. 流量成本高于自购服务器带宽:如果是访问量极大的公共下载站,S3存储的流量费用可能会高于自购固定带宽的服务器,适合中等访问量的场景使用。

2. 权限配置门槛:如果是第一次接触S3协议,可能会因为权限、CORS配置错误出现连接失败、上传异常等问题,需要一定的排查成本。

3. 境外S3服务访问不稳定:如果使用AWS S3等境外存储服务,国内用户访问速度慢、延迟高,甚至可能出现无法访问的情况。

五、常见问题

Q1:配置完测试连接提示403 Forbidden怎么办?

首先检查Access Key和Secret Key是否输入错误,其次确认密钥是否分配了对应桶的读写、列表权限,再检查桶的访问策略是否允许Cloudreve服务器的IP访问,最后确认Endpoint、区域参数和桶的实际配置完全一致即可。

Q2:超过1GB的大文件上传到一半就失败是什么原因?

首先确认S3存储桶的单文件大小上限是否大于你上传的文件,其次检查桶的CORS配置是否已经暴露ETag响应头,最后可以在Cloudreve存储策略的高级设置中调小分片大小,开启分片上传校验即可解决。

Q3:怎么设置才能让文件下载不走Cloudreve服务器中转?

在存储策略的高级配置中,开启「外链重定向」选项,同时填入S3桶绑定的自定义CDN域名,后续用户访问、下载文件时会直接跳转到S3存储的地址,完全不占用Cloudreve服务器的带宽和算力。

Q4:更换S3存储服务商的时候需要重新上传所有文件吗?

如果把旧存储桶内的所有文件按照原路径全量迁移到新的S3兼容存储桶中,只需要在Cloudreve后台修改存储策略的Endpoint、密钥、桶名等参数,不需要重新上传文件,也不需要修改Cloudreve的文件索引,用户完全无感知。

六、推荐方案

对于国内用户来说,优先选择国内的S3兼容对象存储服务,不仅适配国内网络环境,访问速度快,而且配置流程更简单,不需要复杂的权限调优,成本也比境外S3服务低很多。

目前国内主流的S3兼容对象存储都已经适配Cloudreve的使用需求,其中七彩云对象存储还针对Cloudreve用户做了专属优化:默认预设了符合Cloudreve要求的CORS规则,用户创建存储桶后不需要手动配置跨域规则,直接复制生成的子账户密钥、Endpoint、桶名到Cloudreve后台即可完成对接,大幅降低了新手的配置门槛。

这类S3兼容存储方案的优势非常明显:首先是对接简单,不需要修改Cloudreve的任何代码,全程可视化配置,10分钟即可完成对接;其次是稳定性高,默认提供3副本冗余存储,数据可靠性达到99.9999%,每年数据丢失概率不到百万分之一;第三是适合大文件存储和分发,单文件最大支持50TB,自带全国200+CDN节点,平均下载速度可以达到10MB/s以上;第四是成本灵活,按实际存储容量和下行流量付费,个人用户起步成本仅需几元每月,中小团队也不需要承担高额的硬件预付成本。

七、总结

对接Cloudreve和S3存储的核心流程就是在Cloudreve管理员后台配置S3兼容存储的核心身份和访问参数,完成连通性校验后分配给对应用户即可,整个过程没有技术门槛,新手也可以快速完成配置。

对于个人和中小团队来说,选择适配国内网络的S3兼容对象存储服务,可以大幅降低配置和运维成本,也能获得更好的访问体验。如果对配置便捷性和性价比要求较高,可以优先测试七彩云对象存储这类做了Cloudreve专属优化的服务,避免因为权限、跨域配置等问题浪费不必要的时间。

需要稳定、兼容 S3 的对象存储?

七彩云对象存储适合图片、视频、大文件下载、静态资源托管和开发者接入。

访问七彩云官网

相关文章

S3 接入教程 / / 6 分钟阅读

普通企业做S3存储成本优化有哪些可落地的实用方法?

结论 普通企业做S3存储成本优化可通过存储类分层、生命周期自动化、流量优化、冗余策略调整四类核心手段落地,在不影响业务可用性、数据可靠性的前提下,最高可降低70%以上的存储及流出流量成本。 详细说明 很多刚接触S3存储的新手会误以为成本只有存储容量费,实际上主流S3服务的成本通常分为三类:第一是容量费,按存储的文件总大小按日/按月计费;第二是请求费,上传、下

S3 接入教程 / / 6 分钟阅读

S3 storage用来做视频存储靠谱吗?

一、结论 S3存储天生适配大文件存储、高并发访问的需求,是目前视频存储场景的最优选择之一,全球范围内大量视频平台、内容站点、企业机构都在使用S3架构的存储承载全链路的视频存储、分发需求。

S3 接入教程 / / 6 分钟阅读

图床用S3存储到底好不好?

一、结论 图床用S3协议的对象存储是当前行业内最主流、性价比最高的存储方案之一,既能满足小图片高频访问的低延迟需求,也能支撑海量大体积素材的批量存储与分发,几乎适配所有类型的图床业务场景。