rgw 上传对象后,底层发生了什么变化 rgw 简介 当我们用 s3cmd 上传一个文件后,底层会发生什么? 上传文件后池的变化?上传成功后,s3cmd ls 看下这个桶有什么?发现已经上传成功那问题来了,这个上传的文件 具体在哪里? 首先 看下底层的池发生了什么变化,这里我们 用rados df 命令来看,发现有两个池里有新增的数据?这个两个池的名字上看,一个是数据池和索引池,上传后是这样,从 bucket.data 可 2024-01-01 #ceph
raft 论文翻译 raft论文,这里我计划j将论文翻译了一遍,原本是不翻译的,单纯看看,但看了几章,又没有印象,而且没有输出,只是单纯看了而已,并没有思考;当然这里这里并不是全部机翻,结合我的当下的理解来翻译,也不是全文翻译,有些重要的我就贴出原文,后续再来完善; 一段一段翻译,… 代表跳过(不是重点)有一些名字我直接用 单词,我感觉翻译出来很怪…. 这个网站有raft 动态 http://thesecre 2023-08-19 分布式 #raft
rgw中 各个池的作用(更新中) *背景*这里主要介绍 与rgw 相关的pool ,对象网关使用几个池来满足其各种存储需求( radosgw-admin zone get 可以看到,如下图) , 这里从 zone get 里展示出来的 各种pool 出发,介绍下各个pool的功能,以及里面包含了什么 池的命名规则首先我们用 rados lspool 看这个集群有那些 pool ,发现带有rgw 字眼的的只有三个,而我们用 zon 2023-08-04 #ceph
slow op的排查手段(更新中) 背景slow op是cpeh 里面老生长谈的问题,像是牛皮癣,从底层看是op处理慢,从客户的业务层看重则卡死(例如 rbd挂载文件系统,底层 一直出现slow op现象,会y有可能触发文件系统的只读机制)轻则业务下发慢; 在线上遇到很多次,但也是偶发性的,往往是后续 巡检的时候才发现;最近遇到的一次是客户的对象存储业务经常卡顿,严重的时候直接请求直接失败,上线一看果然是slow op,这种严重情况 2023-08-01 #ceph
结构型模式 适配器模式适配器是一种结构型设计模式,它能使接口不兼容的对象能够,相互合作。 举个例子国内是电源插座是220V,现在呢,我出国了,比如说印度,印度的电源是230的,国内的用的220v的充电头用不了,那怎么办,一种是去他们国家买个新的,另一种是搞个万能转接头,比如说230转220的,这样就可以使用了,这种转接头也就是 适配器 1234567891011121314151617181920212223 2023-05-01 #设计模式
创建型模式 23种模式中可以划分为三大类,分别是 创建型模式,结构型模式,行为模式,这三部分我分三篇来写,本文主要介绍创建型模式 什么事创建型模式?创建型模式提供了创建对象的机制,能够提升已有代码的灵活性和可复用性。 创建模式分为几种? 工厂方法 抽象方法 生成器 原型 单例 工厂方法 假如说有个工厂,这个工厂专门生产球类,每次客户都发订单给这个工厂,工厂根据不同订单做好球并发给客户,客户只需知道他需要 2023-05-01 #设计模式
rgw_请求处理流程 前言本文主题: 当我们用 s3cmd(s3,Swift等)上传文件时候,rgw是如何处理的(这次先单独讨论 整体上传) 从一个s3请求 到如何转换成 rgwRequest 再到 数据如何切割存储到rados中 整体架构 接受请求的 前端– beast 在N版中默认 是用 beast (可以异步处理http服务器 )前端来解析HTTP请求,rgw 默认是使用beast,并用 RGW 2023-03-20 #ceph
rgwput流程-execute分析 前言本文主题: 当我们用 s3cmd 上传文件是,rgw是如何处理的 对于s3cmd(s3 api) 的每个请求操作,再rgw 中都有对应的 handle op 来处理如 put 请求, 对于这类请求操作有专门的类做处理 RGWPutObj::execute() 在处理之前的流程基本都是通用的,即 解析请求 -> 验证请求 -> 生成对应hanle (流程多,单独一篇文章介 2023-03-11 #ceph