Nydus 2024 GLCC & OSPP Meeting

[imeoer]

• [GLCC 2024] support local tarball for nydusify copy #1592
• [GLCC 2024] content not found: switch containerd to use nydus snapshotter #1061
• [OSPP 2024] snapshotter & nydusd config hot reload #1591
• [OSPP 2024] optimize image by blob compact #1590
• [OSPP 2024] optimize image by prefetch analysis #1589

[imeoer]

2024.08.07

compact

• 前置 PR：https://github.com/dragonflyoss/nydus/pull/1606，需要个小修改；
• snapshotter converter 中涉及 unpack 的部分，需要兼容新的 nydus-image unpack 命令；
• 写个 smoke 测试跑通 compact 基本功能，再考虑做性能测试和优化；

config hot reload

• 前置 PR：加 cargo deny 配置，忽略 openssl crate 检查，单独提 pr 加 mount api 测试；

nydus export import

• source / target 支持 file://，再优化掉落盘过程，直接做 io.Copy；

switch snapshotter

• 复现问题：[GLCC 2024] content not found: switch containerd to use nydus snapshotter #1061
  1. 设置 discard_unpacked_layer = true；
  2. pull OCI v1 镜像，会发现 layer 在 content 中删除了；
  3. 切换 snapshotter，再 pull OCI v1 镜像，就会报错；

[imeoer]

2024.08.14

prefetch

• 正在理清 chunk info 数据结构，需要再看下 create 中的 blob dump 实现代码；

nydus export import

• 正在开发 nydusify copy remote 功能，接下来看下如何优化掉落盘过程；

switch snapshotter issue

• unpack image -> snapshot prepare (image layers)
• create container -> snapshot prepare (rw layer)
• 继续打印日志看下 unpack 流程；

config hot reload

• 提交 mount/umount by api PR；
• mount 调用路径：client.Mount <- sharedFusedevMount <- SharedMount <- mountRemote <- chooseProcessor <- func (o *snapshotter) Prepare；

[imeoer]

2024.08.21

OSPP deadline: 09.30
GLCC deadline: 10.20

[OSPP] prefetch optimize

• 正在写 bootstrap 生成代码，生成新 blob 需要从 remote backend 读 chunk；

[OSPP] compact optimize

• nydus snapshotter converter unpack 兼容适配中；

[OSPP] config hot reload

• 提交了更新后的 mount/umount by api 测试 PR；

[GLCC] image export / import

• 基本实现了 copy tarball 功能，待写 smoke 测试，以及解决落盘问题；

[GLCC] snapshotter switch issue

• 继续打印日志看下 gc labels 差异；

[imeoer]

2024.08.28

OSPP deadline: 09.30
GLCC deadline: 10.20

[OSPP] prefetch optimize

• 正在写 bootstrap 生成代码，先生成 bootstrap 后能够 nydus-image check 检查；

[OSPP] compact optimize

• nydus-image compact / unpack 修改 pr 已更新；
• nydus snapshotter converter unpack 兼容适配中；

[OSPP] config hot reload

• 提交了更新后的 mount / umount by api 测试 PR；

[GLCC] image export / import

• 基本实现了 copy tarball 功能，待写 smoke 测试，以及解决落盘问题；

[GLCC] snapshotter switch issue

• 继续打印日志看下 gc labels 差异；

[imeoer]

2024.09.04

OSPP deadline: 09.30
GLCC deadline: 10.20

[OSPP] prefetch optimize

• 正在写 bootstrap 生成代码，先生成 bootstrap 后能够 nydus-image check 检查；

[OSPP] compact optimize

• 正在做 nydusify compact (optimize) 命令实现；

[OSPP] config hot reload

• mount / umount by api 测试 PR 已 merge；
• 梳理 snapshotter 不落盘的逻辑中；

[GLCC] image export / import

• copy 解决了 manifest list 处理问题；
• 冒烟测试：有了大概思路，正在实现中；

[GLCC] snapshotter switch issue

• 找到了问题点，正在用 workaround 代码尝试解决；

[imeoer]

2024.09.18

OSPP deadline: 09.30
GLCC deadline: 10.20

[OSPP] prefetch optimize

• 正在写 blob 生成逻辑，在加 backend 读取并写 dump chunk 的逻辑；

[OSPP] compact optimize

• snapshotter 的 unpack PR CI 有点问题正在 debug；

[OSPP] config hot reload

• snapshotter CI 需要解决下，以及写下测试文档；

[GLCC] image export / import

• 开放性改进：解决 content store 落盘的问题；

[GLCC] snapshotter switch issue

• 先提一下 containerd PR，等 maintainer 提下意见；
• 提了一个 retry read blob medata 的 PR，待合并；

[imeoer]

2024.09.25

OSPP deadline: 09.30
GLCC deadline: 10.20

[OSPP] prefetch optimize

• 已提交 builder 基本 pr，需要 rebase 代码，通过 github CI，做下 nydusd 挂载自测；

[OSPP] compact optimize

• unpack 丢了目录项问题调查中，后续 pr 待提交；

[OSPP] config hot reload

• 解决掉剩余 comments；

[GLCC] image export / import

• 开放性改进：解决 content store 落盘的问题；

[GLCC] snapshotter switch issue

• cas manager 实现基于了之前的 pr 修改，需要梳理功能 + 补充 smoke test；

[imeoer]

2024.10.09

OSPP deadline: 09.30
GLCC deadline: 10.20

[OSPP] prefetch optimize

• 本周目标：rebase 代码，通过 github CI；
• 接下来做下 nydusd 挂载自测；

[OSPP] compact optimize

• unpack 丢了目录项问题已解决，待发布 nydus-image 版本后更新以解决 CI；
• 后续：实现 nydusify compact 命令；

[OSPP] config hot reload

• remove 掉 DumpFile 方法，pr 待合并；

[GLCC] image export / import

• 开放性改进：解决 content store 落盘的问题；

[GLCC] snapshotter switch issue

• cas manager 实现基于了之前的 pr 修改，需要梳理功能 + 补充 smoke test；

[imeoer]

2024.10.16

OSPP deadline: 09.30
GLCC deadline: 10.20

[OSPP] prefetch optimize

1. prefetch-files 参数复用文件解析方式
2. dump 直接 copy source compressed chunk
3. debug log 移除及代码简化
4. 通过基本 CI，手工测试 nydusify check 校验文件系统完整性

本周：尽量在周五完成 1, 2, 3, 4

[OSPP] compact optimize

• v2.3.0 nydus-image 版本已发布，unpack CI 通过并 merge 了 pr；
• 11 月开始实现 nydusify compact 命令；

[OSPP] config hot reload

• pr 已合并，结项待 review；

[GLCC] image export / import

• content store 免落盘问题写了个 proposal：Nydusify copies the image without writing to disk #1636

[GLCC] cas manager

• cas manager pr 可以 review 了，snapshotter 支持允许指定 cas db path，以及 multiple / single 在 umount 时 nydusd gc cas db 逻辑处理；