Branch data Line data Source code
1 : : /* SPDX-License-Identifier: BSD-3-Clause
2 : : * Copyright 2023 Solidigm All Rights Reserved
3 : : * Copyright (C) 2022 Intel Corporation.
4 : : * All rights reserved.
5 : : */
6 : :
7 : : #include <sys/queue.h>
8 : :
9 : : #include "spdk/stdinc.h"
10 : :
11 : : #include "CUnit/Basic.h"
12 : : #include "common/lib/test_env.c"
13 : :
14 : : #include "ftl/ftl_layout.c"
15 : : #include "ftl/upgrade/ftl_layout_upgrade.h"
16 : : #include "ftl/utils/ftl_layout_tracker_bdev.c"
17 : : #include "ftl/upgrade/ftl_sb_v3.c"
18 : : #include "ftl/upgrade/ftl_sb_v5.c"
19 : : #include "ftl/ftl_sb.c"
20 : :
21 : : extern struct ftl_region_upgrade_desc sb_upgrade_desc[];
22 : :
23 : : int l2p_upgrade_v0_to_v1(struct spdk_ftl_dev *dev, struct ftl_layout_upgrade_ctx *ctx);
24 : : int l2p_upgrade_v1_to_v2(struct spdk_ftl_dev *dev, struct ftl_layout_upgrade_ctx *ctx);
25 : : int l2p_upgrade_v2_to_v3(struct spdk_ftl_dev *dev, struct ftl_layout_upgrade_ctx *ctx);
26 : :
27 : : struct ftl_region_upgrade_desc l2p_upgrade_desc[] = {
28 : : [0] = {.verify = ftl_region_upgrade_enabled, .upgrade = l2p_upgrade_v0_to_v1, .new_version = 1},
29 : : [1] = {.verify = ftl_region_upgrade_enabled, .upgrade = l2p_upgrade_v1_to_v2, .new_version = 2},
30 : : [2] = {.verify = ftl_region_upgrade_enabled, .upgrade = l2p_upgrade_v2_to_v3, .new_version = 3},
31 : : };
32 : :
33 : : static struct ftl_layout_upgrade_desc_list layout_upgrade_desc[] = {
34 : : [FTL_LAYOUT_REGION_TYPE_SB] = {
35 : : .latest_ver = FTL_SB_VERSION_CURRENT,
36 : : .count = FTL_SB_VERSION_CURRENT,
37 : : .desc = sb_upgrade_desc,
38 : : },
39 : : [FTL_LAYOUT_REGION_TYPE_SB_BASE] = {
40 : : .latest_ver = FTL_SB_VERSION_CURRENT,
41 : : .count = FTL_SB_VERSION_CURRENT,
42 : : .desc = sb_upgrade_desc,
43 : : },
44 : : [FTL_LAYOUT_REGION_TYPE_L2P] = {
45 : : .latest_ver = 3,
46 : : .count = 3,
47 : : .desc = l2p_upgrade_desc,
48 : : },
49 : : [FTL_LAYOUT_REGION_TYPE_BAND_MD] = {},
50 : : [FTL_LAYOUT_REGION_TYPE_BAND_MD_MIRROR] = {},
51 : : [FTL_LAYOUT_REGION_TYPE_VALID_MAP] = {},
52 : : [FTL_LAYOUT_REGION_TYPE_NVC_MD] = {},
53 : : [FTL_LAYOUT_REGION_TYPE_NVC_MD_MIRROR] = {},
54 : : [FTL_LAYOUT_REGION_TYPE_DATA_NVC] = {},
55 : : [FTL_LAYOUT_REGION_TYPE_DATA_BASE] = {},
56 : : [FTL_LAYOUT_REGION_TYPE_P2L_CKPT_GC] = {},
57 : : [FTL_LAYOUT_REGION_TYPE_P2L_CKPT_GC_NEXT] = {},
58 : : [FTL_LAYOUT_REGION_TYPE_P2L_CKPT_COMP] = {},
59 : : [FTL_LAYOUT_REGION_TYPE_P2L_CKPT_COMP_NEXT] = {},
60 : : [FTL_LAYOUT_REGION_TYPE_TRIM_MD] = {},
61 : : [FTL_LAYOUT_REGION_TYPE_TRIM_MD_MIRROR] = {},
62 : : };
63 : :
64 : : SPDK_STATIC_ASSERT(sizeof(layout_upgrade_desc) / sizeof(*layout_upgrade_desc) ==
65 : : FTL_LAYOUT_REGION_TYPE_MAX,
66 : : "Missing layout upgrade descriptors");
67 : :
68 : : #include "ftl/upgrade/ftl_sb_upgrade.c"
69 : : #include "ftl/upgrade/ftl_layout_upgrade.c"
70 : : #include "ftl/mngt/ftl_mngt_md.c"
71 : :
72 : 0 : DEFINE_STUB_V(ftl_mngt_fail_step, (struct ftl_mngt_process *mngt));
73 : 3 : DEFINE_STUB_V(ftl_mngt_next_step, (struct ftl_mngt_process *mngt));
74 : 0 : DEFINE_STUB_V(ftl_md_persist, (struct ftl_md *md));
75 : 0 : DEFINE_STUB(ftl_nv_cache_load_state, int, (struct ftl_nv_cache *nv_cache), 0);
76 : 0 : DEFINE_STUB_V(ftl_valid_map_load_state, (struct spdk_ftl_dev *dev));
77 : 0 : DEFINE_STUB_V(ftl_bands_load_state, (struct spdk_ftl_dev *dev));
78 : 0 : DEFINE_STUB(ftl_md_get_region, const struct ftl_layout_region *, (struct ftl_md *md), 0);
79 : 0 : DEFINE_STUB_V(ftl_md_restore, (struct ftl_md *md));
80 : 0 : DEFINE_STUB(ftl_nv_cache_save_state, int, (struct ftl_nv_cache *nv_cache), 0);
81 : 0 : DEFINE_STUB(ftl_mngt_get_step_ctx, void *, (struct ftl_mngt_process *mngt), 0);
82 : 0 : DEFINE_STUB_V(ftl_mngt_persist_bands_p2l, (struct ftl_mngt_process *mngt));
83 : 3 : DEFINE_STUB_V(ftl_band_init_gc_iter, (struct spdk_ftl_dev *dev));
84 : 0 : DEFINE_STUB(ftl_md_create_region_flags, int, (struct spdk_ftl_dev *dev, int region_type), 0);
85 : 0 : DEFINE_STUB(ftl_md_create, struct ftl_md *, (struct spdk_ftl_dev *dev, uint64_t blocks,
86 : : uint64_t vss_blksz, const char *name, int flags, const struct ftl_layout_region *region), NULL);
87 : 0 : DEFINE_STUB(ftl_md_destroy_region_flags, int, (struct spdk_ftl_dev *dev, int region_type), 0);
88 : 0 : DEFINE_STUB(ftl_md_destroy_shm_flags, int, (struct spdk_ftl_dev *dev), 0);
89 : 0 : DEFINE_STUB_V(ftl_md_destroy, (struct ftl_md *md, int flags));
90 : 0 : DEFINE_STUB_V(ftl_mngt_call_process, (struct ftl_mngt_process *mngt,
91 : : const struct ftl_mngt_process_desc *process));
92 : 0 : DEFINE_STUB(ftl_md_get_buffer, void *, (struct ftl_md *md), NULL);
93 : 0 : DEFINE_STUB(spdk_bdev_desc_get_bdev, struct spdk_bdev *, (struct spdk_bdev_desc *desc), NULL);
94 : 0 : DEFINE_STUB(spdk_bdev_get_write_unit_size, uint32_t, (const struct spdk_bdev *bdev), 0);
95 : 0 : DEFINE_STUB(spdk_bdev_get_num_blocks, uint64_t, (const struct spdk_bdev *bdev), 0);
96 : 0 : DEFINE_STUB(ftl_nv_cache_chunk_tail_md_num_blocks, size_t, (const struct ftl_nv_cache *nv_cache),
97 : : 0);
98 : 0 : DEFINE_STUB(ftl_band_user_blocks, size_t, (const struct ftl_band *band), 0);
99 : :
100 : : struct spdk_bdev_desc {
101 : : int dummy;
102 : : };
103 : :
104 : : struct spdk_ftl_dev g_dev;
105 : : struct ftl_superblock_shm g_sb_shm = {0};
106 : : struct ftl_base_device_type g_base_type = { .name = "base_dev" };
107 : : struct ftl_nv_cache_device_desc g_nvc_desc = { .name = "nvc_dev" };
108 : : struct spdk_bdev_desc g_base_bdev_desc = {0};
109 : : struct spdk_bdev_desc g_nvc_bdev_desc = {0};
110 : : static uint8_t g_sb_buf[FTL_SUPERBLOCK_SIZE] = {0};
111 : :
112 : : #define TEST_OP 0x1984
113 : : #define TEST_REG_BLKS 0x10000
114 : : #define TEST_NVC_BLKS 0x1000000;
115 : : #define TEST_BASE_BLKS 0x1000000000;
116 : :
117 : : static int
118 : 3 : test_setup(void)
119 : : {
120 : 3 : int regno_nvc = 0, regno_base = 0, *regno_dev;
121 : :
122 : : /* setup a dummy dev: */
123 : 3 : g_dev.sb = (void *)g_sb_buf;
124 : 3 : g_dev.sb_shm = &g_sb_shm;
125 : 3 : g_dev.conf.overprovisioning = TEST_OP;
126 [ + + ]: 51 : for (uint64_t n = 0; n < sizeof(g_dev.conf.uuid); n++) {
127 : 48 : g_dev.conf.uuid.u.raw[n] = n;
128 : : }
129 : :
130 : 3 : g_dev.layout.nvc.total_blocks = TEST_NVC_BLKS;
131 : 3 : g_dev.layout.base.total_blocks = TEST_BASE_BLKS;
132 : 3 : g_dev.base_type = &g_base_type;
133 : 3 : g_dev.nv_cache.nvc_desc = &g_nvc_desc;
134 : 3 : g_dev.base_layout_tracker = ftl_layout_tracker_bdev_init(UINT32_MAX);
135 : 3 : g_dev.nvc_layout_tracker = ftl_layout_tracker_bdev_init(UINT32_MAX);
136 : 3 : g_dev.base_bdev_desc = &g_base_bdev_desc;
137 : 3 : g_dev.nv_cache.bdev_desc = &g_nvc_bdev_desc;
138 : :
139 [ + + ]: 51 : for (int regno = 0; regno < FTL_LAYOUT_REGION_TYPE_MAX; regno++) {
140 : 48 : struct ftl_layout_region *reg = &g_dev.layout.region[regno];
141 : 48 : reg->current.blocks = TEST_REG_BLKS;
142 [ + + ]: 48 : regno_dev = sb_v3_md_region_is_nvc(regno) ? ®no_nvc : ®no_base;
143 : 48 : reg->current.offset = *regno_dev * TEST_REG_BLKS;
144 : 48 : (*regno_dev)++;
145 : 48 : reg->current.version = ftl_layout_upgrade_region_get_latest_version(regno);
146 : 48 : reg->type = regno;
147 : 48 : reg->name = "region_test";
148 [ + + ]: 48 : reg->bdev_desc = sb_v3_md_region_is_nvc(regno) ? &g_nvc_bdev_desc : &g_base_bdev_desc;
149 : 48 : reg->ioch = 0;
150 : : }
151 : 3 : return 0;
152 : : }
153 : :
154 : : static int
155 : 3 : test_teardown(void)
156 : : {
157 [ + - ]: 3 : if (g_dev.base_layout_tracker) {
158 : 3 : ftl_layout_tracker_bdev_fini(g_dev.base_layout_tracker);
159 : 3 : g_dev.base_layout_tracker = NULL;
160 : : }
161 [ + - ]: 3 : if (g_dev.nvc_layout_tracker) {
162 : 3 : ftl_layout_tracker_bdev_fini(g_dev.nvc_layout_tracker);
163 : 3 : g_dev.nvc_layout_tracker = NULL;
164 : : }
165 : 3 : return 0;
166 : : }
167 : :
168 : : static void
169 : 3 : test_setup_sb_v5(uint64_t clean)
170 : : {
171 : 3 : union ftl_superblock_ver *sb = (void *)g_sb_buf;
172 : : uint64_t zero_offs;
173 : :
174 [ - + ]: 3 : memset(&g_sb_buf, 0, sizeof(g_sb_buf));
175 : 3 : ftl_mngt_init_default_sb(&g_dev, NULL);
176 : 3 : sb->header.version = FTL_SB_VERSION_5;
177 : :
178 : 3 : zero_offs = sizeof(struct ftl_superblock_v5);
179 [ - + ]: 3 : memset(g_sb_buf + zero_offs, 0, sizeof(g_sb_buf) - zero_offs);
180 : 3 : sb->v5.clean = clean;
181 : :
182 : 3 : sb->header.crc = get_sb_crc(&sb->current);
183 : 3 : }
184 : :
185 : : static void
186 : 3 : test_l2p_upgrade(void)
187 : : {
188 : 3 : union ftl_superblock_ver *sb = (void *)g_sb_buf;
189 : : struct layout_tracker_blob_entry *tbe;
190 : : struct layout_blob_entry *lbe;
191 : : struct ftl_layout_region *reg;
192 : 3 : struct ftl_layout_upgrade_ctx ctx = {0};
193 : : void *blob_nvc, *blob_base, *blob_regs;
194 : : uint64_t upgrades;
195 : : int rc;
196 : :
197 : 3 : test_setup_sb_v5(true);
198 : 3 : CU_ASSERT_EQUAL(ftl_superblock_is_blob_area_empty(&sb->current), true);
199 : :
200 : : /* load failed: empty md list: */
201 : 3 : rc = ftl_superblock_v5_load_blob_area(&g_dev);
202 : 3 : CU_ASSERT_NOT_EQUAL(rc, 0);
203 : :
204 : : /* create md layout: */
205 [ + + ]: 51 : for (enum ftl_layout_region_type regno = 0; regno < FTL_LAYOUT_REGION_TYPE_MAX; regno++) {
206 : 48 : struct ftl_layout_region *reg = &g_dev.layout.region[regno];
207 : 48 : CU_ASSERT_EQUAL(regno, reg->type);
208 [ + + ]: 48 : struct ftl_layout_tracker_bdev *tracker = sb_v3_md_region_is_nvc(regno) ? g_dev.nvc_layout_tracker :
209 : : g_dev.base_layout_tracker;
210 : 80 : const struct ftl_layout_tracker_bdev_region_props *reg_props = ftl_layout_tracker_bdev_add_region(
211 : 48 : tracker, reg->type, reg->current.version, reg->current.blocks, TEST_REG_BLKS);
212 : :
213 : 48 : CU_ASSERT_EQUAL(reg->type, reg_props->type);
214 : 48 : CU_ASSERT_EQUAL(reg->current.version, reg_props->ver);
215 : 48 : CU_ASSERT_EQUAL(reg->current.offset, reg_props->blk_offs);
216 : 48 : CU_ASSERT_EQUAL(reg->current.blocks, reg_props->blk_sz);
217 : : }
218 : 3 : ftl_superblock_v5_store_blob_area(&g_dev);
219 : 3 : CU_ASSERT_EQUAL(ftl_superblock_is_blob_area_empty(&sb->current), false);
220 : :
221 : 3 : blob_nvc = ftl_df_get_obj_ptr(sb->v5.blob_area, sb->v5.md_layout_nvc.df_id);
222 : 3 : blob_base = ftl_df_get_obj_ptr(sb->v5.blob_area, sb->v5.md_layout_base.df_id);
223 : 3 : blob_regs = ftl_df_get_obj_ptr(sb->v5.blob_area, sb->v5.layout_params.df_id);
224 : :
225 : : /* move the sb-stored blobs around: */
226 : 3 : CU_ASSERT(blob_nvc < blob_base);
227 : 3 : CU_ASSERT(blob_base < blob_regs);
228 [ - + - + ]: 3 : blob_regs = memmove(blob_regs + 8192, blob_regs, sb->v5.layout_params.blob_sz);
229 : 3 : sb->v5.layout_params.df_id += 8192;
230 [ - + - + ]: 3 : blob_base = memmove(blob_base + 4096, blob_base, sb->v5.md_layout_base.blob_sz);
231 : 3 : sb->v5.md_layout_base.df_id += 4096;
232 : :
233 : : /* fix l2p region version to v0 */
234 : 3 : tbe = blob_nvc;
235 : 3 : tbe++;
236 : 3 : CU_ASSERT_EQUAL(tbe->type, FTL_LAYOUT_REGION_TYPE_L2P);
237 : 3 : tbe->ver = 0;
238 : 3 : reg = &g_dev.layout.region[FTL_LAYOUT_REGION_TYPE_L2P];
239 : 3 : reg->current.version = 0;
240 : :
241 : : /* fix l2p num entries and size */
242 : 3 : lbe = blob_regs;
243 : 3 : lbe += FTL_LAYOUT_REGION_TYPE_L2P;
244 : 3 : CU_ASSERT_EQUAL(lbe->type, FTL_LAYOUT_REGION_TYPE_L2P);
245 : 3 : lbe->entry_size = 1;
246 : 3 : lbe->num_entries = 0x1000;
247 : :
248 : : /* add l2p v2 region for a major upgrade */
249 : 3 : tbe = (blob_nvc + sb->v5.md_layout_nvc.blob_sz);
250 : 3 : sb->v5.md_layout_nvc.blob_sz += sizeof(*tbe);
251 : 3 : tbe->type = FTL_LAYOUT_REGION_TYPE_L2P;
252 : 3 : tbe->ver = 2;
253 : :
254 : : /* region overlap */
255 : 3 : tbe->blk_offs = 0x1984;
256 : 3 : tbe->blk_sz = 0x0514;
257 : 3 : rc = ftl_superblock_v5_load_blob_area(&g_dev);
258 : 3 : CU_ASSERT_NOT_EQUAL(rc, 0);
259 : :
260 : : /* correct region placement */
261 : 3 : tbe->blk_offs = 0x19840514;
262 : 3 : tbe->blk_sz = 0xc0ffee;
263 : 3 : rc = ftl_superblock_v5_load_blob_area(&g_dev);
264 : 3 : CU_ASSERT_EQUAL(rc, 0);
265 : :
266 : : /* upgrade verification */
267 : 3 : ctx.reg = &g_dev.layout.region[0];
268 : 3 : ctx.upgrade = &layout_upgrade_desc[0];
269 [ + + ]: 51 : for (int reg_type = 0; reg_type < FTL_LAYOUT_REGION_TYPE_MAX;
270 : 48 : reg_type++, ctx.reg++, ctx.upgrade++) {
271 [ + + + + ]: 48 : if (reg_type == FTL_LAYOUT_REGION_TYPE_SB || reg_type == FTL_LAYOUT_REGION_TYPE_SB_BASE) {
272 : 6 : ctx.reg->current.version = g_dev.sb->header.version;
273 : : }
274 : 48 : rc = region_verify(&g_dev, &ctx);
275 : 48 : CU_ASSERT_EQUAL(rc, 0);
276 : : }
277 : :
278 : : /* region upgrade */
279 : 3 : CU_ASSERT_EQUAL(reg->num_entries, 0x1000);
280 : 3 : CU_ASSERT_EQUAL(reg->entry_size, 1);
281 : :
282 : 3 : ctx.reg = &g_dev.layout.region[0];
283 : 3 : ctx.upgrade = &layout_upgrade_desc[0];
284 : 3 : upgrades = 0;
285 : 9 : while (true) {
286 : : uint64_t prev_ver;
287 : :
288 : 12 : rc = layout_upgrade_select_next_region(&g_dev, &ctx);
289 [ + + ]: 12 : if (rc == FTL_LAYOUT_UPGRADE_DONE) {
290 : 3 : break;
291 : : }
292 : 9 : CU_ASSERT_EQUAL(rc, FTL_LAYOUT_UPGRADE_CONTINUE);
293 : 9 : CU_ASSERT_EQUAL(ctx.reg->type, FTL_LAYOUT_REGION_TYPE_L2P);
294 : 9 : upgrades++;
295 : :
296 : 9 : prev_ver = ctx.reg->current.version;
297 : 9 : rc = ftl_region_upgrade(&g_dev, &ctx);
298 : 9 : CU_ASSERT_EQUAL(rc, 0);
299 : 9 : CU_ASSERT_TRUE(prev_ver < ctx.reg->current.version);
300 : 9 : CU_ASSERT_EQUAL(upgrades, ctx.reg->current.version);
301 : : }
302 : 3 : CU_ASSERT_EQUAL(upgrades, 3);
303 : 3 : CU_ASSERT_EQUAL(reg->current.offset, 0x19840514);
304 : 3 : CU_ASSERT_EQUAL(reg->current.blocks, 0xc0ffee);
305 : 3 : CU_ASSERT_EQUAL(reg->num_entries, 0x1984);
306 : 3 : CU_ASSERT_EQUAL(reg->entry_size, 0x1405);
307 : :
308 : : /* no more upgrades: */
309 : 3 : ctx.reg = &g_dev.layout.region[0];
310 : 3 : ctx.upgrade = &layout_upgrade_desc[0];
311 : 3 : rc = layout_upgrade_select_next_region(&g_dev, &ctx);
312 : 3 : CU_ASSERT_EQUAL(rc, FTL_LAYOUT_UPGRADE_DONE);
313 : :
314 : : /* restore the sb: */
315 : 3 : sb->v5.md_layout_nvc.blob_sz -= sizeof(*tbe);
316 : 3 : }
317 : :
318 : : int
319 : 3 : l2p_upgrade_v0_to_v1(struct spdk_ftl_dev *dev, struct ftl_layout_upgrade_ctx *ctx)
320 : : {
321 : 3 : struct ftl_layout_region *region = ctx->reg;
322 : :
323 : : /* minor */
324 : 3 : CU_ASSERT_EQUAL(region->current.version, 0);
325 : 3 : CU_ASSERT_EQUAL(ctx->next_reg_ver, 1);
326 : 3 : CU_ASSERT_NOT_EQUAL(region->current.offset, 0x1984);
327 : 3 : CU_ASSERT_NOT_EQUAL(region->current.blocks, 0x0514);
328 : :
329 : 3 : ftl_region_upgrade_completed(dev, ctx, 0, 0, 0);
330 : 3 : return 0;
331 : : }
332 : :
333 : : int
334 : 3 : l2p_upgrade_v1_to_v2(struct spdk_ftl_dev *dev, struct ftl_layout_upgrade_ctx *ctx)
335 : : {
336 : 3 : struct ftl_layout_region *region = ctx->reg;
337 : :
338 : : /* major */
339 : 3 : CU_ASSERT_EQUAL(region->current.version, 1);
340 : 3 : CU_ASSERT_EQUAL(ctx->next_reg_ver, 2);
341 : 3 : CU_ASSERT_NOT_EQUAL(region->current.offset, 0x1984);
342 : 3 : CU_ASSERT_NOT_EQUAL(region->current.blocks, 0x0514);
343 : :
344 : 3 : ftl_region_upgrade_completed(dev, ctx, 0x1405, 0x1984, 0);
345 : 3 : return 0;
346 : : }
347 : :
348 : : int
349 : 3 : l2p_upgrade_v2_to_v3(struct spdk_ftl_dev *dev, struct ftl_layout_upgrade_ctx *ctx)
350 : : {
351 : 3 : struct ftl_layout_region *region = ctx->reg;
352 : :
353 : : /* minor */
354 : 3 : CU_ASSERT_EQUAL(region->current.version, 2);
355 : 3 : CU_ASSERT_EQUAL(ctx->next_reg_ver, 3);
356 : 3 : CU_ASSERT_EQUAL(region->current.offset, 0x19840514);
357 : 3 : CU_ASSERT_EQUAL(region->current.blocks, 0xc0ffee);
358 : :
359 : 3 : ftl_region_upgrade_completed(dev, ctx, 0, 0, 0);
360 : 3 : return 0;
361 : : }
362 : :
363 : : int
364 : 3 : main(int argc, char **argv)
365 : : {
366 : 3 : CU_pSuite suite = NULL;
367 : 3 : unsigned int num_failures = 0;
368 : :
369 : 3 : CU_set_error_action(CUEA_ABORT);
370 : 3 : CU_initialize_registry();
371 : :
372 : 3 : suite = CU_add_suite("ftl_layout_upgrade", test_setup, test_teardown);
373 : :
374 : 3 : CU_ADD_TEST(suite, test_l2p_upgrade);
375 : :
376 : 3 : CU_basic_set_mode(CU_BRM_VERBOSE);
377 : 3 : CU_basic_run_tests();
378 : 3 : num_failures = CU_get_number_of_failures();
379 : 3 : CU_cleanup_registry();
380 : :
381 : 3 : return num_failures;
382 : : }
|