Branch data Line data Source code
1 : : /* SPDX-License-Identifier: BSD-3-Clause
2 : : * Copyright (C) 2022 Intel Corporation.
3 : : * All rights reserved.
4 : : */
5 : :
6 : : #include "spdk/stdinc.h"
7 : : #include "spdk_internal/cunit.h"
8 : : #include "spdk/env.h"
9 : :
10 : : #include "common/lib/ut_multithread.c"
11 : :
12 : : #include "bdev/raid/raid1.c"
13 : : #include "../common.c"
14 : :
15 : 3 : DEFINE_STUB_V(raid_bdev_module_list_add, (struct raid_bdev_module *raid_module));
16 : 72 : DEFINE_STUB_V(raid_bdev_module_stop_done, (struct raid_bdev *raid_bdev));
17 : 0 : DEFINE_STUB_V(spdk_bdev_free_io, (struct spdk_bdev_io *bdev_io));
18 : 0 : DEFINE_STUB_V(raid_bdev_queue_io_wait, (struct raid_bdev_io *raid_io, struct spdk_bdev *bdev,
19 : : struct spdk_io_channel *ch, spdk_bdev_io_wait_cb cb_fn));
20 : 0 : DEFINE_STUB(spdk_bdev_readv_blocks_with_md, int, (struct spdk_bdev_desc *desc,
21 : : struct spdk_io_channel *ch,
22 : : struct iovec *iov, int iovcnt, void *md,
23 : : uint64_t offset_blocks, uint64_t num_blocks,
24 : : spdk_bdev_io_completion_cb cb, void *cb_arg), 0);
25 : 0 : DEFINE_STUB(spdk_bdev_writev_blocks_with_md, int, (struct spdk_bdev_desc *desc,
26 : : struct spdk_io_channel *ch,
27 : : struct iovec *iov, int iovcnt, void *md,
28 : : uint64_t offset_blocks, uint64_t num_blocks,
29 : : spdk_bdev_io_completion_cb cb, void *cb_arg), 0);
30 : 3798 : DEFINE_STUB(spdk_bdev_readv_blocks_ext, int, (struct spdk_bdev_desc *desc,
31 : : struct spdk_io_channel *ch,
32 : : struct iovec *iov, int iovcnt, uint64_t offset_blocks, uint64_t num_blocks,
33 : : spdk_bdev_io_completion_cb cb, void *cb_arg, struct spdk_bdev_ext_io_opts *opts), 0);
34 : 0 : DEFINE_STUB(spdk_bdev_writev_blocks_ext, int, (struct spdk_bdev_desc *desc,
35 : : struct spdk_io_channel *ch,
36 : : struct iovec *iov, int iovcnt, uint64_t offset_blocks, uint64_t num_blocks,
37 : : spdk_bdev_io_completion_cb cb, void *cb_arg, struct spdk_bdev_ext_io_opts *opts), 0);
38 : 0 : DEFINE_STUB_V(raid_bdev_process_request_complete, (struct raid_bdev_process_request *process_req,
39 : : int status));
40 : 0 : DEFINE_STUB_V(raid_bdev_io_init, (struct raid_bdev_io *raid_io,
41 : : struct raid_bdev_io_channel *raid_ch,
42 : : enum spdk_bdev_io_type type, uint64_t offset_blocks,
43 : : uint64_t num_blocks, struct iovec *iovs, int iovcnt, void *md_buf,
44 : : struct spdk_memory_domain *memory_domain, void *memory_domain_ctx));
45 : :
46 : : static int
47 : 3 : test_setup(void)
48 : : {
49 : 3 : uint8_t num_base_bdevs_values[] = { 2, 3 };
50 : 3 : uint64_t base_bdev_blockcnt_values[] = { 1, 1024, 1024 * 1024 };
51 : 3 : uint32_t base_bdev_blocklen_values[] = { 512, 4096 };
52 : : uint8_t *num_base_bdevs;
53 : : uint64_t *base_bdev_blockcnt;
54 : : uint32_t *base_bdev_blocklen;
55 : 3 : struct raid_params params;
56 : : uint64_t params_count;
57 : : int rc;
58 : :
59 : 3 : params_count = SPDK_COUNTOF(num_base_bdevs_values) *
60 : : SPDK_COUNTOF(base_bdev_blockcnt_values) *
61 : : SPDK_COUNTOF(base_bdev_blocklen_values);
62 : 3 : rc = raid_test_params_alloc(params_count);
63 [ - + ]: 3 : if (rc) {
64 : 0 : return rc;
65 : : }
66 : :
67 [ + + ]: 9 : ARRAY_FOR_EACH(num_base_bdevs_values, num_base_bdevs) {
68 [ + + ]: 24 : ARRAY_FOR_EACH(base_bdev_blockcnt_values, base_bdev_blockcnt) {
69 [ + + ]: 54 : ARRAY_FOR_EACH(base_bdev_blocklen_values, base_bdev_blocklen) {
70 : 36 : params.num_base_bdevs = *num_base_bdevs;
71 : 36 : params.base_bdev_blockcnt = *base_bdev_blockcnt;
72 : 36 : params.base_bdev_blocklen = *base_bdev_blocklen;
73 : 36 : params.strip_size = 0;
74 : 36 : params.md_len = 0;
75 : 36 : raid_test_params_add(¶ms);
76 : : }
77 : : }
78 : : }
79 : :
80 : 3 : return 0;
81 : : }
82 : :
83 : : static int
84 : 3 : test_cleanup(void)
85 : : {
86 : 3 : raid_test_params_free();
87 : 3 : return 0;
88 : : }
89 : :
90 : : static struct raid1_info *
91 : 72 : create_raid1(struct raid_params *params)
92 : : {
93 : 72 : struct raid_bdev *raid_bdev = raid_test_create_raid_bdev(params, &g_raid1_module);
94 : :
95 [ - + ]: 72 : SPDK_CU_ASSERT_FATAL(raid1_start(raid_bdev) == 0);
96 : :
97 : 72 : return raid_bdev->module_private;
98 : : }
99 : :
100 : : static void
101 : 72 : delete_raid1(struct raid1_info *r1_info)
102 : : {
103 : 72 : struct raid_bdev *raid_bdev = r1_info->raid_bdev;
104 : :
105 : 72 : raid1_stop(raid_bdev);
106 : :
107 : 72 : raid_test_delete_raid_bdev(raid_bdev);
108 : 72 : }
109 : :
110 : : static void
111 : 3 : test_raid1_start(void)
112 : : {
113 : : struct raid_params *params;
114 : :
115 [ + + ]: 39 : RAID_PARAMS_FOR_EACH(params) {
116 : : struct raid1_info *r1_info;
117 : :
118 : 36 : r1_info = create_raid1(params);
119 : :
120 [ - + ]: 36 : SPDK_CU_ASSERT_FATAL(r1_info != NULL);
121 : :
122 : 36 : CU_ASSERT_EQUAL(r1_info->raid_bdev->level, RAID1);
123 : 36 : CU_ASSERT_EQUAL(r1_info->raid_bdev->bdev.blockcnt, params->base_bdev_blockcnt);
124 : 36 : CU_ASSERT_PTR_EQUAL(r1_info->raid_bdev->module, &g_raid1_module);
125 : :
126 : 36 : delete_raid1(r1_info);
127 : : }
128 : 3 : }
129 : :
130 : : static struct raid_bdev_io *
131 : 3798 : get_raid_io(struct raid1_info *r1_info, struct raid_bdev_io_channel *raid_ch,
132 : : enum spdk_bdev_io_type io_type, uint64_t num_blocks)
133 : : {
134 : : struct raid_bdev_io *raid_io;
135 : :
136 : 3798 : raid_io = calloc(1, sizeof(*raid_io));
137 [ - + ]: 3798 : SPDK_CU_ASSERT_FATAL(raid_io != NULL);
138 : :
139 : 3798 : raid_test_bdev_io_init(raid_io, r1_info->raid_bdev, raid_ch, io_type, 0, num_blocks, NULL, 0, NULL);
140 : :
141 : 3798 : return raid_io;
142 : : }
143 : :
144 : : static void
145 : 3798 : put_raid_io(struct raid_bdev_io *raid_io)
146 : : {
147 : 3798 : free(raid_io);
148 : 3798 : }
149 : :
150 : : static void
151 : 0 : raid_test_bdev_io_complete(struct raid_bdev_io *raid_io, enum spdk_bdev_io_status status)
152 : : {
153 : 0 : CU_ASSERT(status == SPDK_BDEV_IO_STATUS_SUCCESS);
154 : :
155 : 0 : put_raid_io(raid_io);
156 : 0 : }
157 : :
158 : : static void
159 : 3 : run_for_each_raid1_config(void (*test_fn)(struct raid_bdev *raid_bdev,
160 : : struct raid_bdev_io_channel *raid_ch))
161 : : {
162 : : struct raid_params *params;
163 : :
164 [ + + ]: 39 : RAID_PARAMS_FOR_EACH(params) {
165 : : struct raid1_info *r1_info;
166 : : struct raid_bdev_io_channel *raid_ch;
167 : :
168 : 36 : r1_info = create_raid1(params);
169 : 36 : raid_ch = raid_test_create_io_channel(r1_info->raid_bdev);
170 : :
171 : 36 : test_fn(r1_info->raid_bdev, raid_ch);
172 : :
173 : 36 : raid_test_destroy_io_channel(raid_ch);
174 : 36 : delete_raid1(r1_info);
175 : : }
176 : 3 : }
177 : :
178 : : static void
179 : 36 : _test_raid1_read_balancing(struct raid_bdev *raid_bdev, struct raid_bdev_io_channel *raid_ch)
180 : : {
181 : 36 : struct raid1_info *r1_info = raid_bdev->module_private;
182 : 36 : struct raid1_io_channel *raid1_ch = raid_bdev_channel_get_module_ctx(raid_ch);
183 : : uint8_t big_io_base_bdev_idx;
184 : 36 : const uint64_t big_io_blocks = 256;
185 : 36 : const uint64_t small_io_blocks = 4;
186 : : uint64_t blocks_remaining;
187 : : struct raid_bdev_io *raid_io;
188 : : uint8_t i;
189 : : int n;
190 : :
191 : : /* same sized IOs should be be spread evenly across all base bdevs */
192 [ + + ]: 144 : for (n = 0; n < 3; n++) {
193 [ + + ]: 378 : for (i = 0; i < raid_bdev->num_base_bdevs; i++) {
194 : 270 : raid_io = get_raid_io(r1_info, raid_ch, SPDK_BDEV_IO_TYPE_READ, small_io_blocks);
195 : 270 : raid1_submit_read_request(raid_io);
196 : 270 : CU_ASSERT(raid_io->base_bdev_io_submitted == i);
197 : 270 : put_raid_io(raid_io);
198 : : }
199 : : }
200 : :
201 [ + + ]: 126 : for (i = 0; i < raid_bdev->num_base_bdevs; i++) {
202 : 90 : CU_ASSERT(raid1_ch->read_blocks_outstanding[i] == n * small_io_blocks);
203 : 90 : raid1_ch->read_blocks_outstanding[i] = 0;
204 : : }
205 : :
206 : : /*
207 : : * Submit one big and many small IOs. The small IOs should not land on the same base bdev
208 : : * as the big until the submitted block count is matched.
209 : : */
210 : 36 : raid_io = get_raid_io(r1_info, raid_ch, SPDK_BDEV_IO_TYPE_READ, big_io_blocks);
211 : 36 : raid1_submit_read_request(raid_io);
212 : 36 : big_io_base_bdev_idx = raid_io->base_bdev_io_submitted;
213 : 36 : put_raid_io(raid_io);
214 : :
215 : 36 : blocks_remaining = big_io_blocks * (raid_bdev->num_base_bdevs - 1);
216 [ + + ]: 3492 : while (blocks_remaining > 0) {
217 : 3456 : raid_io = get_raid_io(r1_info, raid_ch, SPDK_BDEV_IO_TYPE_READ, small_io_blocks);
218 : 3456 : raid1_submit_read_request(raid_io);
219 : 3456 : CU_ASSERT(raid_io->base_bdev_io_submitted != big_io_base_bdev_idx);
220 : 3456 : put_raid_io(raid_io);
221 : 3456 : blocks_remaining -= small_io_blocks;
222 : : }
223 : :
224 [ + + ]: 126 : for (i = 0; i < raid_bdev->num_base_bdevs; i++) {
225 : 90 : CU_ASSERT(raid1_ch->read_blocks_outstanding[i] == big_io_blocks);
226 : : }
227 : :
228 : 36 : raid_io = get_raid_io(r1_info, raid_ch, SPDK_BDEV_IO_TYPE_READ, small_io_blocks);
229 : 36 : raid1_submit_read_request(raid_io);
230 : 36 : CU_ASSERT(raid_io->base_bdev_io_submitted == big_io_base_bdev_idx);
231 : 36 : put_raid_io(raid_io);
232 : 36 : }
233 : :
234 : : static void
235 : 3 : test_raid1_read_balancing(void)
236 : : {
237 : 3 : run_for_each_raid1_config(_test_raid1_read_balancing);
238 : 3 : }
239 : :
240 : : int
241 : 3 : main(int argc, char **argv)
242 : : {
243 : 3 : CU_pSuite suite = NULL;
244 : : unsigned int num_failures;
245 : :
246 : 3 : CU_initialize_registry();
247 : :
248 : 3 : suite = CU_add_suite("raid1", test_setup, test_cleanup);
249 : 3 : CU_ADD_TEST(suite, test_raid1_start);
250 : 3 : CU_ADD_TEST(suite, test_raid1_read_balancing);
251 : :
252 : 3 : allocate_threads(1);
253 : 3 : set_thread(0);
254 : :
255 : 3 : num_failures = spdk_ut_run_tests(argc, argv, NULL);
256 : 3 : CU_cleanup_registry();
257 : :
258 : 3 : free_threads();
259 : :
260 : 3 : return num_failures;
261 : : }
|