Branch data Line data Source code
1 : : /* SPDX-License-Identifier: BSD-3-Clause
2 : : * Copyright (C) 2019 Intel Corporation.
3 : : * All rights reserved.
4 : : */
5 : :
6 : : #include "spdk/util.h"
7 : : #include "spdk/log.h"
8 : :
9 : : void
10 : 15125 : spdk_iov_memset(struct iovec *iovs, int iovcnt, int c)
11 : : {
12 : 15125 : int iov_idx = 0;
13 : : struct iovec *iov;
14 : :
15 [ + + ]: 30264 : while (iov_idx < iovcnt) {
16 [ - + ]: 15139 : iov = &iovs[iov_idx];
17 [ - + - + : 15139 : memset(iov->iov_base, c, iov->iov_len);
- + - + -
+ ]
18 [ - + ]: 15139 : iov_idx++;
19 : : }
20 : 15125 : }
21 : :
22 : : size_t
23 : 228125507 : spdk_ioviter_first(struct spdk_ioviter *iter,
24 : : struct iovec *siov, size_t siovcnt,
25 : : struct iovec *diov, size_t diovcnt,
26 : : void **src, void **dst)
27 : : {
28 : 37421529 : struct iovec *iovs[2];
29 : 37421529 : size_t iovcnts[2];
30 : 37421529 : void *out[2];
31 : : size_t len;
32 : :
33 [ + - + - ]: 228125507 : iovs[0] = siov;
34 [ + - + - ]: 228125507 : iovcnts[0] = siovcnt;
35 : :
36 [ + - + - : 228125507 : iovs[1] = diov;
+ - ]
37 [ + - + - : 228125507 : iovcnts[1] = diovcnt;
+ - ]
38 : :
39 : 228125507 : len = spdk_ioviter_firstv(iter, 2, iovs, iovcnts, out);
40 : :
41 [ + + ]: 228125507 : if (len > 0) {
42 [ + - + - : 228974139 : *src = out[0];
+ - ]
43 [ + - + - : 228974139 : *dst = out[1];
+ - + - ]
44 : 33284429 : }
45 : :
46 : 229822773 : return len;
47 : : }
48 : :
49 : : size_t
50 : 228415385 : spdk_ioviter_firstv(struct spdk_ioviter *iter,
51 : : uint32_t count,
52 : : struct iovec **iov,
53 : : size_t *iovcnt,
54 : : void **out)
55 : : {
56 : : struct spdk_single_ioviter *it;
57 : : uint32_t i;
58 : :
59 [ + - + - ]: 228415385 : iter->count = count;
60 : :
61 [ + + ]: 685806794 : for (i = 0; i < count; i++) {
62 [ + - + - : 457391409 : it = &iter->iters[i];
+ - ]
63 [ + - + - : 457391409 : it->iov = iov[i];
+ - + - ]
64 [ + - + - : 457391409 : it->iovcnt = iovcnt[i];
+ - + - ]
65 [ + - + - ]: 457391409 : it->idx = 0;
66 [ + - + - : 457391409 : it->iov_len = iov[i][0].iov_len;
+ - + - +
- + - +
- ]
67 [ + - + - : 457391409 : it->iov_base = iov[i][0].iov_base;
+ - + - +
- + - +
- ]
68 : 65240914 : }
69 : :
70 : 228415385 : return spdk_ioviter_nextv(iter, out);
71 : : }
72 : :
73 : : size_t
74 : 239674903 : spdk_ioviter_next(struct spdk_ioviter *iter, void **src, void **dst)
75 : : {
76 : 38154791 : void *out[2];
77 : : size_t len;
78 : :
79 : 239674903 : len = spdk_ioviter_nextv(iter, out);
80 : :
81 [ + + ]: 239674903 : if (len > 0) {
82 [ # # # # : 10722240 : *src = out[0];
# # ]
83 [ # # # # : 10722240 : *dst = out[1];
# # # # ]
84 : 951 : }
85 : :
86 : 239674903 : return len;
87 : : }
88 : :
89 : : size_t
90 : 468901273 : spdk_ioviter_nextv(struct spdk_ioviter *iter, void **out)
91 : : {
92 : : struct spdk_single_ioviter *it;
93 : : size_t len;
94 : : uint32_t i;
95 : :
96 : : /* Figure out the minimum size of each iovec's next segment */
97 : 468901273 : len = UINT32_MAX;
98 [ + + + - : 1059707789 : for (i = 0; i < iter->count; i++) {
+ + ]
99 [ + - + - : 819742030 : it = &iter->iters[i];
+ - ]
100 [ + + + + : 819742030 : if (it->idx == it->iovcnt || it->iov_len == 0) {
+ - + - +
+ + - + -
+ + ]
101 : : /* This element has 0 bytes remaining, so we're done. */
102 : 228935514 : return 0;
103 : : }
104 : :
105 [ + + + - : 590806516 : len = spdk_min(len, it->iov_len);
- + + - +
- ]
106 : 65537969 : }
107 : :
108 [ + + + - : 720079255 : for (i = 0; i < iter->count; i++) {
+ + ]
109 [ + - + - : 480113496 : it = &iter->iters[i];
+ - ]
110 : :
111 [ + - + - : 480113496 : out[i] = it->iov_base;
+ - + - ]
112 : :
113 [ + + + - : 480113496 : if (it->iov_len == len) {
+ + ]
114 : : /* Advance to next element */
115 [ + - ]: 354892293 : it->idx++;
116 [ + + + - : 354892293 : if (it->idx != it->iovcnt) {
+ - + - +
+ ]
117 : : /* Set up for next element */
118 [ - + - + : 22656699 : it->iov_len = it->iov[it->idx].iov_len;
- + - + -
+ - + - +
- + - + ]
119 [ - + - + : 22656699 : it->iov_base = it->iov[it->idx].iov_base;
- + - + -
+ - + - +
- + - + ]
120 : 35607 : }
121 : 66466413 : } else {
122 : : /* Partial buffer */
123 [ + - + - : 125221203 : it->iov_base += len;
+ - ]
124 [ + - + - ]: 125221203 : it->iov_len -= len;
125 : : }
126 : 66520375 : }
127 : :
128 : 239965759 : return len;
129 : 66544277 : }
130 : :
131 : : size_t
132 : 124241309 : spdk_iovcpy(struct iovec *siov, size_t siovcnt, struct iovec *diov, size_t diovcnt)
133 : : {
134 : 614922 : struct spdk_ioviter iter;
135 : : size_t len, total_sz;
136 : 614922 : void *src, *dst;
137 : :
138 : 124241309 : total_sz = 0;
139 [ + + ]: 124329018 : for (len = spdk_ioviter_first(&iter, siov, siovcnt, diov, diovcnt, &src, &dst);
140 [ + + ]: 250306486 : len != 0;
141 : 126065177 : len = spdk_ioviter_next(&iter, &src, &dst)) {
142 [ - + - + ]: 126065177 : memcpy(dst, src, len);
143 : 126065177 : total_sz += len;
144 : 87709 : }
145 : :
146 : 124241309 : return total_sz;
147 : : }
148 : :
149 : : size_t
150 : 140 : spdk_iovmove(struct iovec *siov, size_t siovcnt, struct iovec *diov, size_t diovcnt)
151 : : {
152 : 105 : struct spdk_ioviter iter;
153 : : size_t len, total_sz;
154 : 105 : void *src, *dst;
155 : :
156 : 140 : total_sz = 0;
157 [ + + ]: 175 : for (len = spdk_ioviter_first(&iter, siov, siovcnt, diov, diovcnt, &src, &dst);
158 [ + + ]: 280 : len != 0;
159 : 140 : len = spdk_ioviter_next(&iter, &src, &dst)) {
160 [ - + - + ]: 140 : memmove(dst, src, len);
161 : 140 : total_sz += len;
162 : 35 : }
163 : :
164 : 140 : return total_sz;
165 : : }
166 : :
167 : : void
168 : 2606712 : spdk_iov_xfer_init(struct spdk_iov_xfer *ix, struct iovec *iovs, int iovcnt)
169 : : {
170 [ + - + - ]: 2606712 : ix->iovs = iovs;
171 [ + - + - ]: 2606712 : ix->iovcnt = iovcnt;
172 [ + - + - ]: 2606712 : ix->cur_iov_idx = 0;
173 [ + - + - ]: 2606712 : ix->cur_iov_offset = 0;
174 : 2606712 : }
175 : :
176 : : static size_t
177 : 2622976 : iov_xfer(struct spdk_iov_xfer *ix, const void *buf, size_t buf_len, bool to_buf)
178 : : {
179 : 2622976 : size_t len, iov_remain_len, copied_len = 0;
180 : : struct iovec *iov;
181 : :
182 [ + + ]: 2622976 : if (buf_len == 0) {
183 : 0 : return 0;
184 : : }
185 : :
186 [ + + + - : 7581717 : while (ix->cur_iov_idx < ix->iovcnt) {
+ - + - +
- ]
187 [ + - + - : 5095409 : iov = &ix->iovs[ix->cur_iov_idx];
+ - + - +
- ]
188 [ + - + - : 5095409 : iov_remain_len = iov->iov_len - ix->cur_iov_offset;
+ - + - ]
189 [ + + ]: 5095409 : if (iov_remain_len == 0) {
190 [ # # # # ]: 2486047 : ix->cur_iov_idx++;
191 [ # # # # ]: 2486047 : ix->cur_iov_offset = 0;
192 : 2486047 : continue;
193 : : }
194 : :
195 [ + + ]: 2609362 : len = spdk_min(iov_remain_len, buf_len - copied_len);
196 : :
197 [ + + - + ]: 2609362 : if (to_buf) {
198 [ - + - + : 130588 : memcpy((char *)buf + copied_len,
# # ]
199 [ # # # # : 130486 : (char *)iov->iov_base + ix->cur_iov_offset, len);
# # # # #
# ]
200 : 102 : } else {
201 [ - + - + : 2990320 : memcpy((char *)iov->iov_base + ix->cur_iov_offset,
- + - + -
+ - + -
+ ]
202 [ - + ]: 511444 : (const char *)buf + copied_len, len);
203 : : }
204 : 2609362 : copied_len += len;
205 [ + - + - ]: 2609362 : ix->cur_iov_offset += len;
206 : :
207 [ + + ]: 2609362 : if (buf_len == copied_len) {
208 : 136668 : return copied_len;
209 : : }
210 : : }
211 : :
212 : 2486308 : return copied_len;
213 : 525282 : }
214 : :
215 : : size_t
216 : 2474107 : spdk_iov_xfer_from_buf(struct spdk_iov_xfer *ix, const void *buf, size_t buf_len)
217 : : {
218 : 2474107 : return iov_xfer(ix, buf, buf_len, false);
219 : : }
220 : :
221 : : size_t
222 : 130434 : spdk_iov_xfer_to_buf(struct spdk_iov_xfer *ix, const void *buf, size_t buf_len)
223 : : {
224 : 130434 : return iov_xfer(ix, buf, buf_len, true);
225 : : }
226 : :
227 : : void
228 : 8539 : spdk_copy_iovs_to_buf(void *buf, size_t buf_len, struct iovec *iovs, int iovcnt)
229 : : {
230 : 8505 : struct spdk_iov_xfer ix;
231 : :
232 : 8539 : spdk_iov_xfer_init(&ix, iovs, iovcnt);
233 : 8539 : spdk_iov_xfer_to_buf(&ix, buf, buf_len);
234 : 8539 : }
235 : :
236 : : void
237 : 2462109 : spdk_copy_buf_to_iovs(struct iovec *iovs, int iovcnt, void *buf, size_t buf_len)
238 : : {
239 : 1782757 : struct spdk_iov_xfer ix;
240 : :
241 : 2462109 : spdk_iov_xfer_init(&ix, iovs, iovcnt);
242 : 2462109 : spdk_iov_xfer_from_buf(&ix, buf, buf_len);
243 : 2462109 : }
|