Branch data Line data Source code
1 : : /* SPDX-License-Identifier: BSD-3-Clause 2 : : * Copyright (C) 2017 Intel Corporation. 3 : : * All rights reserved. 4 : : */ 5 : : 6 : : #include "spdk/stdinc.h" 7 : : 8 : : #include "spdk/blobfs.h" 9 : : #include "cache_tree.h" 10 : : 11 : : #include "spdk/queue.h" 12 : : #include "spdk/assert.h" 13 : : #include "spdk/env.h" 14 : : #include "spdk/log.h" 15 : : 16 : : struct cache_buffer * 17 : 103796483 : tree_find_buffer(struct cache_tree *tree, uint64_t offset) 18 : : { 19 : : uint64_t index; 20 : : 21 [ + + ]: 209120744 : while (tree != NULL) { 22 [ - + - + ]: 205391754 : index = offset / CACHE_TREE_LEVEL_SIZE(tree->level); 23 [ + + ]: 205391754 : if (index >= CACHE_TREE_WIDTH) { 24 : 26509 : return NULL; 25 : : } 26 [ + + ]: 205365245 : if (tree->level == 0) { 27 : 100040984 : return tree->u.buffer[index]; 28 : : } else { 29 [ - + ]: 105324261 : offset &= CACHE_TREE_LEVEL_MASK(tree->level); 30 : 105324261 : tree = tree->u.tree[index]; 31 : : } 32 : : } 33 : : 34 : 3728990 : return NULL; 35 : : } 36 : : 37 : : struct cache_buffer * 38 : 37166397 : tree_find_filled_buffer(struct cache_tree *tree, uint64_t offset) 39 : : { 40 : : struct cache_buffer *buf; 41 : : 42 : 37166397 : buf = tree_find_buffer(tree, offset); 43 [ + + + + ]: 37166397 : if (buf != NULL && buf->bytes_filled > 0) { 44 : 33190930 : return buf; 45 : : } else { 46 : 3975467 : return NULL; 47 : : } 48 : : } 49 : : 50 : : struct cache_tree * 51 : 1368004 : tree_insert_buffer(struct cache_tree *root, struct cache_buffer *buffer) 52 : : { 53 : : struct cache_tree *tree; 54 : : uint64_t index, offset; 55 : : 56 : 1368004 : offset = buffer->offset; 57 [ + + + + ]: 1374405 : while (offset >= CACHE_TREE_LEVEL_SIZE(root->level + 1)) { 58 [ + + ]: 6401 : if (root->present_mask != 0) { 59 : 3073 : tree = calloc(1, sizeof(*tree)); 60 [ - + ]: 3073 : assert(tree != NULL); 61 : 3073 : tree->level = root->level + 1; 62 : 3073 : tree->u.tree[0] = root; 63 : 3073 : root = tree; 64 : 3073 : root->present_mask = 0x1ULL; 65 : : } else { 66 : 3328 : root->level++; 67 : : } 68 : : } 69 : : 70 : 1368004 : tree = root; 71 [ + + ]: 2552531 : while (tree->level > 0) { 72 [ - + - + ]: 1184527 : index = offset / CACHE_TREE_LEVEL_SIZE(tree->level); 73 [ - + ]: 1184527 : assert(index < CACHE_TREE_WIDTH); 74 [ - + ]: 1184527 : offset &= CACHE_TREE_LEVEL_MASK(tree->level); 75 [ + + ]: 1184527 : if (tree->u.tree[index] == NULL) { 76 : 24449 : tree->u.tree[index] = calloc(1, sizeof(*tree)); 77 [ - + ]: 24449 : assert(tree->u.tree[index] != NULL); 78 : 24449 : tree->u.tree[index]->level = tree->level - 1; 79 [ - + ]: 24449 : tree->present_mask |= (1ULL << index); 80 : : } 81 : 1184527 : tree = tree->u.tree[index]; 82 : : } 83 : : 84 : 1368004 : index = offset / CACHE_BUFFER_SIZE; 85 [ - + ]: 1368004 : assert(index < CACHE_TREE_WIDTH); 86 [ - + ]: 1368004 : assert(tree->u.buffer[index] == NULL); 87 : 1368004 : tree->u.buffer[index] = buffer; 88 [ - + ]: 1368004 : tree->present_mask |= (1ULL << index); 89 : 1368004 : return root; 90 : : } 91 : : 92 : : void 93 : 1042761 : tree_remove_buffer(struct cache_tree *tree, struct cache_buffer *buffer) 94 : : { 95 : : struct cache_tree *child; 96 : : uint64_t index; 97 : : 98 [ - + ]: 1042761 : index = CACHE_TREE_INDEX(tree->level, buffer->offset); 99 : : 100 [ + + ]: 1042761 : if (tree->level == 0) { 101 [ - + ]: 516102 : assert(tree->u.buffer[index] != NULL); 102 [ - + ]: 516102 : assert(buffer == tree->u.buffer[index]); 103 [ - + ]: 516102 : tree->present_mask &= ~(1ULL << index); 104 : 516102 : tree->u.buffer[index] = NULL; 105 : 516102 : cache_buffer_free(buffer); 106 : 516102 : return; 107 : : } 108 : : 109 : 526659 : child = tree->u.tree[index]; 110 [ - + ]: 526659 : assert(child != NULL); 111 : 526659 : tree_remove_buffer(child, buffer); 112 [ + + ]: 526659 : if (child->present_mask == 0) { 113 [ - + ]: 6979 : tree->present_mask &= ~(1ULL << index); 114 : 6979 : tree->u.tree[index] = NULL; 115 : 6979 : free(child); 116 : : } 117 : : } 118 : : 119 : : void 120 : 29790 : tree_free_buffers(struct cache_tree *tree) 121 : : { 122 : : struct cache_buffer *buffer; 123 : : struct cache_tree *child; 124 : : uint32_t i; 125 : : 126 [ - + ]: 29790 : if (tree->present_mask == 0) { 127 : 0 : return; 128 : : } 129 : : 130 [ + + ]: 29790 : if (tree->level == 0) { 131 [ + + ]: 1352325 : for (i = 0; i < CACHE_TREE_WIDTH; i++) { 132 : 1331520 : buffer = tree->u.buffer[i]; 133 [ + + + + : 1331520 : if (buffer != NULL && buffer->in_progress == false && + + ] 134 [ + + ]: 851916 : buffer->bytes_filled == buffer->bytes_flushed) { 135 : 851914 : cache_buffer_free(buffer); 136 : 851914 : tree->u.buffer[i] = NULL; 137 [ - + ]: 851914 : tree->present_mask &= ~(1ULL << i); 138 : : } 139 : : } 140 : : } else { 141 [ + + ]: 584025 : for (i = 0; i < CACHE_TREE_WIDTH; i++) { 142 : 575040 : child = tree->u.tree[i]; 143 [ + + ]: 575040 : if (child != NULL) { 144 : 20589 : tree_free_buffers(child); 145 [ + + ]: 20589 : if (child->present_mask == 0) { 146 : 20555 : free(child); 147 : 20555 : tree->u.tree[i] = NULL; 148 [ - + ]: 20555 : tree->present_mask &= ~(1ULL << i); 149 : : } 150 : : } 151 : : } 152 : : } 153 : : }