LCOV - code coverage report
Current view: top level - spdk/lib/util - xor.c (source / functions) Hit Total Coverage
Test: Combined Lines: 46 49 93.9 %
Date: 2024-07-15 22:18:41 Functions: 7 7 100.0 %
Legend: Lines: hit not hit | Branches: + taken - not taken # not executed Branches: 28 36 77.8 %

           Branch data     Line data    Source code
       1                 :            : /*   SPDX-License-Identifier: BSD-3-Clause
       2                 :            :  *   Copyright (C) 2022 Intel Corporation.
       3                 :            :  *   All rights reserved.
       4                 :            :  */
       5                 :            : 
       6                 :            : #include "spdk/xor.h"
       7                 :            : #include "spdk/config.h"
       8                 :            : #include "spdk/assert.h"
       9                 :            : #include "spdk/util.h"
      10                 :            : 
      11                 :            : /* maximum number of source buffers */
      12                 :            : #define SPDK_XOR_MAX_SRC        256
      13                 :            : 
      14                 :            : static inline bool
      15                 :   97413747 : is_aligned(void *ptr, size_t alignment)
      16                 :            : {
      17                 :   97413747 :         uintptr_t p = (uintptr_t)ptr;
      18                 :            : 
      19                 :   97413747 :         return p == SPDK_ALIGN_FLOOR(p, alignment);
      20                 :            : }
      21                 :            : 
      22                 :            : static bool
      23                 :   28174732 : buffers_aligned(void *dest, void **sources, uint32_t n, size_t alignment)
      24                 :            : {
      25                 :            :         uint32_t i;
      26                 :            : 
      27         [ +  + ]:   97413747 :         for (i = 0; i < n; i++) {
      28         [ +  + ]:   69431397 :                 if (!is_aligned(sources[i], alignment)) {
      29                 :     192384 :                         return false;
      30                 :            :                 }
      31                 :            :         }
      32                 :            : 
      33                 :   27982350 :         return is_aligned(dest, alignment);
      34                 :            : }
      35                 :            : 
      36                 :            : static void
      37                 :      97461 : xor_gen_unaligned(void *dest, void **sources, uint32_t n, uint32_t len)
      38                 :            : {
      39                 :            :         uint32_t i, j;
      40                 :            : 
      41         [ +  + ]:  659092466 :         for (i = 0; i < len; i++) {
      42                 :  658994734 :                 uint8_t b = 0;
      43                 :            : 
      44         [ +  + ]: 2796981724 :                 for (j = 0; j < n; j++) {
      45                 : 2137987990 :                         b ^= ((uint8_t *)sources[j])[i];
      46                 :            :                 }
      47                 :  658994734 :                 ((uint8_t *)dest)[i] = b;
      48                 :            :         }
      49                 :      97461 : }
      50                 :            : 
      51                 :            : static void
      52                 :     105137 : xor_gen_basic(void *dest, void **sources, uint32_t n, uint32_t len)
      53                 :            : {
      54                 :            :         uint32_t shift;
      55                 :            :         uint32_t len_div, len_rem;
      56                 :            :         uint32_t i, j;
      57                 :            : 
      58         [ +  + ]:     105137 :         if (!buffers_aligned(dest, sources, n, sizeof(uint64_t))) {
      59                 :      87733 :                 xor_gen_unaligned(dest, sources, n, len);
      60                 :      87733 :                 return;
      61                 :            :         }
      62                 :            : 
      63                 :      17404 :         shift = spdk_u32log2(sizeof(uint64_t));
      64         [ -  + ]:      17404 :         len_div = len >> shift;
      65         [ -  + ]:      17404 :         len_rem = len_div << shift;
      66                 :            : 
      67         [ +  + ]:    8919063 :         for (i = 0; i < len_div; i++) {
      68                 :    8901657 :                 uint64_t w = 0;
      69                 :            : 
      70         [ +  + ]:   42986843 :                 for (j = 0; j < n; j++) {
      71                 :   34085176 :                         w ^= ((uint64_t *)sources[j])[i];
      72                 :            :                 }
      73                 :    8901657 :                 ((uint64_t *)dest)[i] = w;
      74                 :            :         }
      75                 :            : 
      76         [ +  + ]:      17404 :         if (len_rem < len) {
      77                 :       9728 :                 void *sources2[SPDK_XOR_MAX_SRC];
      78                 :            : 
      79         [ +  + ]:      42692 :                 for (j = 0; j < n; j++) {
      80                 :      32964 :                         sources2[j] = (uint8_t *)sources[j] + len_rem;
      81                 :            :                 }
      82                 :            : 
      83                 :       9728 :                 xor_gen_unaligned((uint8_t *)dest + len_rem, sources2, n, len - len_rem);
      84                 :            :         }
      85                 :            : }
      86                 :            : 
      87                 :            : #ifdef SPDK_CONFIG_ISAL
      88                 :            : #include "isa-l/include/raid.h"
      89                 :            : 
      90                 :            : #define SPDK_XOR_BUF_ALIGN 32
      91                 :            : 
      92                 :            : static int
      93                 :   28069598 : do_xor_gen(void *dest, void **sources, uint32_t n, uint32_t len)
      94                 :            : {
      95         [ +  + ]:   28069598 :         if (buffers_aligned(dest, sources, n, SPDK_XOR_BUF_ALIGN)) {
      96                 :   11605990 :                 void *buffers[SPDK_XOR_MAX_SRC + 1];
      97                 :            : 
      98         [ -  + ]:   27964454 :                 if (n >= INT_MAX) {
      99                 :          0 :                         return -EINVAL;
     100                 :            :                 }
     101                 :            : 
     102   [ -  +  -  + ]:   27964454 :                 memcpy(buffers, sources, n * sizeof(buffers[0]));
     103                 :   27964454 :                 buffers[n] = dest;
     104                 :            : 
     105         [ -  + ]:   27964454 :                 if (xor_gen(n + 1, len, buffers)) {
     106                 :          0 :                         return -EINVAL;
     107                 :            :                 }
     108                 :            :         } else {
     109                 :     105137 :                 xor_gen_basic(dest, sources, n, len);
     110                 :            :         }
     111                 :            : 
     112                 :   28069598 :         return 0;
     113                 :            : }
     114                 :            : 
     115                 :            : #else
     116                 :            : 
     117                 :            : #define SPDK_XOR_BUF_ALIGN sizeof(uint64_t)
     118                 :            : 
     119                 :            : static inline int
     120                 :            : do_xor_gen(void *dest, void **sources, uint32_t n, uint32_t len)
     121                 :            : {
     122                 :            :         xor_gen_basic(dest, sources, n, len);
     123                 :            :         return 0;
     124                 :            : }
     125                 :            : 
     126                 :            : #endif
     127                 :            : 
     128                 :            : int
     129                 :   28069598 : spdk_xor_gen(void *dest, void **sources, uint32_t n, uint32_t len)
     130                 :            : {
     131   [ +  -  -  + ]:   28069598 :         if (n < 2 || n > SPDK_XOR_MAX_SRC) {
     132                 :          0 :                 return -EINVAL;
     133                 :            :         }
     134                 :            : 
     135                 :   28069598 :         return do_xor_gen(dest, sources, n, len);
     136                 :            : }
     137                 :            : 
     138                 :            : size_t
     139                 :         24 : spdk_xor_get_optimal_alignment(void)
     140                 :            : {
     141                 :         24 :         return SPDK_XOR_BUF_ALIGN;
     142                 :            : }
     143                 :            : 
     144                 :            : SPDK_STATIC_ASSERT(SPDK_XOR_BUF_ALIGN > 0 && !(SPDK_XOR_BUF_ALIGN & (SPDK_XOR_BUF_ALIGN - 1)),
     145                 :            :                    "Must be power of 2");

Generated by: LCOV version 1.14