LCOV - code coverage report
Current view: top level - spdk/lib/idxd - idxd.c (source / functions) Hit Total Coverage
Test: Combined Lines: 4 1173 0.3 %
Date: 2024-11-18 22:20:41 Functions: 2 48 4.2 %
Legend: Lines: hit not hit | Branches: + taken - not taken # not executed Branches: 9 3218 0.3 %

           Branch data     Line data    Source code
       1                 :            : /*   SPDX-License-Identifier: BSD-3-Clause
       2                 :            :  *   Copyright (C) 2020 Intel Corporation.
       3                 :            :  *   All rights reserved.
       4                 :            :  */
       5                 :            : 
       6                 :            : #include "spdk/stdinc.h"
       7                 :            : 
       8                 :            : #include "spdk/env.h"
       9                 :            : #include "spdk/util.h"
      10                 :            : #include "spdk/memory.h"
      11                 :            : #include "spdk/likely.h"
      12                 :            : 
      13                 :            : #include "spdk/log.h"
      14                 :            : #include "spdk_internal/idxd.h"
      15                 :            : 
      16                 :            : #include "idxd_internal.h"
      17                 :            : 
      18                 :            : #define ALIGN_4K 0x1000
      19                 :            : #define USERSPACE_DRIVER_NAME "user"
      20                 :            : #define KERNEL_DRIVER_NAME "kernel"
      21                 :            : 
      22                 :            : /* The max number of completions processed per poll */
      23                 :            : #define IDXD_MAX_COMPLETIONS      128
      24                 :            : 
      25                 :            : /* The minimum number of entries in batch per flush */
      26                 :            : #define IDXD_MIN_BATCH_FLUSH      32
      27                 :            : 
      28                 :            : #define DATA_BLOCK_SIZE_512 512
      29                 :            : #define DATA_BLOCK_SIZE_520 520
      30                 :            : #define DATA_BLOCK_SIZE_4096 4096
      31                 :            : #define DATA_BLOCK_SIZE_4104 4104
      32                 :            : 
      33                 :            : #define METADATA_SIZE_8 8
      34                 :            : #define METADATA_SIZE_16 16
      35                 :            : 
      36                 :            : static STAILQ_HEAD(, spdk_idxd_impl) g_idxd_impls = STAILQ_HEAD_INITIALIZER(g_idxd_impls);
      37                 :            : static struct spdk_idxd_impl *g_idxd_impl;
      38                 :            : 
      39                 :            : uint32_t
      40                 :          0 : spdk_idxd_get_socket(struct spdk_idxd_device *idxd)
      41                 :            : {
      42   [ #  #  #  # ]:          0 :         return idxd->socket_id;
      43                 :            : }
      44                 :            : 
      45                 :            : static inline void
      46                 :          0 : _submit_to_hw(struct spdk_idxd_io_channel *chan, struct idxd_ops *op)
      47                 :            : {
      48   [ #  #  #  #  :          0 :         STAILQ_INSERT_TAIL(&chan->ops_outstanding, op, link);
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
             #  #  #  #  
                      # ]
      49                 :            :         /*
      50                 :            :          * We must barrier before writing the descriptor to ensure that data
      51                 :            :          * has been correctly flushed from the associated data buffers before DMA
      52                 :            :          * operations begin.
      53                 :            :          */
      54                 :          0 :         _spdk_wmb();
      55   [ #  #  #  #  :          0 :         movdir64b(chan->portal + chan->portal_offset, op->desc);
          #  #  #  #  #  
                #  #  # ]
      56   [ #  #  #  #  :          0 :         chan->portal_offset = (chan->portal_offset + chan->idxd->chan_per_device * PORTAL_STRIDE) &
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
      57                 :            :                               PORTAL_MASK;
      58                 :          0 : }
      59                 :            : 
      60                 :            : inline static int
      61                 :          0 : _vtophys(struct spdk_idxd_io_channel *chan, const void *buf, uint64_t *buf_addr, uint64_t size)
      62                 :            : {
      63                 :          0 :         uint64_t updated_size = size;
      64                 :            : 
      65   [ #  #  #  #  :          0 :         if (chan->pasid_enabled) {
             #  #  #  # ]
      66                 :            :                 /* We can just use virtual addresses */
      67         [ #  # ]:          0 :                 *buf_addr = (uint64_t)buf;
      68                 :          0 :                 return 0;
      69                 :            :         }
      70                 :            : 
      71         [ #  # ]:          0 :         *buf_addr = spdk_vtophys(buf, &updated_size);
      72                 :            : 
      73   [ #  #  #  # ]:          0 :         if (*buf_addr == SPDK_VTOPHYS_ERROR) {
      74                 :          0 :                 SPDK_ERRLOG("Error translating address\n");
      75                 :          0 :                 return -EINVAL;
      76                 :            :         }
      77                 :            : 
      78         [ #  # ]:          0 :         if (updated_size < size) {
      79                 :          0 :                 SPDK_ERRLOG("Error translating size (0x%lx), return size (0x%lx)\n", size, updated_size);
      80                 :          0 :                 return -EINVAL;
      81                 :            :         }
      82                 :            : 
      83                 :          0 :         return 0;
      84                 :          0 : }
      85                 :            : 
      86                 :            : struct idxd_vtophys_iter {
      87                 :            :         const void      *src;
      88                 :            :         void            *dst;
      89                 :            :         uint64_t        len;
      90                 :            : 
      91                 :            :         uint64_t        offset;
      92                 :            : 
      93                 :            :         bool            pasid_enabled;
      94                 :            : };
      95                 :            : 
      96                 :            : static void
      97                 :          0 : idxd_vtophys_iter_init(struct spdk_idxd_io_channel *chan,
      98                 :            :                        struct idxd_vtophys_iter *iter,
      99                 :            :                        const void *src, void *dst, uint64_t len)
     100                 :            : {
     101   [ #  #  #  # ]:          0 :         iter->src = src;
     102   [ #  #  #  # ]:          0 :         iter->dst = dst;
     103   [ #  #  #  # ]:          0 :         iter->len = len;
     104   [ #  #  #  # ]:          0 :         iter->offset = 0;
     105   [ #  #  #  #  :          0 :         iter->pasid_enabled = chan->pasid_enabled;
          #  #  #  #  #  
                      # ]
     106                 :          0 : }
     107                 :            : 
     108                 :            : static uint64_t
     109                 :          0 : idxd_vtophys_iter_next(struct idxd_vtophys_iter *iter,
     110                 :            :                        uint64_t *src_phys, uint64_t *dst_phys)
     111                 :            : {
     112                 :          0 :         uint64_t src_off, dst_off, len;
     113                 :          0 :         const void *src;
     114                 :          0 :         void *dst;
     115                 :            : 
     116   [ #  #  #  #  :          0 :         src = iter->src + iter->offset;
             #  #  #  # ]
     117   [ #  #  #  #  :          0 :         dst = iter->dst + iter->offset;
             #  #  #  # ]
     118                 :            : 
     119   [ #  #  #  #  :          0 :         if (iter->offset == iter->len) {
          #  #  #  #  #  
                      # ]
     120                 :          0 :                 return 0;
     121                 :            :         }
     122                 :            : 
     123   [ #  #  #  #  :          0 :         if (iter->pasid_enabled) {
             #  #  #  # ]
     124         [ #  # ]:          0 :                 *src_phys = (uint64_t)src;
     125         [ #  # ]:          0 :                 *dst_phys = (uint64_t)dst;
     126   [ #  #  #  # ]:          0 :                 return iter->len;
     127                 :            :         }
     128                 :            : 
     129   [ #  #  #  #  :          0 :         len = iter->len - iter->offset;
             #  #  #  # ]
     130                 :            : 
     131                 :          0 :         src_off = len;
     132         [ #  # ]:          0 :         *src_phys = spdk_vtophys(src, &src_off);
     133   [ #  #  #  # ]:          0 :         if (*src_phys == SPDK_VTOPHYS_ERROR) {
     134                 :          0 :                 SPDK_ERRLOG("Error translating address\n");
     135                 :          0 :                 return SPDK_VTOPHYS_ERROR;
     136                 :            :         }
     137                 :            : 
     138                 :          0 :         dst_off = len;
     139         [ #  # ]:          0 :         *dst_phys = spdk_vtophys(dst, &dst_off);
     140   [ #  #  #  # ]:          0 :         if (*dst_phys == SPDK_VTOPHYS_ERROR) {
     141                 :          0 :                 SPDK_ERRLOG("Error translating address\n");
     142                 :          0 :                 return SPDK_VTOPHYS_ERROR;
     143                 :            :         }
     144                 :            : 
     145         [ #  # ]:          0 :         len = spdk_min(src_off, dst_off);
     146   [ #  #  #  # ]:          0 :         iter->offset += len;
     147                 :            : 
     148                 :          0 :         return len;
     149                 :          0 : }
     150                 :            : 
     151                 :            : /* helper function for DSA specific spdk_idxd_get_channel() stuff */
     152                 :            : static int
     153                 :          0 : _dsa_alloc_batches(struct spdk_idxd_io_channel *chan, int num_descriptors)
     154                 :            : {
     155                 :          0 :         struct idxd_batch *batch;
     156                 :          0 :         struct idxd_hw_desc *desc;
     157                 :          0 :         struct idxd_ops *op;
     158                 :          0 :         int i, j, num_batches, rc = -1;
     159                 :            : 
     160                 :            :         /* Allocate batches */
     161                 :          0 :         num_batches = num_descriptors;
     162   [ #  #  #  # ]:          0 :         chan->batch_base = calloc(num_batches, sizeof(struct idxd_batch));
     163   [ #  #  #  #  :          0 :         if (chan->batch_base == NULL) {
                   #  # ]
     164                 :          0 :                 SPDK_ERRLOG("Failed to allocate batch pool\n");
     165                 :          0 :                 goto error_desc;
     166                 :            :         }
     167   [ #  #  #  # ]:          0 :         batch = chan->batch_base;
     168   [ #  #  #  # ]:          0 :         for (i = 0 ; i < num_batches ; i++) {
     169   [ #  #  #  #  :          0 :                 batch->size = chan->idxd->batch_size;
          #  #  #  #  #  
                #  #  # ]
     170   [ #  #  #  #  :          0 :                 batch->user_desc = desc = spdk_zmalloc(batch->size * sizeof(struct idxd_hw_desc),
             #  #  #  # ]
     171                 :            :                                                        0x40, NULL,
     172                 :            :                                                        SPDK_ENV_LCORE_ID_ANY, SPDK_MALLOC_DMA);
     173   [ #  #  #  #  :          0 :                 if (batch->user_desc == NULL) {
                   #  # ]
     174                 :          0 :                         SPDK_ERRLOG("Failed to allocate batch descriptor memory\n");
     175                 :          0 :                         goto error_user;
     176                 :            :                 }
     177                 :            : 
     178   [ #  #  #  #  :          0 :                 rc = _vtophys(chan, batch->user_desc, &batch->user_desc_addr,
                   #  # ]
     179   [ #  #  #  # ]:          0 :                               batch->size * sizeof(struct idxd_hw_desc));
     180         [ #  # ]:          0 :                 if (rc) {
     181                 :          0 :                         SPDK_ERRLOG("Failed to translate batch descriptor memory\n");
     182                 :          0 :                         goto error_user;
     183                 :            :                 }
     184                 :            : 
     185   [ #  #  #  #  :          0 :                 batch->user_ops = op = spdk_zmalloc(batch->size * sizeof(struct idxd_ops),
             #  #  #  # ]
     186                 :            :                                                     0x40, NULL,
     187                 :            :                                                     SPDK_ENV_LCORE_ID_ANY, SPDK_MALLOC_DMA);
     188   [ #  #  #  #  :          0 :                 if (batch->user_ops == NULL) {
                   #  # ]
     189                 :          0 :                         SPDK_ERRLOG("Failed to allocate user completion memory\n");
     190                 :          0 :                         goto error_user;
     191                 :            :                 }
     192                 :            : 
     193   [ #  #  #  #  :          0 :                 for (j = 0; j < batch->size; j++) {
             #  #  #  # ]
     194   [ #  #  #  #  :          0 :                         rc = _vtophys(chan, &op->hw, &desc->completion_addr, sizeof(struct dsa_hw_comp_record));
                   #  # ]
     195         [ #  # ]:          0 :                         if (rc) {
     196                 :          0 :                                 SPDK_ERRLOG("Failed to translate batch entry completion memory\n");
     197                 :          0 :                                 goto error_user;
     198                 :            :                         }
     199         [ #  # ]:          0 :                         op++;
     200         [ #  # ]:          0 :                         desc++;
     201                 :          0 :                 }
     202   [ #  #  #  #  :          0 :                 TAILQ_INSERT_TAIL(&chan->batch_pool, batch, link);
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
     203         [ #  # ]:          0 :                 batch++;
     204                 :          0 :         }
     205                 :          0 :         return 0;
     206                 :            : 
     207                 :          0 : error_user:
     208   [ #  #  #  #  :          0 :         TAILQ_FOREACH(batch, &chan->batch_pool, link) {
          #  #  #  #  #  
             #  #  #  #  
                      # ]
     209   [ #  #  #  # ]:          0 :                 spdk_free(batch->user_ops);
     210   [ #  #  #  # ]:          0 :                 batch->user_ops = NULL;
     211   [ #  #  #  # ]:          0 :                 spdk_free(batch->user_desc);
     212   [ #  #  #  # ]:          0 :                 batch->user_desc = NULL;
     213                 :          0 :         }
     214   [ #  #  #  # ]:          0 :         spdk_free(chan->ops_base);
     215   [ #  #  #  # ]:          0 :         chan->ops_base = NULL;
     216                 :          0 : error_desc:
     217   [ #  #  #  #  :          0 :         STAILQ_INIT(&chan->ops_pool);
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
     218   [ #  #  #  # ]:          0 :         spdk_free(chan->desc_base);
     219   [ #  #  #  # ]:          0 :         chan->desc_base = NULL;
     220                 :          0 :         return rc;
     221                 :          0 : }
     222                 :            : 
     223                 :            : struct spdk_idxd_io_channel *
     224                 :          0 : spdk_idxd_get_channel(struct spdk_idxd_device *idxd)
     225                 :            : {
     226                 :          0 :         struct spdk_idxd_io_channel *chan;
     227                 :          0 :         struct idxd_hw_desc *desc;
     228                 :          0 :         struct idxd_ops *op;
     229                 :          0 :         int i, num_descriptors, rc = -1;
     230                 :          0 :         uint32_t comp_rec_size;
     231                 :            : 
     232   [ #  #  #  # ]:          0 :         assert(idxd != NULL);
     233                 :            : 
     234                 :          0 :         chan = calloc(1, sizeof(struct spdk_idxd_io_channel));
     235         [ #  # ]:          0 :         if (chan == NULL) {
     236                 :          0 :                 SPDK_ERRLOG("Failed to allocate idxd chan\n");
     237                 :          0 :                 return NULL;
     238                 :            :         }
     239                 :            : 
     240   [ #  #  #  # ]:          0 :         chan->idxd = idxd;
     241   [ #  #  #  #  :          0 :         chan->pasid_enabled = idxd->pasid_enabled;
          #  #  #  #  #  
                      # ]
     242   [ #  #  #  #  :          0 :         STAILQ_INIT(&chan->ops_pool);
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
     243   [ #  #  #  #  :          0 :         TAILQ_INIT(&chan->batch_pool);
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
     244   [ #  #  #  #  :          0 :         STAILQ_INIT(&chan->ops_outstanding);
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
     245                 :            : 
     246                 :            :         /* Assign WQ, portal */
     247   [ #  #  #  # ]:          0 :         pthread_mutex_lock(&idxd->num_channels_lock);
     248   [ #  #  #  #  :          0 :         if (idxd->num_channels == idxd->chan_per_device) {
          #  #  #  #  #  
                      # ]
     249                 :            :                 /* too many channels sharing this device */
     250   [ #  #  #  # ]:          0 :                 pthread_mutex_unlock(&idxd->num_channels_lock);
     251                 :          0 :                 SPDK_ERRLOG("Too many channels sharing this device\n");
     252                 :          0 :                 goto error;
     253                 :            :         }
     254                 :            : 
     255                 :            :         /* Have each channel start at a different offset. */
     256   [ #  #  #  #  :          0 :         chan->portal = idxd->impl->portal_get_addr(idxd);
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
     257   [ #  #  #  #  :          0 :         chan->portal_offset = (idxd->num_channels * PORTAL_STRIDE) & PORTAL_MASK;
             #  #  #  # ]
     258         [ #  # ]:          0 :         idxd->num_channels++;
     259                 :            : 
     260   [ #  #  #  # ]:          0 :         pthread_mutex_unlock(&idxd->num_channels_lock);
     261                 :            : 
     262                 :            :         /* Allocate descriptors and completions */
     263   [ #  #  #  #  :          0 :         num_descriptors = idxd->total_wq_size / idxd->chan_per_device;
          #  #  #  #  #  
                      # ]
     264   [ #  #  #  # ]:          0 :         chan->desc_base = desc = spdk_zmalloc(num_descriptors * sizeof(struct idxd_hw_desc),
     265                 :            :                                               0x40, NULL,
     266                 :            :                                               SPDK_ENV_LCORE_ID_ANY, SPDK_MALLOC_DMA);
     267   [ #  #  #  #  :          0 :         if (chan->desc_base == NULL) {
                   #  # ]
     268                 :          0 :                 SPDK_ERRLOG("Failed to allocate DSA descriptor memory\n");
     269                 :          0 :                 goto error;
     270                 :            :         }
     271                 :            : 
     272   [ #  #  #  # ]:          0 :         chan->ops_base = op = spdk_zmalloc(num_descriptors * sizeof(struct idxd_ops),
     273                 :            :                                            0x40, NULL,
     274                 :            :                                            SPDK_ENV_LCORE_ID_ANY, SPDK_MALLOC_DMA);
     275   [ #  #  #  #  :          0 :         if (chan->ops_base == NULL) {
                   #  # ]
     276                 :          0 :                 SPDK_ERRLOG("Failed to allocate idxd_ops memory\n");
     277                 :          0 :                 goto error;
     278                 :            :         }
     279                 :            : 
     280   [ #  #  #  #  :          0 :         if (idxd->type == IDXD_DEV_TYPE_DSA) {
                   #  # ]
     281                 :          0 :                 comp_rec_size = sizeof(struct dsa_hw_comp_record);
     282         [ #  # ]:          0 :                 if (_dsa_alloc_batches(chan, num_descriptors)) {
     283                 :          0 :                         goto error;
     284                 :            :                 }
     285                 :          0 :         } else {
     286                 :          0 :                 comp_rec_size = sizeof(struct iaa_hw_comp_record);
     287                 :            :         }
     288                 :            : 
     289   [ #  #  #  # ]:          0 :         for (i = 0; i < num_descriptors; i++) {
     290   [ #  #  #  #  :          0 :                 STAILQ_INSERT_TAIL(&chan->ops_pool, op, link);
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
             #  #  #  #  
                      # ]
     291   [ #  #  #  # ]:          0 :                 op->desc = desc;
     292   [ #  #  #  #  :          0 :                 rc = _vtophys(chan, &op->hw, &desc->completion_addr, comp_rec_size);
                   #  # ]
     293         [ #  # ]:          0 :                 if (rc) {
     294                 :          0 :                         SPDK_ERRLOG("Failed to translate completion memory\n");
     295                 :          0 :                         goto error;
     296                 :            :                 }
     297         [ #  # ]:          0 :                 op++;
     298         [ #  # ]:          0 :                 desc++;
     299                 :          0 :         }
     300                 :            : 
     301                 :          0 :         return chan;
     302                 :            : 
     303                 :          0 : error:
     304   [ #  #  #  # ]:          0 :         spdk_free(chan->ops_base);
     305   [ #  #  #  # ]:          0 :         chan->ops_base = NULL;
     306   [ #  #  #  # ]:          0 :         spdk_free(chan->desc_base);
     307   [ #  #  #  # ]:          0 :         chan->desc_base = NULL;
     308                 :          0 :         free(chan);
     309                 :          0 :         return NULL;
     310                 :          0 : }
     311                 :            : 
     312                 :            : static int idxd_batch_cancel(struct spdk_idxd_io_channel *chan, int status);
     313                 :            : 
     314                 :            : void
     315                 :          0 : spdk_idxd_put_channel(struct spdk_idxd_io_channel *chan)
     316                 :            : {
     317                 :          0 :         struct idxd_batch *batch;
     318                 :            : 
     319   [ #  #  #  # ]:          0 :         assert(chan != NULL);
     320   [ #  #  #  #  :          0 :         assert(chan->idxd != NULL);
             #  #  #  # ]
     321                 :            : 
     322   [ #  #  #  #  :          0 :         if (chan->batch) {
                   #  # ]
     323                 :          0 :                 idxd_batch_cancel(chan, -ECANCELED);
     324                 :          0 :         }
     325                 :            : 
     326   [ #  #  #  #  :          0 :         pthread_mutex_lock(&chan->idxd->num_channels_lock);
             #  #  #  # ]
     327   [ #  #  #  #  :          0 :         assert(chan->idxd->num_channels > 0);
          #  #  #  #  #  
                #  #  # ]
     328   [ #  #  #  #  :          0 :         chan->idxd->num_channels--;
                   #  # ]
     329   [ #  #  #  #  :          0 :         pthread_mutex_unlock(&chan->idxd->num_channels_lock);
             #  #  #  # ]
     330                 :            : 
     331   [ #  #  #  # ]:          0 :         spdk_free(chan->ops_base);
     332   [ #  #  #  # ]:          0 :         spdk_free(chan->desc_base);
     333   [ #  #  #  #  :          0 :         while ((batch = TAILQ_FIRST(&chan->batch_pool))) {
             #  #  #  # ]
     334   [ #  #  #  #  :          0 :                 TAILQ_REMOVE(&chan->batch_pool, batch, link);
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
                #  #  # ]
     335   [ #  #  #  # ]:          0 :                 spdk_free(batch->user_ops);
     336   [ #  #  #  # ]:          0 :                 spdk_free(batch->user_desc);
     337                 :            :         }
     338   [ #  #  #  # ]:          0 :         free(chan->batch_base);
     339                 :          0 :         free(chan);
     340                 :          0 : }
     341                 :            : 
     342                 :            : static inline struct spdk_idxd_impl *
     343                 :          0 : idxd_get_impl_by_name(const char *impl_name)
     344                 :            : {
     345                 :          0 :         struct spdk_idxd_impl *impl;
     346                 :            : 
     347   [ #  #  #  # ]:          0 :         assert(impl_name != NULL);
     348   [ #  #  #  #  :          0 :         STAILQ_FOREACH(impl, &g_idxd_impls, link) {
             #  #  #  # ]
     349   [ #  #  #  #  :          0 :                 if (0 == strcmp(impl_name, impl->name)) {
          #  #  #  #  #  
                      # ]
     350                 :          0 :                         return impl;
     351                 :            :                 }
     352                 :          0 :         }
     353                 :            : 
     354                 :          0 :         return NULL;
     355                 :          0 : }
     356                 :            : 
     357                 :            : int
     358                 :          0 : spdk_idxd_set_config(bool kernel_mode)
     359                 :            : {
     360                 :          0 :         struct spdk_idxd_impl *tmp;
     361                 :            : 
     362   [ #  #  #  # ]:          0 :         if (kernel_mode) {
     363                 :          0 :                 tmp = idxd_get_impl_by_name(KERNEL_DRIVER_NAME);
     364                 :          0 :         } else {
     365                 :          0 :                 tmp = idxd_get_impl_by_name(USERSPACE_DRIVER_NAME);
     366                 :            :         }
     367                 :            : 
     368   [ #  #  #  # ]:          0 :         if (g_idxd_impl != NULL && g_idxd_impl != tmp) {
     369                 :          0 :                 SPDK_ERRLOG("Cannot change idxd implementation after devices are initialized\n");
     370         [ #  # ]:          0 :                 assert(false);
     371                 :            :                 return -EALREADY;
     372                 :            :         }
     373                 :          0 :         g_idxd_impl = tmp;
     374                 :            : 
     375         [ #  # ]:          0 :         if (g_idxd_impl == NULL) {
     376         [ #  # ]:          0 :                 SPDK_ERRLOG("Cannot set the idxd implementation with %s mode\n",
     377                 :            :                             kernel_mode ? KERNEL_DRIVER_NAME : USERSPACE_DRIVER_NAME);
     378                 :          0 :                 return -EINVAL;
     379                 :            :         }
     380                 :            : 
     381                 :          0 :         return 0;
     382                 :          0 : }
     383                 :            : 
     384                 :            : static void
     385                 :          0 : idxd_device_destruct(struct spdk_idxd_device *idxd)
     386                 :            : {
     387   [ #  #  #  #  :          0 :         assert(idxd->impl != NULL);
             #  #  #  # ]
     388                 :            : 
     389   [ #  #  #  #  :          0 :         idxd->impl->destruct(idxd);
          #  #  #  #  #  
                #  #  # ]
     390                 :          0 : }
     391                 :            : 
     392                 :            : int
     393                 :          0 : spdk_idxd_probe(void *cb_ctx, spdk_idxd_attach_cb attach_cb,
     394                 :            :                 spdk_idxd_probe_cb probe_cb)
     395                 :            : {
     396         [ #  # ]:          0 :         if (g_idxd_impl == NULL) {
     397                 :          0 :                 SPDK_ERRLOG("No idxd impl is selected\n");
     398                 :          0 :                 return -1;
     399                 :            :         }
     400                 :            : 
     401   [ #  #  #  #  :          0 :         return g_idxd_impl->probe(cb_ctx, attach_cb, probe_cb);
             #  #  #  # ]
     402                 :          0 : }
     403                 :            : 
     404                 :            : void
     405                 :          0 : spdk_idxd_detach(struct spdk_idxd_device *idxd)
     406                 :            : {
     407   [ #  #  #  # ]:          0 :         assert(idxd != NULL);
     408                 :          0 :         idxd_device_destruct(idxd);
     409                 :          0 : }
     410                 :            : 
     411                 :            : static int
     412                 :          0 : _idxd_prep_command(struct spdk_idxd_io_channel *chan, spdk_idxd_req_cb cb_fn, void *cb_arg,
     413                 :            :                    int flags, struct idxd_hw_desc **_desc, struct idxd_ops **_op)
     414                 :            : {
     415                 :          0 :         struct idxd_hw_desc *desc;
     416                 :          0 :         struct idxd_ops *op;
     417                 :          0 :         uint64_t comp_addr;
     418                 :            : 
     419   [ #  #  #  #  :          0 :         if (!STAILQ_EMPTY(&chan->ops_pool)) {
             #  #  #  # ]
     420   [ #  #  #  #  :          0 :                 op = *_op = STAILQ_FIRST(&chan->ops_pool);
             #  #  #  # ]
     421   [ #  #  #  #  :          0 :                 desc = *_desc = op->desc;
                   #  # ]
     422   [ #  #  #  # ]:          0 :                 comp_addr = desc->completion_addr;
     423         [ #  # ]:          0 :                 memset(desc, 0, sizeof(*desc));
     424   [ #  #  #  # ]:          0 :                 desc->completion_addr = comp_addr;
     425   [ #  #  #  #  :          0 :                 STAILQ_REMOVE_HEAD(&chan->ops_pool, link);
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
                      # ]
     426                 :          0 :         } else {
     427                 :            :                 /* The application needs to handle this, violation of flow control */
     428                 :          0 :                 return -EBUSY;
     429                 :            :         }
     430                 :            : 
     431   [ #  #  #  # ]:          0 :         flags |= IDXD_FLAG_COMPLETION_ADDR_VALID;
     432   [ #  #  #  # ]:          0 :         flags |= IDXD_FLAG_REQUEST_COMPLETION;
     433                 :            : 
     434         [ #  # ]:          0 :         desc->flags = flags;
     435   [ #  #  #  # ]:          0 :         op->cb_arg = cb_arg;
     436   [ #  #  #  # ]:          0 :         op->cb_fn = cb_fn;
     437   [ #  #  #  # ]:          0 :         op->batch = NULL;
     438   [ #  #  #  # ]:          0 :         op->parent = NULL;
     439   [ #  #  #  # ]:          0 :         op->count = 1;
     440                 :            : 
     441                 :          0 :         return 0;
     442                 :          0 : }
     443                 :            : 
     444                 :            : static int
     445                 :          0 : _idxd_prep_batch_cmd(struct spdk_idxd_io_channel *chan, spdk_idxd_req_cb cb_fn,
     446                 :            :                      void *cb_arg, int flags,
     447                 :            :                      struct idxd_hw_desc **_desc, struct idxd_ops **_op)
     448                 :            : {
     449                 :          0 :         struct idxd_hw_desc *desc;
     450                 :          0 :         struct idxd_ops *op;
     451                 :          0 :         uint64_t comp_addr;
     452                 :          0 :         struct idxd_batch *batch;
     453                 :            : 
     454   [ #  #  #  # ]:          0 :         batch = chan->batch;
     455                 :            : 
     456   [ #  #  #  # ]:          0 :         assert(batch != NULL);
     457   [ #  #  #  #  :          0 :         if (batch->index == batch->size) {
          #  #  #  #  #  
                      # ]
     458                 :          0 :                 return -EBUSY;
     459                 :            :         }
     460                 :            : 
     461   [ #  #  #  #  :          0 :         desc = *_desc = &batch->user_desc[batch->index];
          #  #  #  #  #  
                #  #  # ]
     462   [ #  #  #  #  :          0 :         op = *_op = &batch->user_ops[batch->index];
          #  #  #  #  #  
                #  #  # ]
     463                 :            : 
     464   [ #  #  #  # ]:          0 :         op->desc = desc;
     465   [ #  #  #  #  :          0 :         SPDK_DEBUGLOG(idxd, "Prep batch %p index %u\n", batch, batch->index);
          #  #  #  #  #  
                      # ]
     466                 :            : 
     467         [ #  # ]:          0 :         batch->index++;
     468                 :            : 
     469   [ #  #  #  # ]:          0 :         comp_addr = desc->completion_addr;
     470         [ #  # ]:          0 :         memset(desc, 0, sizeof(*desc));
     471   [ #  #  #  # ]:          0 :         desc->completion_addr = comp_addr;
     472   [ #  #  #  # ]:          0 :         flags |= IDXD_FLAG_COMPLETION_ADDR_VALID;
     473   [ #  #  #  # ]:          0 :         flags |= IDXD_FLAG_REQUEST_COMPLETION;
     474         [ #  # ]:          0 :         desc->flags = flags;
     475   [ #  #  #  # ]:          0 :         op->cb_arg = cb_arg;
     476   [ #  #  #  # ]:          0 :         op->cb_fn = cb_fn;
     477   [ #  #  #  # ]:          0 :         op->batch = batch;
     478   [ #  #  #  # ]:          0 :         op->parent = NULL;
     479   [ #  #  #  # ]:          0 :         op->count = 1;
     480   [ #  #  #  #  :          0 :         op->crc_dst = NULL;
                   #  # ]
     481                 :            : 
     482                 :          0 :         return 0;
     483                 :          0 : }
     484                 :            : 
     485                 :            : static struct idxd_batch *
     486                 :          0 : idxd_batch_create(struct spdk_idxd_io_channel *chan)
     487                 :            : {
     488                 :          0 :         struct idxd_batch *batch;
     489                 :            : 
     490   [ #  #  #  # ]:          0 :         assert(chan != NULL);
     491   [ #  #  #  #  :          0 :         assert(chan->batch == NULL);
             #  #  #  # ]
     492                 :            : 
     493   [ #  #  #  #  :          0 :         if (!TAILQ_EMPTY(&chan->batch_pool)) {
             #  #  #  # ]
     494   [ #  #  #  #  :          0 :                 batch = TAILQ_FIRST(&chan->batch_pool);
                   #  # ]
     495   [ #  #  #  # ]:          0 :                 batch->index = 0;
     496   [ #  #  #  # ]:          0 :                 batch->chan = chan;
     497   [ #  #  #  # ]:          0 :                 chan->batch = batch;
     498   [ #  #  #  #  :          0 :                 TAILQ_REMOVE(&chan->batch_pool, batch, link);
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
                #  #  # ]
     499                 :          0 :         } else {
     500                 :            :                 /* The application needs to handle this. */
     501                 :          0 :                 return NULL;
     502                 :            :         }
     503                 :            : 
     504                 :          0 :         return batch;
     505                 :          0 : }
     506                 :            : 
     507                 :            : static void
     508                 :          0 : _free_batch(struct idxd_batch *batch, struct spdk_idxd_io_channel *chan)
     509                 :            : {
     510   [ #  #  #  #  :          0 :         SPDK_DEBUGLOG(idxd, "Free batch %p\n", batch);
                   #  # ]
     511   [ #  #  #  #  :          0 :         assert(batch->refcnt == 0);
             #  #  #  # ]
     512   [ #  #  #  # ]:          0 :         batch->index = 0;
     513   [ #  #  #  # ]:          0 :         batch->chan = NULL;
     514   [ #  #  #  #  :          0 :         TAILQ_INSERT_TAIL(&chan->batch_pool, batch, link);
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
     515                 :          0 : }
     516                 :            : 
     517                 :            : static int
     518                 :          0 : idxd_batch_cancel(struct spdk_idxd_io_channel *chan, int status)
     519                 :            : {
     520                 :          0 :         struct idxd_ops *op;
     521                 :          0 :         struct idxd_batch *batch;
     522                 :          0 :         int i;
     523                 :            : 
     524   [ #  #  #  # ]:          0 :         assert(chan != NULL);
     525                 :            : 
     526   [ #  #  #  # ]:          0 :         batch = chan->batch;
     527   [ #  #  #  # ]:          0 :         assert(batch != NULL);
     528                 :            : 
     529   [ #  #  #  #  :          0 :         if (batch->index == UINT16_MAX) {
                   #  # ]
     530                 :          0 :                 SPDK_ERRLOG("Cannot cancel batch, already submitted to HW.\n");
     531                 :          0 :                 return -EINVAL;
     532                 :            :         }
     533                 :            : 
     534   [ #  #  #  # ]:          0 :         chan->batch = NULL;
     535                 :            : 
     536   [ #  #  #  #  :          0 :         for (i = 0; i < batch->index; i++) {
             #  #  #  # ]
     537   [ #  #  #  #  :          0 :                 op = &batch->user_ops[i];
                   #  # ]
     538   [ #  #  #  #  :          0 :                 if (op->cb_fn) {
                   #  # ]
     539   [ #  #  #  #  :          0 :                         op->cb_fn(op->cb_arg, status);
          #  #  #  #  #  
                #  #  # ]
     540                 :          0 :                 }
     541                 :          0 :         }
     542                 :            : 
     543                 :          0 :         _free_batch(batch, chan);
     544                 :            : 
     545                 :          0 :         return 0;
     546                 :          0 : }
     547                 :            : 
     548                 :            : static int
     549                 :          0 : idxd_batch_submit(struct spdk_idxd_io_channel *chan,
     550                 :            :                   spdk_idxd_req_cb cb_fn, void *cb_arg)
     551                 :            : {
     552                 :          0 :         struct idxd_hw_desc *desc;
     553                 :          0 :         struct idxd_batch *batch;
     554                 :          0 :         struct idxd_ops *op;
     555                 :          0 :         int i, rc, flags = 0;
     556                 :            : 
     557   [ #  #  #  # ]:          0 :         assert(chan != NULL);
     558                 :            : 
     559   [ #  #  #  # ]:          0 :         batch = chan->batch;
     560   [ #  #  #  # ]:          0 :         assert(batch != NULL);
     561                 :            : 
     562   [ #  #  #  #  :          0 :         if (batch->index == 0) {
                   #  # ]
     563                 :          0 :                 return idxd_batch_cancel(chan, 0);
     564                 :            :         }
     565                 :            : 
     566                 :            :         /* Common prep. */
     567                 :          0 :         rc = _idxd_prep_command(chan, cb_fn, cb_arg, flags, &desc, &op);
     568         [ #  # ]:          0 :         if (rc) {
     569                 :          0 :                 return rc;
     570                 :            :         }
     571                 :            : 
     572   [ #  #  #  #  :          0 :         if (batch->index == 1) {
                   #  # ]
     573                 :          0 :                 uint64_t completion_addr;
     574                 :            : 
     575                 :            :                 /* If there's only one command, convert it away from a batch. */
     576   [ #  #  #  # ]:          0 :                 completion_addr = desc->completion_addr;
     577   [ #  #  #  #  :          0 :                 memcpy(desc, &batch->user_desc[0], sizeof(*desc));
          #  #  #  #  #  
                      # ]
     578   [ #  #  #  # ]:          0 :                 desc->completion_addr = completion_addr;
     579   [ #  #  #  #  :          0 :                 op->cb_fn = batch->user_ops[0].cb_fn;
          #  #  #  #  #  
             #  #  #  #  
                      # ]
     580   [ #  #  #  #  :          0 :                 op->cb_arg = batch->user_ops[0].cb_arg;
          #  #  #  #  #  
             #  #  #  #  
                      # ]
     581   [ #  #  #  #  :          0 :                 op->crc_dst = batch->user_ops[0].crc_dst;
          #  #  #  #  #  
          #  #  #  #  #  
             #  #  #  # ]
     582                 :          0 :                 _free_batch(batch, chan);
     583                 :          0 :         } else {
     584                 :            :                 /* Command specific. */
     585         [ #  # ]:          0 :                 desc->opcode = IDXD_OPCODE_BATCH;
     586   [ #  #  #  #  :          0 :                 desc->desc_list_addr = batch->user_desc_addr;
          #  #  #  #  #  
                      # ]
     587   [ #  #  #  #  :          0 :                 desc->desc_count = batch->index;
          #  #  #  #  #  
                      # ]
     588   [ #  #  #  #  :          0 :                 assert(batch->index <= batch->size);
          #  #  #  #  #  
                #  #  # ]
     589                 :            : 
     590                 :            :                 /* Add the batch elements completion contexts to the outstanding list to be polled. */
     591   [ #  #  #  #  :          0 :                 for (i = 0 ; i < batch->index; i++) {
             #  #  #  # ]
     592         [ #  # ]:          0 :                         batch->refcnt++;
     593   [ #  #  #  #  :          0 :                         STAILQ_INSERT_TAIL(&chan->ops_outstanding, (struct idxd_ops *)&batch->user_ops[i],
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
                #  #  # ]
     594                 :            :                                            link);
     595                 :          0 :                 }
     596   [ #  #  #  # ]:          0 :                 batch->index = UINT16_MAX;
     597                 :            :         }
     598                 :            : 
     599   [ #  #  #  # ]:          0 :         chan->batch = NULL;
     600                 :            : 
     601                 :            :         /* Submit operation. */
     602                 :          0 :         _submit_to_hw(chan, op);
     603   [ #  #  #  #  :          0 :         SPDK_DEBUGLOG(idxd, "Submitted batch %p\n", batch);
                   #  # ]
     604                 :            : 
     605                 :          0 :         return 0;
     606                 :          0 : }
     607                 :            : 
     608                 :            : static int
     609                 :          0 : _idxd_setup_batch(struct spdk_idxd_io_channel *chan)
     610                 :            : {
     611                 :          0 :         struct idxd_batch *batch;
     612                 :            : 
     613   [ #  #  #  #  :          0 :         if (chan->batch == NULL) {
                   #  # ]
     614                 :          0 :                 batch = idxd_batch_create(chan);
     615         [ #  # ]:          0 :                 if (batch == NULL) {
     616                 :          0 :                         return -EBUSY;
     617                 :            :                 }
     618                 :          0 :         }
     619                 :            : 
     620                 :          0 :         return 0;
     621                 :          0 : }
     622                 :            : 
     623                 :            : static int
     624                 :          0 : _idxd_flush_batch(struct spdk_idxd_io_channel *chan)
     625                 :            : {
     626   [ #  #  #  # ]:          0 :         struct idxd_batch *batch = chan->batch;
     627                 :          0 :         int rc;
     628                 :            : 
     629   [ #  #  #  #  :          0 :         if (batch != NULL && batch->index >= IDXD_MIN_BATCH_FLUSH) {
             #  #  #  # ]
     630                 :            :                 /* Close out the full batch */
     631                 :          0 :                 rc = idxd_batch_submit(chan, NULL, NULL);
     632         [ #  # ]:          0 :                 if (rc) {
     633   [ #  #  #  # ]:          0 :                         assert(rc == -EBUSY);
     634                 :            :                         /*
     635                 :            :                          * Return 0. This will get re-submitted within idxd_process_events where
     636                 :            :                          * if it fails, it will get correctly aborted.
     637                 :            :                          */
     638                 :          0 :                         return 0;
     639                 :            :                 }
     640                 :          0 :         }
     641                 :            : 
     642                 :          0 :         return 0;
     643                 :          0 : }
     644                 :            : 
     645                 :            : static inline void
     646                 :          0 : _update_write_flags(struct spdk_idxd_io_channel *chan, struct idxd_hw_desc *desc)
     647                 :            : {
     648   [ #  #  #  #  :          0 :         desc->flags ^= IDXD_FLAG_CACHE_CONTROL;
                   #  # ]
     649                 :          0 : }
     650                 :            : 
     651                 :            : int
     652                 :          0 : spdk_idxd_submit_copy(struct spdk_idxd_io_channel *chan,
     653                 :            :                       struct iovec *diov, uint32_t diovcnt,
     654                 :            :                       struct iovec *siov, uint32_t siovcnt,
     655                 :            :                       int flags, spdk_idxd_req_cb cb_fn, void *cb_arg)
     656                 :            : {
     657                 :          0 :         struct idxd_hw_desc *desc;
     658                 :          0 :         struct idxd_ops *first_op, *op;
     659                 :          0 :         void *src, *dst;
     660                 :          0 :         uint64_t src_addr, dst_addr;
     661                 :          0 :         int rc, count;
     662                 :          0 :         uint64_t len, seg_len;
     663                 :          0 :         struct spdk_ioviter iter;
     664                 :          0 :         struct idxd_vtophys_iter vtophys_iter;
     665                 :            : 
     666   [ #  #  #  # ]:          0 :         assert(chan != NULL);
     667   [ #  #  #  # ]:          0 :         assert(diov != NULL);
     668   [ #  #  #  # ]:          0 :         assert(siov != NULL);
     669                 :            : 
     670                 :          0 :         rc = _idxd_setup_batch(chan);
     671         [ #  # ]:          0 :         if (rc) {
     672                 :          0 :                 return rc;
     673                 :            :         }
     674                 :            : 
     675                 :          0 :         count = 0;
     676                 :          0 :         first_op = NULL;
     677         [ #  # ]:          0 :         for (len = spdk_ioviter_first(&iter, siov, siovcnt, diov, diovcnt, &src, &dst);
     678         [ #  # ]:          0 :              len > 0;
     679                 :          0 :              len = spdk_ioviter_next(&iter, &src, &dst)) {
     680                 :            : 
     681                 :          0 :                 idxd_vtophys_iter_init(chan, &vtophys_iter, src, dst, len);
     682                 :            : 
     683         [ #  # ]:          0 :                 while (len > 0) {
     684         [ #  # ]:          0 :                         if (first_op == NULL) {
     685                 :          0 :                                 rc = _idxd_prep_batch_cmd(chan, cb_fn, cb_arg, flags, &desc, &op);
     686         [ #  # ]:          0 :                                 if (rc) {
     687                 :          0 :                                         goto error;
     688                 :            :                                 }
     689                 :            : 
     690                 :          0 :                                 first_op = op;
     691                 :          0 :                         } else {
     692                 :          0 :                                 rc = _idxd_prep_batch_cmd(chan, NULL, NULL, flags, &desc, &op);
     693         [ #  # ]:          0 :                                 if (rc) {
     694                 :          0 :                                         goto error;
     695                 :            :                                 }
     696                 :            : 
     697         [ #  # ]:          0 :                                 first_op->count++;
     698   [ #  #  #  # ]:          0 :                                 op->parent = first_op;
     699                 :            :                         }
     700                 :            : 
     701         [ #  # ]:          0 :                         count++;
     702                 :            : 
     703                 :          0 :                         src_addr = 0;
     704                 :          0 :                         dst_addr = 0;
     705                 :          0 :                         seg_len = idxd_vtophys_iter_next(&vtophys_iter, &src_addr, &dst_addr);
     706         [ #  # ]:          0 :                         if (seg_len == SPDK_VTOPHYS_ERROR) {
     707                 :          0 :                                 rc = -EFAULT;
     708                 :          0 :                                 goto error;
     709                 :            :                         }
     710                 :            : 
     711         [ #  # ]:          0 :                         desc->opcode = IDXD_OPCODE_MEMMOVE;
     712   [ #  #  #  #  :          0 :                         desc->src_addr = src_addr;
                   #  # ]
     713   [ #  #  #  #  :          0 :                         desc->dst_addr = dst_addr;
                   #  # ]
     714   [ #  #  #  #  :          0 :                         desc->xfer_size = seg_len;
                   #  # ]
     715                 :          0 :                         _update_write_flags(chan, desc);
     716                 :            : 
     717                 :          0 :                         len -= seg_len;
     718                 :            :                 }
     719                 :          0 :         }
     720                 :            : 
     721                 :          0 :         return _idxd_flush_batch(chan);
     722                 :            : 
     723                 :          0 : error:
     724   [ #  #  #  #  :          0 :         chan->batch->index -= count;
          #  #  #  #  #  
                      # ]
     725                 :          0 :         return rc;
     726                 :          0 : }
     727                 :            : 
     728                 :            : /* Dual-cast copies the same source to two separate destination buffers. */
     729                 :            : int
     730                 :          0 : spdk_idxd_submit_dualcast(struct spdk_idxd_io_channel *chan, void *dst1, void *dst2,
     731                 :            :                           const void *src, uint64_t nbytes, int flags,
     732                 :            :                           spdk_idxd_req_cb cb_fn, void *cb_arg)
     733                 :            : {
     734                 :          0 :         struct idxd_hw_desc *desc;
     735                 :          0 :         struct idxd_ops *first_op, *op;
     736                 :          0 :         uint64_t src_addr, dst1_addr, dst2_addr;
     737                 :          0 :         int rc, count;
     738                 :          0 :         uint64_t len;
     739                 :          0 :         uint64_t outer_seg_len, inner_seg_len;
     740                 :          0 :         struct idxd_vtophys_iter iter_outer, iter_inner;
     741                 :            : 
     742   [ #  #  #  # ]:          0 :         assert(chan != NULL);
     743   [ #  #  #  # ]:          0 :         assert(dst1 != NULL);
     744   [ #  #  #  # ]:          0 :         assert(dst2 != NULL);
     745   [ #  #  #  # ]:          0 :         assert(src != NULL);
     746                 :            : 
     747   [ #  #  #  # ]:          0 :         if ((uintptr_t)dst1 & (ALIGN_4K - 1) || (uintptr_t)dst2 & (ALIGN_4K - 1)) {
     748                 :          0 :                 SPDK_ERRLOG("Dualcast requires 4K alignment on dst addresses\n");
     749                 :          0 :                 return -EINVAL;
     750                 :            :         }
     751                 :            : 
     752                 :          0 :         rc = _idxd_setup_batch(chan);
     753         [ #  # ]:          0 :         if (rc) {
     754                 :          0 :                 return rc;
     755                 :            :         }
     756                 :            : 
     757                 :          0 :         idxd_vtophys_iter_init(chan, &iter_outer, src, dst1, nbytes);
     758                 :            : 
     759                 :          0 :         first_op = NULL;
     760                 :          0 :         count = 0;
     761         [ #  # ]:          0 :         while (nbytes > 0) {
     762                 :          0 :                 src_addr = 0;
     763                 :          0 :                 dst1_addr = 0;
     764                 :          0 :                 outer_seg_len = idxd_vtophys_iter_next(&iter_outer, &src_addr, &dst1_addr);
     765         [ #  # ]:          0 :                 if (outer_seg_len == SPDK_VTOPHYS_ERROR) {
     766                 :          0 :                         goto error;
     767                 :            :                 }
     768                 :            : 
     769                 :          0 :                 idxd_vtophys_iter_init(chan, &iter_inner, src, dst2, nbytes);
     770                 :            : 
     771                 :          0 :                 src += outer_seg_len;
     772                 :          0 :                 nbytes -= outer_seg_len;
     773                 :            : 
     774         [ #  # ]:          0 :                 while (outer_seg_len > 0) {
     775         [ #  # ]:          0 :                         if (first_op == NULL) {
     776                 :          0 :                                 rc = _idxd_prep_batch_cmd(chan, cb_fn, cb_arg, flags, &desc, &op);
     777         [ #  # ]:          0 :                                 if (rc) {
     778                 :          0 :                                         goto error;
     779                 :            :                                 }
     780                 :            : 
     781                 :          0 :                                 first_op = op;
     782                 :          0 :                         } else {
     783                 :          0 :                                 rc = _idxd_prep_batch_cmd(chan, NULL, NULL, flags, &desc, &op);
     784         [ #  # ]:          0 :                                 if (rc) {
     785                 :          0 :                                         goto error;
     786                 :            :                                 }
     787                 :            : 
     788         [ #  # ]:          0 :                                 first_op->count++;
     789   [ #  #  #  # ]:          0 :                                 op->parent = first_op;
     790                 :            :                         }
     791                 :            : 
     792         [ #  # ]:          0 :                         count++;
     793                 :            : 
     794                 :          0 :                         src_addr = 0;
     795                 :          0 :                         dst2_addr = 0;
     796                 :          0 :                         inner_seg_len = idxd_vtophys_iter_next(&iter_inner, &src_addr, &dst2_addr);
     797         [ #  # ]:          0 :                         if (inner_seg_len == SPDK_VTOPHYS_ERROR) {
     798                 :          0 :                                 rc = -EFAULT;
     799                 :          0 :                                 goto error;
     800                 :            :                         }
     801                 :            : 
     802         [ #  # ]:          0 :                         len = spdk_min(outer_seg_len, inner_seg_len);
     803                 :            : 
     804                 :            :                         /* Command specific. */
     805         [ #  # ]:          0 :                         desc->opcode = IDXD_OPCODE_DUALCAST;
     806   [ #  #  #  #  :          0 :                         desc->src_addr = src_addr;
                   #  # ]
     807   [ #  #  #  #  :          0 :                         desc->dst_addr = dst1_addr;
                   #  # ]
     808   [ #  #  #  #  :          0 :                         desc->dest2 = dst2_addr;
                   #  # ]
     809   [ #  #  #  #  :          0 :                         desc->xfer_size = len;
                   #  # ]
     810                 :          0 :                         _update_write_flags(chan, desc);
     811                 :            : 
     812                 :          0 :                         dst1_addr += len;
     813                 :          0 :                         outer_seg_len -= len;
     814                 :            :                 }
     815                 :            :         }
     816                 :            : 
     817                 :          0 :         return _idxd_flush_batch(chan);
     818                 :            : 
     819                 :          0 : error:
     820   [ #  #  #  #  :          0 :         chan->batch->index -= count;
          #  #  #  #  #  
                      # ]
     821                 :          0 :         return rc;
     822                 :          0 : }
     823                 :            : 
     824                 :            : int
     825                 :          0 : spdk_idxd_submit_compare(struct spdk_idxd_io_channel *chan,
     826                 :            :                          struct iovec *siov1, size_t siov1cnt,
     827                 :            :                          struct iovec *siov2, size_t siov2cnt,
     828                 :            :                          int flags, spdk_idxd_req_cb cb_fn, void *cb_arg)
     829                 :            : {
     830                 :            : 
     831                 :          0 :         struct idxd_hw_desc *desc;
     832                 :          0 :         struct idxd_ops *first_op, *op;
     833                 :          0 :         void *src1, *src2;
     834                 :          0 :         uint64_t src1_addr, src2_addr;
     835                 :          0 :         int rc, count;
     836                 :          0 :         uint64_t len, seg_len;
     837                 :          0 :         struct spdk_ioviter iter;
     838                 :          0 :         struct idxd_vtophys_iter vtophys_iter;
     839                 :            : 
     840   [ #  #  #  # ]:          0 :         assert(chan != NULL);
     841   [ #  #  #  # ]:          0 :         assert(siov1 != NULL);
     842   [ #  #  #  # ]:          0 :         assert(siov2 != NULL);
     843                 :            : 
     844                 :          0 :         rc = _idxd_setup_batch(chan);
     845         [ #  # ]:          0 :         if (rc) {
     846                 :          0 :                 return rc;
     847                 :            :         }
     848                 :            : 
     849                 :          0 :         count = 0;
     850                 :          0 :         first_op = NULL;
     851         [ #  # ]:          0 :         for (len = spdk_ioviter_first(&iter, siov1, siov1cnt, siov2, siov2cnt, &src1, &src2);
     852         [ #  # ]:          0 :              len > 0;
     853                 :          0 :              len = spdk_ioviter_next(&iter, &src1, &src2)) {
     854                 :            : 
     855                 :          0 :                 idxd_vtophys_iter_init(chan, &vtophys_iter, src1, src2, len);
     856                 :            : 
     857         [ #  # ]:          0 :                 while (len > 0) {
     858         [ #  # ]:          0 :                         if (first_op == NULL) {
     859                 :          0 :                                 rc = _idxd_prep_batch_cmd(chan, cb_fn, cb_arg, flags, &desc, &op);
     860         [ #  # ]:          0 :                                 if (rc) {
     861                 :          0 :                                         goto error;
     862                 :            :                                 }
     863                 :            : 
     864                 :          0 :                                 first_op = op;
     865                 :          0 :                         } else {
     866                 :          0 :                                 rc = _idxd_prep_batch_cmd(chan, NULL, NULL, flags, &desc, &op);
     867         [ #  # ]:          0 :                                 if (rc) {
     868                 :          0 :                                         goto error;
     869                 :            :                                 }
     870                 :            : 
     871         [ #  # ]:          0 :                                 first_op->count++;
     872   [ #  #  #  # ]:          0 :                                 op->parent = first_op;
     873                 :            :                         }
     874                 :            : 
     875         [ #  # ]:          0 :                         count++;
     876                 :            : 
     877                 :          0 :                         src1_addr = 0;
     878                 :          0 :                         src2_addr = 0;
     879                 :          0 :                         seg_len = idxd_vtophys_iter_next(&vtophys_iter, &src1_addr, &src2_addr);
     880         [ #  # ]:          0 :                         if (seg_len == SPDK_VTOPHYS_ERROR) {
     881                 :          0 :                                 rc = -EFAULT;
     882                 :          0 :                                 goto error;
     883                 :            :                         }
     884                 :            : 
     885         [ #  # ]:          0 :                         desc->opcode = IDXD_OPCODE_COMPARE;
     886   [ #  #  #  #  :          0 :                         desc->src_addr = src1_addr;
                   #  # ]
     887   [ #  #  #  #  :          0 :                         desc->src2_addr = src2_addr;
                   #  # ]
     888   [ #  #  #  #  :          0 :                         desc->xfer_size = seg_len;
                   #  # ]
     889                 :            : 
     890                 :          0 :                         len -= seg_len;
     891                 :            :                 }
     892                 :          0 :         }
     893                 :            : 
     894                 :          0 :         return _idxd_flush_batch(chan);
     895                 :            : 
     896                 :          0 : error:
     897   [ #  #  #  #  :          0 :         chan->batch->index -= count;
          #  #  #  #  #  
                      # ]
     898                 :          0 :         return rc;
     899                 :          0 : }
     900                 :            : 
     901                 :            : int
     902                 :          0 : spdk_idxd_submit_fill(struct spdk_idxd_io_channel *chan,
     903                 :            :                       struct iovec *diov, size_t diovcnt,
     904                 :            :                       uint64_t fill_pattern, int flags,
     905                 :            :                       spdk_idxd_req_cb cb_fn, void *cb_arg)
     906                 :            : {
     907                 :          0 :         struct idxd_hw_desc *desc;
     908                 :          0 :         struct idxd_ops *first_op, *op;
     909                 :          0 :         uint64_t dst_addr;
     910                 :          0 :         int rc, count;
     911                 :          0 :         uint64_t len, seg_len;
     912                 :          0 :         void *dst;
     913                 :          0 :         size_t i;
     914                 :            : 
     915   [ #  #  #  # ]:          0 :         assert(chan != NULL);
     916   [ #  #  #  # ]:          0 :         assert(diov != NULL);
     917                 :            : 
     918                 :          0 :         rc = _idxd_setup_batch(chan);
     919         [ #  # ]:          0 :         if (rc) {
     920                 :          0 :                 return rc;
     921                 :            :         }
     922                 :            : 
     923                 :          0 :         count = 0;
     924                 :          0 :         first_op = NULL;
     925         [ #  # ]:          0 :         for (i = 0; i < diovcnt; i++) {
     926   [ #  #  #  #  :          0 :                 len = diov[i].iov_len;
                   #  # ]
     927   [ #  #  #  #  :          0 :                 dst = diov[i].iov_base;
                   #  # ]
     928                 :            : 
     929         [ #  # ]:          0 :                 while (len > 0) {
     930         [ #  # ]:          0 :                         if (first_op == NULL) {
     931                 :          0 :                                 rc = _idxd_prep_batch_cmd(chan, cb_fn, cb_arg, flags, &desc, &op);
     932         [ #  # ]:          0 :                                 if (rc) {
     933                 :          0 :                                         goto error;
     934                 :            :                                 }
     935                 :            : 
     936                 :          0 :                                 first_op = op;
     937                 :          0 :                         } else {
     938                 :          0 :                                 rc = _idxd_prep_batch_cmd(chan, NULL, NULL, flags, &desc, &op);
     939         [ #  # ]:          0 :                                 if (rc) {
     940                 :          0 :                                         goto error;
     941                 :            :                                 }
     942                 :            : 
     943         [ #  # ]:          0 :                                 first_op->count++;
     944   [ #  #  #  # ]:          0 :                                 op->parent = first_op;
     945                 :            :                         }
     946                 :            : 
     947         [ #  # ]:          0 :                         count++;
     948                 :            : 
     949                 :          0 :                         seg_len = len;
     950   [ #  #  #  #  :          0 :                         if (chan->pasid_enabled) {
             #  #  #  # ]
     951                 :          0 :                                 dst_addr = (uint64_t)dst;
     952                 :          0 :                         } else {
     953                 :          0 :                                 dst_addr = spdk_vtophys(dst, &seg_len);
     954         [ #  # ]:          0 :                                 if (dst_addr == SPDK_VTOPHYS_ERROR) {
     955                 :          0 :                                         SPDK_ERRLOG("Error translating address\n");
     956                 :          0 :                                         rc = -EFAULT;
     957                 :          0 :                                         goto error;
     958                 :            :                                 }
     959                 :            :                         }
     960                 :            : 
     961         [ #  # ]:          0 :                         seg_len = spdk_min(seg_len, len);
     962                 :            : 
     963         [ #  # ]:          0 :                         desc->opcode = IDXD_OPCODE_MEMFILL;
     964   [ #  #  #  #  :          0 :                         desc->pattern = fill_pattern;
                   #  # ]
     965   [ #  #  #  #  :          0 :                         desc->dst_addr = dst_addr;
                   #  # ]
     966   [ #  #  #  #  :          0 :                         desc->xfer_size = seg_len;
                   #  # ]
     967                 :          0 :                         _update_write_flags(chan, desc);
     968                 :            : 
     969                 :          0 :                         len -= seg_len;
     970                 :          0 :                         dst += seg_len;
     971                 :            :                 }
     972                 :          0 :         }
     973                 :            : 
     974                 :          0 :         return _idxd_flush_batch(chan);
     975                 :            : 
     976                 :          0 : error:
     977   [ #  #  #  #  :          0 :         chan->batch->index -= count;
          #  #  #  #  #  
                      # ]
     978                 :          0 :         return rc;
     979                 :          0 : }
     980                 :            : 
     981                 :            : int
     982                 :          0 : spdk_idxd_submit_crc32c(struct spdk_idxd_io_channel *chan,
     983                 :            :                         struct iovec *siov, size_t siovcnt,
     984                 :            :                         uint32_t seed, uint32_t *crc_dst, int flags,
     985                 :            :                         spdk_idxd_req_cb cb_fn, void *cb_arg)
     986                 :            : {
     987                 :          0 :         struct idxd_hw_desc *desc;
     988                 :          0 :         struct idxd_ops *first_op, *op;
     989                 :          0 :         uint64_t src_addr;
     990                 :          0 :         int rc, count;
     991                 :          0 :         uint64_t len, seg_len;
     992                 :          0 :         void *src;
     993                 :          0 :         size_t i;
     994                 :          0 :         uint64_t prev_crc = 0;
     995                 :            : 
     996   [ #  #  #  # ]:          0 :         assert(chan != NULL);
     997   [ #  #  #  # ]:          0 :         assert(siov != NULL);
     998                 :            : 
     999                 :          0 :         rc = _idxd_setup_batch(chan);
    1000         [ #  # ]:          0 :         if (rc) {
    1001                 :          0 :                 return rc;
    1002                 :            :         }
    1003                 :            : 
    1004                 :          0 :         count = 0;
    1005                 :          0 :         op = NULL;
    1006                 :          0 :         first_op = NULL;
    1007         [ #  # ]:          0 :         for (i = 0; i < siovcnt; i++) {
    1008   [ #  #  #  #  :          0 :                 len = siov[i].iov_len;
                   #  # ]
    1009   [ #  #  #  #  :          0 :                 src = siov[i].iov_base;
                   #  # ]
    1010                 :            : 
    1011         [ #  # ]:          0 :                 while (len > 0) {
    1012         [ #  # ]:          0 :                         if (first_op == NULL) {
    1013                 :          0 :                                 rc = _idxd_prep_batch_cmd(chan, cb_fn, cb_arg, flags, &desc, &op);
    1014         [ #  # ]:          0 :                                 if (rc) {
    1015                 :          0 :                                         goto error;
    1016                 :            :                                 }
    1017                 :            : 
    1018                 :          0 :                                 first_op = op;
    1019                 :          0 :                         } else {
    1020                 :          0 :                                 rc = _idxd_prep_batch_cmd(chan, NULL, NULL, flags, &desc, &op);
    1021         [ #  # ]:          0 :                                 if (rc) {
    1022                 :          0 :                                         goto error;
    1023                 :            :                                 }
    1024                 :            : 
    1025         [ #  # ]:          0 :                                 first_op->count++;
    1026   [ #  #  #  # ]:          0 :                                 op->parent = first_op;
    1027                 :            :                         }
    1028                 :            : 
    1029         [ #  # ]:          0 :                         count++;
    1030                 :            : 
    1031                 :          0 :                         seg_len = len;
    1032   [ #  #  #  #  :          0 :                         if (chan->pasid_enabled) {
             #  #  #  # ]
    1033                 :          0 :                                 src_addr = (uint64_t)src;
    1034                 :          0 :                         } else {
    1035                 :          0 :                                 src_addr = spdk_vtophys(src, &seg_len);
    1036         [ #  # ]:          0 :                                 if (src_addr == SPDK_VTOPHYS_ERROR) {
    1037                 :          0 :                                         SPDK_ERRLOG("Error translating address\n");
    1038                 :          0 :                                         rc = -EFAULT;
    1039                 :          0 :                                         goto error;
    1040                 :            :                                 }
    1041                 :            :                         }
    1042                 :            : 
    1043         [ #  # ]:          0 :                         seg_len = spdk_min(seg_len, len);
    1044                 :            : 
    1045         [ #  # ]:          0 :                         desc->opcode = IDXD_OPCODE_CRC32C_GEN;
    1046   [ #  #  #  #  :          0 :                         desc->src_addr = src_addr;
                   #  # ]
    1047         [ #  # ]:          0 :                         if (op == first_op) {
    1048   [ #  #  #  #  :          0 :                                 desc->crc32c.seed = seed;
             #  #  #  # ]
    1049                 :          0 :                         } else {
    1050   [ #  #  #  #  :          0 :                                 desc->flags |= IDXD_FLAG_FENCE | IDXD_FLAG_CRC_READ_CRC_SEED;
          #  #  #  #  #  
                      # ]
    1051   [ #  #  #  #  :          0 :                                 desc->crc32c.addr = prev_crc;
             #  #  #  # ]
    1052                 :            :                         }
    1053                 :            : 
    1054   [ #  #  #  #  :          0 :                         desc->xfer_size = seg_len;
                   #  # ]
    1055   [ #  #  #  # ]:          0 :                         prev_crc = desc->completion_addr + offsetof(struct dsa_hw_comp_record, crc32c_val);
    1056                 :            : 
    1057                 :          0 :                         len -= seg_len;
    1058                 :          0 :                         src += seg_len;
    1059                 :            :                 }
    1060                 :          0 :         }
    1061                 :            : 
    1062                 :            :         /* Only the last op copies the crc to the destination */
    1063         [ #  # ]:          0 :         if (op) {
    1064   [ #  #  #  #  :          0 :                 op->crc_dst = crc_dst;
                   #  # ]
    1065                 :          0 :         }
    1066                 :            : 
    1067                 :          0 :         return _idxd_flush_batch(chan);
    1068                 :            : 
    1069                 :          0 : error:
    1070   [ #  #  #  #  :          0 :         chan->batch->index -= count;
          #  #  #  #  #  
                      # ]
    1071                 :          0 :         return rc;
    1072                 :          0 : }
    1073                 :            : 
    1074                 :            : int
    1075                 :          0 : spdk_idxd_submit_copy_crc32c(struct spdk_idxd_io_channel *chan,
    1076                 :            :                              struct iovec *diov, size_t diovcnt,
    1077                 :            :                              struct iovec *siov, size_t siovcnt,
    1078                 :            :                              uint32_t seed, uint32_t *crc_dst, int flags,
    1079                 :            :                              spdk_idxd_req_cb cb_fn, void *cb_arg)
    1080                 :            : {
    1081                 :          0 :         struct idxd_hw_desc *desc;
    1082                 :          0 :         struct idxd_ops *first_op, *op;
    1083                 :          0 :         void *src, *dst;
    1084                 :          0 :         uint64_t src_addr, dst_addr;
    1085                 :          0 :         int rc, count;
    1086                 :          0 :         uint64_t len, seg_len;
    1087                 :          0 :         struct spdk_ioviter iter;
    1088                 :          0 :         struct idxd_vtophys_iter vtophys_iter;
    1089                 :          0 :         uint64_t prev_crc = 0;
    1090                 :            : 
    1091   [ #  #  #  # ]:          0 :         assert(chan != NULL);
    1092   [ #  #  #  # ]:          0 :         assert(diov != NULL);
    1093   [ #  #  #  # ]:          0 :         assert(siov != NULL);
    1094                 :            : 
    1095                 :          0 :         rc = _idxd_setup_batch(chan);
    1096         [ #  # ]:          0 :         if (rc) {
    1097                 :          0 :                 return rc;
    1098                 :            :         }
    1099                 :            : 
    1100                 :          0 :         count = 0;
    1101                 :          0 :         op = NULL;
    1102                 :          0 :         first_op = NULL;
    1103         [ #  # ]:          0 :         for (len = spdk_ioviter_first(&iter, siov, siovcnt, diov, diovcnt, &src, &dst);
    1104         [ #  # ]:          0 :              len > 0;
    1105                 :          0 :              len = spdk_ioviter_next(&iter, &src, &dst)) {
    1106                 :            : 
    1107                 :            : 
    1108                 :          0 :                 idxd_vtophys_iter_init(chan, &vtophys_iter, src, dst, len);
    1109                 :            : 
    1110         [ #  # ]:          0 :                 while (len > 0) {
    1111         [ #  # ]:          0 :                         if (first_op == NULL) {
    1112                 :          0 :                                 rc = _idxd_prep_batch_cmd(chan, cb_fn, cb_arg, flags, &desc, &op);
    1113         [ #  # ]:          0 :                                 if (rc) {
    1114                 :          0 :                                         goto error;
    1115                 :            :                                 }
    1116                 :            : 
    1117                 :          0 :                                 first_op = op;
    1118                 :          0 :                         } else {
    1119                 :          0 :                                 rc = _idxd_prep_batch_cmd(chan, NULL, NULL, flags, &desc, &op);
    1120         [ #  # ]:          0 :                                 if (rc) {
    1121                 :          0 :                                         goto error;
    1122                 :            :                                 }
    1123                 :            : 
    1124         [ #  # ]:          0 :                                 first_op->count++;
    1125   [ #  #  #  # ]:          0 :                                 op->parent = first_op;
    1126                 :            :                         }
    1127                 :            : 
    1128         [ #  # ]:          0 :                         count++;
    1129                 :            : 
    1130                 :          0 :                         src_addr = 0;
    1131                 :          0 :                         dst_addr = 0;
    1132                 :          0 :                         seg_len = idxd_vtophys_iter_next(&vtophys_iter, &src_addr, &dst_addr);
    1133         [ #  # ]:          0 :                         if (seg_len == SPDK_VTOPHYS_ERROR) {
    1134                 :          0 :                                 rc = -EFAULT;
    1135                 :          0 :                                 goto error;
    1136                 :            :                         }
    1137                 :            : 
    1138         [ #  # ]:          0 :                         desc->opcode = IDXD_OPCODE_COPY_CRC;
    1139   [ #  #  #  #  :          0 :                         desc->dst_addr = dst_addr;
                   #  # ]
    1140   [ #  #  #  #  :          0 :                         desc->src_addr = src_addr;
                   #  # ]
    1141                 :          0 :                         _update_write_flags(chan, desc);
    1142         [ #  # ]:          0 :                         if (op == first_op) {
    1143   [ #  #  #  #  :          0 :                                 desc->crc32c.seed = seed;
             #  #  #  # ]
    1144                 :          0 :                         } else {
    1145   [ #  #  #  #  :          0 :                                 desc->flags |= IDXD_FLAG_FENCE | IDXD_FLAG_CRC_READ_CRC_SEED;
          #  #  #  #  #  
                      # ]
    1146   [ #  #  #  #  :          0 :                                 desc->crc32c.addr = prev_crc;
             #  #  #  # ]
    1147                 :            :                         }
    1148                 :            : 
    1149   [ #  #  #  #  :          0 :                         desc->xfer_size = seg_len;
                   #  # ]
    1150   [ #  #  #  # ]:          0 :                         prev_crc = desc->completion_addr + offsetof(struct dsa_hw_comp_record, crc32c_val);
    1151                 :            : 
    1152                 :          0 :                         len -= seg_len;
    1153                 :            :                 }
    1154                 :          0 :         }
    1155                 :            : 
    1156                 :            :         /* Only the last op copies the crc to the destination */
    1157         [ #  # ]:          0 :         if (op) {
    1158   [ #  #  #  #  :          0 :                 op->crc_dst = crc_dst;
                   #  # ]
    1159                 :          0 :         }
    1160                 :            : 
    1161                 :          0 :         return _idxd_flush_batch(chan);
    1162                 :            : 
    1163                 :          0 : error:
    1164   [ #  #  #  #  :          0 :         chan->batch->index -= count;
          #  #  #  #  #  
                      # ]
    1165                 :          0 :         return rc;
    1166                 :          0 : }
    1167                 :            : 
    1168                 :            : static inline int
    1169                 :          0 : _idxd_submit_compress_single(struct spdk_idxd_io_channel *chan, void *dst, const void *src,
    1170                 :            :                              uint64_t nbytes_dst, uint64_t nbytes_src, uint32_t *output_size,
    1171                 :            :                              int flags, spdk_idxd_req_cb cb_fn, void *cb_arg)
    1172                 :            : {
    1173                 :          0 :         struct idxd_hw_desc *desc;
    1174                 :          0 :         struct idxd_ops *op;
    1175                 :          0 :         uint64_t src_addr, dst_addr;
    1176                 :          0 :         int rc;
    1177                 :            : 
    1178                 :            :         /* Common prep. */
    1179                 :          0 :         rc = _idxd_prep_command(chan, cb_fn, cb_arg, flags, &desc, &op);
    1180         [ #  # ]:          0 :         if (rc) {
    1181                 :          0 :                 return rc;
    1182                 :            :         }
    1183                 :            : 
    1184                 :          0 :         rc = _vtophys(chan, src, &src_addr, nbytes_src);
    1185         [ #  # ]:          0 :         if (rc) {
    1186                 :          0 :                 goto error;
    1187                 :            :         }
    1188                 :            : 
    1189                 :          0 :         rc = _vtophys(chan, dst, &dst_addr, nbytes_dst);
    1190         [ #  # ]:          0 :         if (rc) {
    1191                 :          0 :                 goto error;
    1192                 :            :         }
    1193                 :            : 
    1194                 :            :         /* Command specific. */
    1195         [ #  # ]:          0 :         desc->opcode = IDXD_OPCODE_COMPRESS;
    1196   [ #  #  #  #  :          0 :         desc->src1_addr = src_addr;
                   #  # ]
    1197   [ #  #  #  #  :          0 :         desc->dst_addr = dst_addr;
                   #  # ]
    1198   [ #  #  #  #  :          0 :         desc->src1_size = nbytes_src;
                   #  # ]
    1199   [ #  #  #  #  :          0 :         desc->iaa.max_dst_size = nbytes_dst;
             #  #  #  # ]
    1200   [ #  #  #  #  :          0 :         desc->iaa.src2_size = sizeof(struct iaa_aecs);
             #  #  #  # ]
    1201   [ #  #  #  #  :          0 :         desc->iaa.src2_addr = chan->idxd->aecs_addr;
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
    1202   [ #  #  #  #  :          0 :         desc->flags |= IAA_FLAG_RD_SRC2_AECS;
                   #  # ]
    1203   [ #  #  #  #  :          0 :         desc->compr_flags = IAA_COMP_FLAGS;
          #  #  #  #  #  
             #  #  #  #  
                      # ]
    1204   [ #  #  #  #  :          0 :         op->output_size = output_size;
                   #  # ]
    1205                 :            : 
    1206                 :          0 :         _submit_to_hw(chan, op);
    1207                 :          0 :         return 0;
    1208                 :          0 : error:
    1209   [ #  #  #  #  :          0 :         STAILQ_INSERT_TAIL(&chan->ops_pool, op, link);
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
             #  #  #  #  
                      # ]
    1210                 :          0 :         return rc;
    1211                 :          0 : }
    1212                 :            : 
    1213                 :            : int
    1214                 :          0 : spdk_idxd_submit_compress(struct spdk_idxd_io_channel *chan,
    1215                 :            :                           void *dst, uint64_t nbytes,
    1216                 :            :                           struct iovec *siov, uint32_t siovcnt, uint32_t *output_size,
    1217                 :            :                           int flags, spdk_idxd_req_cb cb_fn, void *cb_arg)
    1218                 :            : {
    1219   [ #  #  #  # ]:          0 :         assert(chan != NULL);
    1220   [ #  #  #  # ]:          0 :         assert(dst != NULL);
    1221   [ #  #  #  # ]:          0 :         assert(siov != NULL);
    1222                 :            : 
    1223         [ #  # ]:          0 :         if (siovcnt == 1) {
    1224                 :            :                 /* Simple case - copying one buffer to another */
    1225   [ #  #  #  #  :          0 :                 if (nbytes < siov[0].iov_len) {
             #  #  #  # ]
    1226                 :          0 :                         return -EINVAL;
    1227                 :            :                 }
    1228                 :            : 
    1229   [ #  #  #  #  :          0 :                 return _idxd_submit_compress_single(chan, dst, siov[0].iov_base,
                   #  # ]
    1230   [ #  #  #  #  :          0 :                                                     nbytes, siov[0].iov_len,
                   #  # ]
    1231                 :          0 :                                                     output_size, flags, cb_fn, cb_arg);
    1232                 :            :         }
    1233                 :            :         /* TODO: vectored support */
    1234                 :          0 :         return -EINVAL;
    1235                 :          0 : }
    1236                 :            : 
    1237                 :            : static inline int
    1238                 :          0 : _idxd_submit_decompress_single(struct spdk_idxd_io_channel *chan, void *dst, const void *src,
    1239                 :            :                                uint64_t nbytes_dst, uint64_t nbytes, int flags, spdk_idxd_req_cb cb_fn, void *cb_arg)
    1240                 :            : {
    1241                 :          0 :         struct idxd_hw_desc *desc;
    1242                 :          0 :         struct idxd_ops *op;
    1243                 :          0 :         uint64_t src_addr, dst_addr;
    1244                 :          0 :         int rc;
    1245                 :            : 
    1246                 :            :         /* Common prep. */
    1247                 :          0 :         rc = _idxd_prep_command(chan, cb_fn, cb_arg, flags, &desc, &op);
    1248         [ #  # ]:          0 :         if (rc) {
    1249                 :          0 :                 return rc;
    1250                 :            :         }
    1251                 :            : 
    1252                 :          0 :         rc = _vtophys(chan, src, &src_addr, nbytes);
    1253         [ #  # ]:          0 :         if (rc) {
    1254                 :          0 :                 goto error;
    1255                 :            :         }
    1256                 :            : 
    1257                 :          0 :         rc = _vtophys(chan, dst, &dst_addr, nbytes_dst);
    1258         [ #  # ]:          0 :         if (rc) {
    1259                 :          0 :                 goto error;
    1260                 :            :         }
    1261                 :            : 
    1262                 :            :         /* Command specific. */
    1263         [ #  # ]:          0 :         desc->opcode = IDXD_OPCODE_DECOMPRESS;
    1264   [ #  #  #  #  :          0 :         desc->src1_addr = src_addr;
                   #  # ]
    1265   [ #  #  #  #  :          0 :         desc->dst_addr = dst_addr;
                   #  # ]
    1266   [ #  #  #  #  :          0 :         desc->src1_size = nbytes;
                   #  # ]
    1267   [ #  #  #  #  :          0 :         desc->iaa.max_dst_size = nbytes_dst;
             #  #  #  # ]
    1268   [ #  #  #  #  :          0 :         desc->decompr_flags = IAA_DECOMP_FLAGS;
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
                #  #  # ]
    1269                 :            : 
    1270                 :          0 :         _submit_to_hw(chan, op);
    1271                 :          0 :         return 0;
    1272                 :          0 : error:
    1273   [ #  #  #  #  :          0 :         STAILQ_INSERT_TAIL(&chan->ops_pool, op, link);
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
             #  #  #  #  
                      # ]
    1274                 :          0 :         return rc;
    1275                 :          0 : }
    1276                 :            : 
    1277                 :            : int
    1278                 :          0 : spdk_idxd_submit_decompress(struct spdk_idxd_io_channel *chan,
    1279                 :            :                             struct iovec *diov, uint32_t diovcnt,
    1280                 :            :                             struct iovec *siov, uint32_t siovcnt,
    1281                 :            :                             int flags, spdk_idxd_req_cb cb_fn, void *cb_arg)
    1282                 :            : {
    1283   [ #  #  #  # ]:          0 :         assert(chan != NULL);
    1284   [ #  #  #  # ]:          0 :         assert(diov != NULL);
    1285   [ #  #  #  # ]:          0 :         assert(siov != NULL);
    1286                 :            : 
    1287   [ #  #  #  # ]:          0 :         if (diovcnt == 1 && siovcnt == 1) {
    1288                 :            :                 /* Simple case - copying one buffer to another */
    1289   [ #  #  #  #  :          0 :                 if (diov[0].iov_len < siov[0].iov_len) {
          #  #  #  #  #  
             #  #  #  #  
                      # ]
    1290                 :          0 :                         return -EINVAL;
    1291                 :            :                 }
    1292                 :            : 
    1293   [ #  #  #  #  :          0 :                 return _idxd_submit_decompress_single(chan, diov[0].iov_base, siov[0].iov_base,
          #  #  #  #  #  
                #  #  # ]
    1294   [ #  #  #  #  :          0 :                                                       diov[0].iov_len, siov[0].iov_len,
          #  #  #  #  #  
                #  #  # ]
    1295                 :          0 :                                                       flags, cb_fn, cb_arg);
    1296                 :            :         }
    1297                 :            :         /* TODO: vectored support */
    1298                 :          0 :         return -EINVAL;
    1299                 :          0 : }
    1300                 :            : 
    1301                 :            : static inline int
    1302                 :          0 : idxd_get_dif_flags(const struct spdk_dif_ctx *ctx, uint8_t *flags)
    1303                 :            : {
    1304         [ #  # ]:          0 :         if (flags == NULL) {
    1305                 :          0 :                 SPDK_ERRLOG("Flag should be non-null");
    1306                 :          0 :                 return -EINVAL;
    1307                 :            :         }
    1308                 :            : 
    1309   [ #  #  #  #  :          0 :         switch (ctx->guard_interval) {
             #  #  #  #  
                      # ]
    1310                 :          0 :         case DATA_BLOCK_SIZE_512:
    1311         [ #  # ]:          0 :                 *flags = IDXD_DIF_FLAG_DIF_BLOCK_SIZE_512;
    1312                 :          0 :                 break;
    1313                 :          0 :         case DATA_BLOCK_SIZE_520:
    1314         [ #  # ]:          0 :                 *flags = IDXD_DIF_FLAG_DIF_BLOCK_SIZE_520;
    1315                 :          0 :                 break;
    1316                 :          0 :         case DATA_BLOCK_SIZE_4096:
    1317         [ #  # ]:          0 :                 *flags = IDXD_DIF_FLAG_DIF_BLOCK_SIZE_4096;
    1318                 :          0 :                 break;
    1319                 :          0 :         case DATA_BLOCK_SIZE_4104:
    1320         [ #  # ]:          0 :                 *flags = IDXD_DIF_FLAG_DIF_BLOCK_SIZE_4104;
    1321                 :          0 :                 break;
    1322                 :          0 :         default:
    1323   [ #  #  #  #  :          0 :                 SPDK_ERRLOG("Invalid DIF block size %d\n", ctx->block_size - ctx->md_size);
             #  #  #  # ]
    1324                 :          0 :                 return -EINVAL;
    1325                 :            :         }
    1326                 :            : 
    1327                 :          0 :         return 0;
    1328                 :          0 : }
    1329                 :            : 
    1330                 :            : static inline int
    1331                 :          0 : idxd_get_source_dif_flags(const struct spdk_dif_ctx *ctx, uint8_t *flags)
    1332                 :            : {
    1333         [ #  # ]:          0 :         if (flags == NULL) {
    1334                 :          0 :                 SPDK_ERRLOG("Flag should be non-null");
    1335                 :          0 :                 return -EINVAL;
    1336                 :            :         }
    1337                 :            : 
    1338         [ #  # ]:          0 :         *flags = 0;
    1339                 :            : 
    1340   [ #  #  #  #  :          0 :         if (!(ctx->dif_flags & SPDK_DIF_FLAGS_GUARD_CHECK)) {
             #  #  #  # ]
    1341   [ #  #  #  #  :          0 :                 *flags |= IDXD_DIF_SOURCE_FLAG_GUARD_CHECK_DISABLE;
                   #  # ]
    1342                 :          0 :         }
    1343                 :            : 
    1344   [ #  #  #  #  :          0 :         if (!(ctx->dif_flags & SPDK_DIF_FLAGS_REFTAG_CHECK)) {
             #  #  #  # ]
    1345   [ #  #  #  #  :          0 :                 *flags |= IDXD_DIF_SOURCE_FLAG_REF_TAG_CHECK_DISABLE;
                   #  # ]
    1346                 :          0 :         }
    1347                 :            : 
    1348   [ #  #  #  #  :          0 :         switch (ctx->dif_type) {
                #  #  # ]
    1349                 :          0 :         case SPDK_DIF_TYPE1:
    1350                 :            :         case SPDK_DIF_TYPE2:
    1351                 :            :                 /* If Type 1 or 2 is used, then all DIF checks are disabled when
    1352                 :            :                  * the Application Tag is 0xFFFF.
    1353                 :            :                  */
    1354   [ #  #  #  #  :          0 :                 *flags |= IDXD_DIF_SOURCE_FLAG_APP_TAG_F_DETECT;
                   #  # ]
    1355                 :          0 :                 break;
    1356                 :          0 :         case SPDK_DIF_TYPE3:
    1357                 :            :                 /* If Type 3 is used, then all DIF checks are disabled when the
    1358                 :            :                  * Application Tag is 0xFFFF and the Reference Tag is 0xFFFFFFFF
    1359                 :            :                  * (for PI 8 bytes format).
    1360                 :            :                  */
    1361   [ #  #  #  #  :          0 :                 *flags |= IDXD_DIF_SOURCE_FLAG_APP_AND_REF_TAG_F_DETECT;
                   #  # ]
    1362                 :          0 :                 break;
    1363                 :          0 :         default:
    1364   [ #  #  #  # ]:          0 :                 SPDK_ERRLOG("Invalid DIF type %d\n", ctx->dif_type);
    1365                 :          0 :                 return -EINVAL;
    1366                 :            :         }
    1367                 :            : 
    1368                 :          0 :         return 0;
    1369                 :          0 : }
    1370                 :            : 
    1371                 :            : static inline int
    1372                 :          0 : idxd_get_app_tag_mask(const struct spdk_dif_ctx *ctx, uint16_t *app_tag_mask)
    1373                 :            : {
    1374   [ #  #  #  #  :          0 :         if (!(ctx->dif_flags & SPDK_DIF_FLAGS_APPTAG_CHECK)) {
             #  #  #  # ]
    1375                 :            :                 /* The Source Application Tag Mask may be set to 0xffff
    1376                 :            :                  * to disable application tag checking */
    1377         [ #  # ]:          0 :                 *app_tag_mask = 0xFFFF;
    1378                 :          0 :         } else {
    1379   [ #  #  #  #  :          0 :                 *app_tag_mask = ~ctx->apptag_mask;
                   #  # ]
    1380                 :            :         }
    1381                 :            : 
    1382                 :          0 :         return 0;
    1383                 :            : }
    1384                 :            : 
    1385                 :            : static inline int
    1386                 :          0 : idxd_validate_dif_common_params(const struct spdk_dif_ctx *ctx)
    1387                 :            : {
    1388                 :            :         /* Check byte offset from the start of the whole data buffer */
    1389   [ #  #  #  #  :          0 :         if (ctx->data_offset != 0) {
                   #  # ]
    1390                 :          0 :                 SPDK_ERRLOG("Byte offset from the start of the whole data buffer must be set to 0.");
    1391                 :          0 :                 return -EINVAL;
    1392                 :            :         }
    1393                 :            : 
    1394                 :            :         /* Check seed value for guard computation */
    1395   [ #  #  #  #  :          0 :         if (ctx->guard_seed != 0) {
                   #  # ]
    1396                 :          0 :                 SPDK_ERRLOG("Seed value for guard computation must be set to 0.");
    1397                 :          0 :                 return -EINVAL;
    1398                 :            :         }
    1399                 :            : 
    1400                 :            :         /* Check for supported metadata sizes */
    1401   [ #  #  #  #  :          0 :         if (ctx->md_size != METADATA_SIZE_8 && ctx->md_size != METADATA_SIZE_16)  {
          #  #  #  #  #  
                #  #  # ]
    1402   [ #  #  #  # ]:          0 :                 SPDK_ERRLOG("Metadata size %d is not supported.\n", ctx->md_size);
    1403                 :          0 :                 return -EINVAL;
    1404                 :            :         }
    1405                 :            : 
    1406                 :            :         /* Check for supported DIF PI formats */
    1407   [ #  #  #  #  :          0 :         if (ctx->dif_pi_format != SPDK_DIF_PI_FORMAT_16) {
                   #  # ]
    1408   [ #  #  #  # ]:          0 :                 SPDK_ERRLOG("DIF PI format %d is not supported.\n", ctx->dif_pi_format);
    1409                 :          0 :                 return -EINVAL;
    1410                 :            :         }
    1411                 :            : 
    1412                 :            :         /* Check for supported metadata locations */
    1413   [ #  #  #  #  :          0 :         if (ctx->md_interleave == false) {
             #  #  #  # ]
    1414                 :          0 :                 SPDK_ERRLOG("Separated metadata location is not supported.\n");
    1415                 :          0 :                 return -EINVAL;
    1416                 :            :         }
    1417                 :            : 
    1418                 :            :         /* Check for supported DIF alignments */
    1419   [ #  #  #  #  :          0 :         if (ctx->md_size == METADATA_SIZE_16 &&
             #  #  #  # ]
    1420   [ #  #  #  #  :          0 :             (ctx->guard_interval == DATA_BLOCK_SIZE_512 ||
                   #  # ]
    1421   [ #  #  #  # ]:          0 :              ctx->guard_interval == DATA_BLOCK_SIZE_4096)) {
    1422                 :          0 :                 SPDK_ERRLOG("DIF left alignment in metadata is not supported.\n");
    1423                 :          0 :                 return -EINVAL;
    1424                 :            :         }
    1425                 :            : 
    1426                 :            :         /* Check for supported DIF block sizes */
    1427   [ #  #  #  #  :          0 :         if ((ctx->block_size - ctx->md_size) != DATA_BLOCK_SIZE_512 &&
          #  #  #  #  #  
                #  #  # ]
    1428   [ #  #  #  #  :          0 :             (ctx->block_size - ctx->md_size) != DATA_BLOCK_SIZE_4096) {
             #  #  #  # ]
    1429   [ #  #  #  #  :          0 :                 SPDK_ERRLOG("DIF block size %d is not supported.\n", ctx->block_size - ctx->md_size);
             #  #  #  # ]
    1430                 :          0 :                 return -EINVAL;
    1431                 :            :         }
    1432                 :            : 
    1433                 :          0 :         return 0;
    1434                 :          0 : }
    1435                 :            : 
    1436                 :            : static inline int
    1437                 :          0 : idxd_validate_dif_check_params(const struct spdk_dif_ctx *ctx)
    1438                 :            : {
    1439                 :            :         /* Validate common parameters */
    1440                 :          0 :         int rc = idxd_validate_dif_common_params(ctx);
    1441         [ #  # ]:          0 :         if (rc) {
    1442                 :          0 :                 return rc;
    1443                 :            :         }
    1444                 :            : 
    1445                 :          0 :         return 0;
    1446                 :          0 : }
    1447                 :            : 
    1448                 :            : static inline int
    1449                 :          0 : idxd_validate_dif_check_buf_align(const struct spdk_dif_ctx *ctx, const uint64_t len)
    1450                 :            : {
    1451                 :            :         /* DSA can only process contiguous memory buffers, multiple of the block size */
    1452   [ #  #  #  #  :          0 :         if (len % ctx->block_size != 0) {
             #  #  #  # ]
    1453   [ #  #  #  # ]:          0 :                 SPDK_ERRLOG("The memory buffer length (%ld) is not a multiple of block size with metadata (%d).\n",
    1454                 :            :                             len, ctx->block_size);
    1455                 :          0 :                 return -EINVAL;
    1456                 :            :         }
    1457                 :            : 
    1458                 :          0 :         return 0;
    1459                 :          0 : }
    1460                 :            : 
    1461                 :            : int
    1462                 :          0 : spdk_idxd_submit_dif_check(struct spdk_idxd_io_channel *chan,
    1463                 :            :                            struct iovec *siov, size_t siovcnt,
    1464                 :            :                            uint32_t num_blocks, const struct spdk_dif_ctx *ctx, int flags,
    1465                 :            :                            spdk_idxd_req_cb cb_fn, void *cb_arg)
    1466                 :            : {
    1467                 :          0 :         struct idxd_hw_desc *desc;
    1468                 :          0 :         struct idxd_ops *first_op = NULL, *op = NULL;
    1469                 :          0 :         uint64_t src_seg_addr, src_seg_len;
    1470                 :          0 :         uint32_t num_blocks_done = 0;
    1471                 :          0 :         uint8_t dif_flags = 0, src_dif_flags = 0;
    1472                 :          0 :         uint16_t app_tag_mask = 0;
    1473                 :          0 :         int rc, count = 0;
    1474                 :          0 :         size_t i;
    1475                 :            : 
    1476   [ #  #  #  # ]:          0 :         assert(ctx != NULL);
    1477   [ #  #  #  # ]:          0 :         assert(chan != NULL);
    1478   [ #  #  #  # ]:          0 :         assert(siov != NULL);
    1479                 :            : 
    1480                 :            :         /* Validate DIF check parameters */
    1481                 :          0 :         rc = idxd_validate_dif_check_params(ctx);
    1482         [ #  # ]:          0 :         if (rc) {
    1483                 :          0 :                 return rc;
    1484                 :            :         }
    1485                 :            : 
    1486                 :            :         /* Get DIF flags */
    1487                 :          0 :         rc = idxd_get_dif_flags(ctx, &dif_flags);
    1488         [ #  # ]:          0 :         if (rc) {
    1489                 :          0 :                 return rc;
    1490                 :            :         }
    1491                 :            : 
    1492                 :            :         /* Get source DIF flags */
    1493                 :          0 :         rc = idxd_get_source_dif_flags(ctx, &src_dif_flags);
    1494         [ #  # ]:          0 :         if (rc) {
    1495                 :          0 :                 return rc;
    1496                 :            :         }
    1497                 :            : 
    1498                 :            :         /* Get AppTag Mask */
    1499                 :          0 :         rc = idxd_get_app_tag_mask(ctx, &app_tag_mask);
    1500         [ #  # ]:          0 :         if (rc) {
    1501                 :          0 :                 return rc;
    1502                 :            :         }
    1503                 :            : 
    1504                 :          0 :         rc = _idxd_setup_batch(chan);
    1505         [ #  # ]:          0 :         if (rc) {
    1506                 :          0 :                 return rc;
    1507                 :            :         }
    1508                 :            : 
    1509         [ #  # ]:          0 :         for (i = 0; i < siovcnt; i++) {
    1510   [ #  #  #  #  :          0 :                 src_seg_addr = (uint64_t)siov[i].iov_base;
                   #  # ]
    1511   [ #  #  #  #  :          0 :                 src_seg_len = siov[i].iov_len;
                   #  # ]
    1512                 :            : 
    1513                 :            :                 /* DSA processes the iovec buffers independently, so the buffers cannot
    1514                 :            :                  * be split (must be multiple of the block size) */
    1515                 :            : 
    1516                 :            :                 /* Validate the memory buffer alignment */
    1517                 :          0 :                 rc = idxd_validate_dif_check_buf_align(ctx, src_seg_len);
    1518         [ #  # ]:          0 :                 if (rc) {
    1519                 :          0 :                         goto error;
    1520                 :            :                 }
    1521                 :            : 
    1522         [ #  # ]:          0 :                 if (first_op == NULL) {
    1523                 :          0 :                         rc = _idxd_prep_batch_cmd(chan, cb_fn, cb_arg, flags, &desc, &op);
    1524         [ #  # ]:          0 :                         if (rc) {
    1525                 :          0 :                                 goto error;
    1526                 :            :                         }
    1527                 :            : 
    1528                 :          0 :                         first_op = op;
    1529                 :          0 :                 } else {
    1530                 :          0 :                         rc = _idxd_prep_batch_cmd(chan, NULL, NULL, flags, &desc, &op);
    1531         [ #  # ]:          0 :                         if (rc) {
    1532                 :          0 :                                 goto error;
    1533                 :            :                         }
    1534                 :            : 
    1535         [ #  # ]:          0 :                         first_op->count++;
    1536   [ #  #  #  # ]:          0 :                         op->parent = first_op;
    1537                 :            :                 }
    1538                 :            : 
    1539         [ #  # ]:          0 :                 count++;
    1540                 :            : 
    1541         [ #  # ]:          0 :                 desc->opcode = IDXD_OPCODE_DIF_CHECK;
    1542   [ #  #  #  #  :          0 :                 desc->src_addr = src_seg_addr;
                   #  # ]
    1543   [ #  #  #  #  :          0 :                 desc->xfer_size = src_seg_len;
                   #  # ]
    1544   [ #  #  #  #  :          0 :                 desc->dif_chk.flags = dif_flags;
             #  #  #  # ]
    1545   [ #  #  #  #  :          0 :                 desc->dif_chk.src_flags = src_dif_flags;
             #  #  #  # ]
    1546   [ #  #  #  #  :          0 :                 desc->dif_chk.app_tag_seed = ctx->app_tag;
          #  #  #  #  #  
                #  #  # ]
    1547   [ #  #  #  #  :          0 :                 desc->dif_chk.app_tag_mask = app_tag_mask;
             #  #  #  # ]
    1548   [ #  #  #  #  :          0 :                 desc->dif_chk.ref_tag_seed = (uint32_t)ctx->init_ref_tag + num_blocks_done;
          #  #  #  #  #  
                #  #  # ]
    1549                 :            : 
    1550   [ #  #  #  #  :          0 :                 num_blocks_done += (src_seg_len / ctx->block_size);
                   #  # ]
    1551                 :          0 :         }
    1552                 :            : 
    1553                 :          0 :         return _idxd_flush_batch(chan);
    1554                 :            : 
    1555                 :          0 : error:
    1556   [ #  #  #  #  :          0 :         chan->batch->index -= count;
          #  #  #  #  #  
                      # ]
    1557                 :          0 :         return rc;
    1558                 :          0 : }
    1559                 :            : 
    1560                 :            : static inline int
    1561                 :          0 : idxd_validate_dif_insert_params(const struct spdk_dif_ctx *ctx)
    1562                 :            : {
    1563                 :            :         /* Validate common parameters */
    1564                 :          0 :         int rc = idxd_validate_dif_common_params(ctx);
    1565         [ #  # ]:          0 :         if (rc) {
    1566                 :          0 :                 return rc;
    1567                 :            :         }
    1568                 :            : 
    1569                 :            :         /* Check for required DIF flags */
    1570   [ #  #  #  #  :          0 :         if (!(ctx->dif_flags & SPDK_DIF_FLAGS_GUARD_CHECK))  {
             #  #  #  # ]
    1571                 :          0 :                 SPDK_ERRLOG("Guard check flag must be set.\n");
    1572                 :          0 :                 return -EINVAL;
    1573                 :            :         }
    1574                 :            : 
    1575   [ #  #  #  #  :          0 :         if (!(ctx->dif_flags & SPDK_DIF_FLAGS_APPTAG_CHECK))  {
             #  #  #  # ]
    1576                 :          0 :                 SPDK_ERRLOG("Application Tag check flag must be set.\n");
    1577                 :          0 :                 return -EINVAL;
    1578                 :            :         }
    1579                 :            : 
    1580   [ #  #  #  #  :          0 :         if (!(ctx->dif_flags & SPDK_DIF_FLAGS_REFTAG_CHECK))  {
             #  #  #  # ]
    1581                 :          0 :                 SPDK_ERRLOG("Reference Tag check flag must be set.\n");
    1582                 :          0 :                 return -EINVAL;
    1583                 :            :         }
    1584                 :            : 
    1585                 :          0 :         return 0;
    1586                 :          0 : }
    1587                 :            : 
    1588                 :            : static inline int
    1589                 :          0 : idxd_validate_dif_insert_iovecs(const struct spdk_dif_ctx *ctx,
    1590                 :            :                                 const struct iovec *diov, const size_t diovcnt,
    1591                 :            :                                 const struct iovec *siov, const size_t siovcnt)
    1592                 :            : {
    1593                 :          0 :         size_t src_len, dst_len;
    1594                 :          0 :         uint32_t num_blocks;
    1595                 :          0 :         size_t i;
    1596                 :            : 
    1597         [ #  # ]:          0 :         if (diovcnt != siovcnt) {
    1598                 :          0 :                 SPDK_ERRLOG("Invalid number of elements in src (%ld) and dst (%ld) iovecs.\n",
    1599                 :            :                             siovcnt, diovcnt);
    1600                 :          0 :                 return -EINVAL;
    1601                 :            :         }
    1602                 :            : 
    1603         [ #  # ]:          0 :         for (i = 0; i < siovcnt; i++) {
    1604   [ #  #  #  #  :          0 :                 src_len = siov[i].iov_len;
                   #  # ]
    1605   [ #  #  #  #  :          0 :                 dst_len = diov[i].iov_len;
                   #  # ]
    1606   [ #  #  #  #  :          0 :                 num_blocks = src_len / (ctx->block_size - ctx->md_size);
          #  #  #  #  #  
                      # ]
    1607   [ #  #  #  #  :          0 :                 if (src_len != dst_len - num_blocks * ctx->md_size) {
                   #  # ]
    1608                 :          0 :                         SPDK_ERRLOG("Invalid length of data in src (%ld) and dst (%ld) in iovecs[%ld].\n",
    1609                 :            :                                     src_len, dst_len, i);
    1610                 :          0 :                         return -EINVAL;
    1611                 :            :                 }
    1612                 :          0 :         }
    1613                 :            : 
    1614                 :          0 :         return 0;
    1615                 :          0 : }
    1616                 :            : 
    1617                 :            : static inline int
    1618                 :          0 : idxd_validate_dif_insert_buf_align(const struct spdk_dif_ctx *ctx,
    1619                 :            :                                    const uint64_t src_len, const uint64_t dst_len)
    1620                 :            : {
    1621                 :            :         /* DSA can only process contiguous memory buffers, multiple of the block size */
    1622   [ #  #  #  #  :          0 :         if (src_len % (ctx->block_size - ctx->md_size) != 0) {
          #  #  #  #  #  
                #  #  # ]
    1623   [ #  #  #  #  :          0 :                 SPDK_ERRLOG("The memory source buffer length (%ld) is not a multiple of block size without metadata (%d).\n",
             #  #  #  # ]
    1624                 :            :                             src_len, ctx->block_size - ctx->md_size);
    1625                 :          0 :                 return -EINVAL;
    1626                 :            :         }
    1627                 :            : 
    1628   [ #  #  #  #  :          0 :         if (dst_len % ctx->block_size != 0) {
             #  #  #  # ]
    1629   [ #  #  #  # ]:          0 :                 SPDK_ERRLOG("The memory destination buffer length (%ld) is not a multiple of block size with metadata (%d).\n",
    1630                 :            :                             dst_len, ctx->block_size);
    1631                 :          0 :                 return -EINVAL;
    1632                 :            :         }
    1633                 :            : 
    1634                 :            :         /* The memory source and destiantion must hold the same number of blocks. */
    1635   [ #  #  #  #  :          0 :         if (src_len / (ctx->block_size - ctx->md_size) != (dst_len / ctx->block_size)) {
          #  #  #  #  #  
          #  #  #  #  #  
             #  #  #  # ]
    1636   [ #  #  #  #  :          0 :                 SPDK_ERRLOG("The memory source (%ld) and destiantion (%ld) must hold the same number of blocks.\n",
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
    1637                 :            :                             src_len / (ctx->block_size - ctx->md_size), (dst_len / ctx->block_size));
    1638                 :          0 :                 return -EINVAL;
    1639                 :            :         }
    1640                 :            : 
    1641                 :          0 :         return 0;
    1642                 :          0 : }
    1643                 :            : 
    1644                 :            : int
    1645                 :          0 : spdk_idxd_submit_dif_insert(struct spdk_idxd_io_channel *chan,
    1646                 :            :                             struct iovec *diov, size_t diovcnt,
    1647                 :            :                             struct iovec *siov, size_t siovcnt,
    1648                 :            :                             uint32_t num_blocks, const struct spdk_dif_ctx *ctx, int flags,
    1649                 :            :                             spdk_idxd_req_cb cb_fn, void *cb_arg)
    1650                 :            : {
    1651                 :          0 :         struct idxd_hw_desc *desc;
    1652                 :          0 :         struct idxd_ops *first_op = NULL, *op = NULL;
    1653                 :          0 :         uint64_t src_seg_addr, src_seg_len;
    1654                 :          0 :         uint64_t dst_seg_addr, dst_seg_len;
    1655                 :          0 :         uint32_t num_blocks_done = 0;
    1656                 :          0 :         uint8_t dif_flags = 0;
    1657                 :          0 :         int rc, count = 0;
    1658                 :          0 :         size_t i;
    1659                 :            : 
    1660   [ #  #  #  # ]:          0 :         assert(ctx != NULL);
    1661   [ #  #  #  # ]:          0 :         assert(chan != NULL);
    1662   [ #  #  #  # ]:          0 :         assert(siov != NULL);
    1663                 :            : 
    1664                 :            :         /* Validate DIF parameters */
    1665                 :          0 :         rc = idxd_validate_dif_insert_params(ctx);
    1666         [ #  # ]:          0 :         if (rc) {
    1667                 :          0 :                 return rc;
    1668                 :            :         }
    1669                 :            : 
    1670                 :            :         /* Validate DIF iovec parameters */
    1671                 :          0 :         rc = idxd_validate_dif_insert_iovecs(ctx, diov, diovcnt, siov, siovcnt);
    1672         [ #  # ]:          0 :         if (rc) {
    1673                 :          0 :                 return rc;
    1674                 :            :         }
    1675                 :            : 
    1676                 :            :         /* Set DIF flags */
    1677                 :          0 :         rc = idxd_get_dif_flags(ctx, &dif_flags);
    1678         [ #  # ]:          0 :         if (rc) {
    1679                 :          0 :                 return rc;
    1680                 :            :         }
    1681                 :            : 
    1682                 :          0 :         rc = _idxd_setup_batch(chan);
    1683         [ #  # ]:          0 :         if (rc) {
    1684                 :          0 :                 return rc;
    1685                 :            :         }
    1686                 :            : 
    1687         [ #  # ]:          0 :         for (i = 0; i < siovcnt; i++) {
    1688   [ #  #  #  #  :          0 :                 src_seg_addr = (uint64_t)siov[i].iov_base;
                   #  # ]
    1689   [ #  #  #  #  :          0 :                 src_seg_len = siov[i].iov_len;
                   #  # ]
    1690   [ #  #  #  #  :          0 :                 dst_seg_addr = (uint64_t)diov[i].iov_base;
                   #  # ]
    1691   [ #  #  #  #  :          0 :                 dst_seg_len = diov[i].iov_len;
                   #  # ]
    1692                 :            : 
    1693                 :            :                 /* DSA processes the iovec buffers independently, so the buffers cannot
    1694                 :            :                  * be split (must be multiple of the block size). The destination memory
    1695                 :            :                  * size needs to be same as the source memory size + metadata size */
    1696                 :            : 
    1697                 :            :                 /* Validate the memory buffer alignment */
    1698                 :          0 :                 rc = idxd_validate_dif_insert_buf_align(ctx, src_seg_len, dst_seg_len);
    1699         [ #  # ]:          0 :                 if (rc) {
    1700                 :          0 :                         goto error;
    1701                 :            :                 }
    1702                 :            : 
    1703         [ #  # ]:          0 :                 if (first_op == NULL) {
    1704                 :          0 :                         rc = _idxd_prep_batch_cmd(chan, cb_fn, cb_arg, flags, &desc, &op);
    1705         [ #  # ]:          0 :                         if (rc) {
    1706                 :          0 :                                 goto error;
    1707                 :            :                         }
    1708                 :            : 
    1709                 :          0 :                         first_op = op;
    1710                 :          0 :                 } else {
    1711                 :          0 :                         rc = _idxd_prep_batch_cmd(chan, NULL, NULL, flags, &desc, &op);
    1712         [ #  # ]:          0 :                         if (rc) {
    1713                 :          0 :                                 goto error;
    1714                 :            :                         }
    1715                 :            : 
    1716         [ #  # ]:          0 :                         first_op->count++;
    1717   [ #  #  #  # ]:          0 :                         op->parent = first_op;
    1718                 :            :                 }
    1719                 :            : 
    1720         [ #  # ]:          0 :                 count++;
    1721                 :            : 
    1722         [ #  # ]:          0 :                 desc->opcode = IDXD_OPCODE_DIF_INS;
    1723   [ #  #  #  #  :          0 :                 desc->src_addr = src_seg_addr;
                   #  # ]
    1724   [ #  #  #  #  :          0 :                 desc->dst_addr = dst_seg_addr;
                   #  # ]
    1725   [ #  #  #  #  :          0 :                 desc->xfer_size = src_seg_len;
                   #  # ]
    1726   [ #  #  #  #  :          0 :                 desc->dif_ins.flags = dif_flags;
             #  #  #  # ]
    1727   [ #  #  #  #  :          0 :                 desc->dif_ins.app_tag_seed = ctx->app_tag;
          #  #  #  #  #  
                #  #  # ]
    1728   [ #  #  #  #  :          0 :                 desc->dif_ins.app_tag_mask = ~ctx->apptag_mask;
          #  #  #  #  #  
                #  #  # ]
    1729   [ #  #  #  #  :          0 :                 desc->dif_ins.ref_tag_seed = (uint32_t)ctx->init_ref_tag + num_blocks_done;
          #  #  #  #  #  
                #  #  # ]
    1730                 :            : 
    1731   [ #  #  #  #  :          0 :                 num_blocks_done += src_seg_len / (ctx->block_size - ctx->md_size);
          #  #  #  #  #  
                      # ]
    1732                 :          0 :         }
    1733                 :            : 
    1734                 :          0 :         return _idxd_flush_batch(chan);
    1735                 :            : 
    1736                 :          0 : error:
    1737   [ #  #  #  #  :          0 :         chan->batch->index -= count;
          #  #  #  #  #  
                      # ]
    1738                 :          0 :         return rc;
    1739                 :          0 : }
    1740                 :            : 
    1741                 :            : int
    1742                 :          0 : spdk_idxd_submit_raw_desc(struct spdk_idxd_io_channel *chan,
    1743                 :            :                           struct idxd_hw_desc *_desc,
    1744                 :            :                           spdk_idxd_req_cb cb_fn, void *cb_arg)
    1745                 :            : {
    1746                 :          0 :         struct idxd_hw_desc *desc;
    1747                 :          0 :         struct idxd_ops *op;
    1748                 :          0 :         int rc, flags = 0;
    1749                 :          0 :         uint64_t comp_addr;
    1750                 :            : 
    1751   [ #  #  #  # ]:          0 :         assert(chan != NULL);
    1752   [ #  #  #  # ]:          0 :         assert(_desc != NULL);
    1753                 :            : 
    1754                 :            :         /* Common prep. */
    1755                 :          0 :         rc = _idxd_prep_command(chan, cb_fn, cb_arg, flags, &desc, &op);
    1756         [ #  # ]:          0 :         if (rc) {
    1757                 :          0 :                 return rc;
    1758                 :            :         }
    1759                 :            : 
    1760                 :            :         /* Command specific. */
    1761         [ #  # ]:          0 :         flags = desc->flags;
    1762   [ #  #  #  # ]:          0 :         comp_addr = desc->completion_addr;
    1763   [ #  #  #  # ]:          0 :         memcpy(desc, _desc, sizeof(*desc));
    1764         [ #  # ]:          0 :         desc->flags |= flags;
    1765   [ #  #  #  # ]:          0 :         desc->completion_addr = comp_addr;
    1766                 :            : 
    1767                 :            :         /* Submit operation. */
    1768                 :          0 :         _submit_to_hw(chan, op);
    1769                 :            : 
    1770                 :          0 :         return 0;
    1771                 :          0 : }
    1772                 :            : 
    1773                 :            : static inline void
    1774                 :          0 : _dump_sw_error_reg(struct spdk_idxd_io_channel *chan)
    1775                 :            : {
    1776   [ #  #  #  # ]:          0 :         struct spdk_idxd_device *idxd = chan->idxd;
    1777                 :            : 
    1778   [ #  #  #  # ]:          0 :         assert(idxd != NULL);
    1779   [ #  #  #  #  :          0 :         idxd->impl->dump_sw_error(idxd, chan->portal);
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
    1780                 :          0 : }
    1781                 :            : 
    1782                 :            : /* TODO: more performance experiments. */
    1783                 :            : #define IDXD_COMPLETION(x) ((x) > (0) ? (1) : (0))
    1784                 :            : #define IDXD_FAILURE(x) ((x) > (1) ? (1) : (0))
    1785                 :            : #define IDXD_SW_ERROR(x) ((x) &= (0x1) ? (1) : (0))
    1786                 :            : int
    1787                 :          0 : spdk_idxd_process_events(struct spdk_idxd_io_channel *chan)
    1788                 :            : {
    1789                 :          0 :         struct idxd_ops *op, *tmp, *parent_op;
    1790                 :          0 :         int status = 0;
    1791                 :          0 :         int rc2, rc = 0;
    1792                 :          0 :         void *cb_arg;
    1793                 :          0 :         spdk_idxd_req_cb cb_fn;
    1794                 :            : 
    1795   [ #  #  #  # ]:          0 :         assert(chan != NULL);
    1796                 :            : 
    1797   [ #  #  #  #  :          0 :         STAILQ_FOREACH_SAFE(op, &chan->ops_outstanding, link, tmp) {
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
    1798   [ #  #  #  #  :          0 :                 if (!IDXD_COMPLETION(op->hw.status)) {
          #  #  #  #  #  
                      # ]
    1799                 :            :                         /*
    1800                 :            :                          * oldest locations are at the head of the list so if
    1801                 :            :                          * we've polled a location that hasn't completed, bail
    1802                 :            :                          * now as there are unlikely to be any more completions.
    1803                 :            :                          */
    1804                 :          0 :                         break;
    1805                 :            :                 }
    1806                 :            : 
    1807   [ #  #  #  #  :          0 :                 STAILQ_REMOVE_HEAD(&chan->ops_outstanding, link);
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
                      # ]
    1808         [ #  # ]:          0 :                 rc++;
    1809                 :            : 
    1810                 :            :                 /* Status is in the same location for both IAA and DSA completion records. */
    1811   [ #  #  #  #  :          0 :                 if (spdk_unlikely(IDXD_FAILURE(op->hw.status))) {
             #  #  #  # ]
    1812   [ #  #  #  #  :          0 :                         SPDK_ERRLOG("Completion status 0x%x\n", op->hw.status);
                   #  # ]
    1813                 :          0 :                         status = -EINVAL;
    1814                 :          0 :                         _dump_sw_error_reg(chan);
    1815                 :          0 :                 }
    1816                 :            : 
    1817   [ #  #  #  #  :          0 :                 switch (op->desc->opcode) {
          #  #  #  #  #  
                #  #  # ]
    1818                 :          0 :                 case IDXD_OPCODE_BATCH:
    1819   [ #  #  #  #  :          0 :                         SPDK_DEBUGLOG(idxd, "Complete batch %p\n", op->batch);
          #  #  #  #  #  
                      # ]
    1820                 :          0 :                         break;
    1821                 :          0 :                 case IDXD_OPCODE_CRC32C_GEN:
    1822                 :            :                 case IDXD_OPCODE_COPY_CRC:
    1823   [ #  #  #  #  :          0 :                         if (spdk_likely(status == 0 && op->crc_dst != NULL)) {
          #  #  #  #  #  
                      # ]
    1824   [ #  #  #  #  :          0 :                                 *op->crc_dst = op->hw.crc32c_val;
          #  #  #  #  #  
          #  #  #  #  #  
             #  #  #  # ]
    1825   [ #  #  #  #  :          0 :                                 *op->crc_dst ^= ~0;
             #  #  #  # ]
    1826                 :          0 :                         }
    1827                 :          0 :                         break;
    1828                 :          0 :                 case IDXD_OPCODE_COMPARE:
    1829         [ #  # ]:          0 :                         if (spdk_likely(status == 0)) {
    1830   [ #  #  #  #  :          0 :                                 status = op->hw.result;
          #  #  #  #  #  
                      # ]
    1831                 :          0 :                         }
    1832                 :          0 :                         break;
    1833                 :          0 :                 case IDXD_OPCODE_COMPRESS:
    1834   [ #  #  #  #  :          0 :                         if (spdk_likely(status == 0 && op->output_size != NULL)) {
          #  #  #  #  #  
                      # ]
    1835   [ #  #  #  #  :          0 :                                 *op->output_size = op->iaa_hw.output_size;
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
    1836                 :          0 :                         }
    1837                 :          0 :                         break;
    1838                 :          0 :                 case IDXD_OPCODE_DIF_CHECK:
    1839   [ #  #  #  #  :          0 :                         if (spdk_unlikely(op->hw.status == IDXD_DSA_STATUS_DIF_ERROR)) {
             #  #  #  # ]
    1840                 :          0 :                                 status = -EIO;
    1841                 :          0 :                         }
    1842                 :          0 :                         break;
    1843                 :            :                 }
    1844                 :            : 
    1845                 :            :                 /* TODO: WHAT IF THIS FAILED!? */
    1846   [ #  #  #  #  :          0 :                 op->hw.status = 0;
                   #  # ]
    1847                 :            : 
    1848   [ #  #  #  #  :          0 :                 assert(op->count > 0);
             #  #  #  # ]
    1849         [ #  # ]:          0 :                 op->count--;
    1850                 :            : 
    1851   [ #  #  #  # ]:          0 :                 parent_op = op->parent;
    1852         [ #  # ]:          0 :                 if (parent_op != NULL) {
    1853   [ #  #  #  #  :          0 :                         assert(parent_op->count > 0);
             #  #  #  # ]
    1854         [ #  # ]:          0 :                         parent_op->count--;
    1855                 :            : 
    1856   [ #  #  #  #  :          0 :                         if (parent_op->count == 0) {
                   #  # ]
    1857   [ #  #  #  # ]:          0 :                                 cb_fn = parent_op->cb_fn;
    1858   [ #  #  #  # ]:          0 :                                 cb_arg = parent_op->cb_arg;
    1859                 :            : 
    1860   [ #  #  #  #  :          0 :                                 assert(parent_op->batch != NULL);
             #  #  #  # ]
    1861                 :            : 
    1862                 :            :                                 /*
    1863                 :            :                                  * Now that parent_op count is 0, we can release its ref
    1864                 :            :                                  * to its batch. We have not released the ref to the batch
    1865                 :            :                                  * that the op is pointing to yet, which will be done below.
    1866                 :            :                                  */
    1867   [ #  #  #  #  :          0 :                                 parent_op->batch->refcnt--;
                   #  # ]
    1868   [ #  #  #  #  :          0 :                                 if (parent_op->batch->refcnt == 0) {
          #  #  #  #  #  
                      # ]
    1869   [ #  #  #  # ]:          0 :                                         _free_batch(parent_op->batch, chan);
    1870                 :          0 :                                 }
    1871                 :            : 
    1872         [ #  # ]:          0 :                                 if (cb_fn) {
    1873   [ #  #  #  # ]:          0 :                                         cb_fn(cb_arg, status);
    1874                 :          0 :                                 }
    1875                 :          0 :                         }
    1876                 :          0 :                 }
    1877                 :            : 
    1878   [ #  #  #  #  :          0 :                 if (op->count == 0) {
                   #  # ]
    1879   [ #  #  #  # ]:          0 :                         cb_fn = op->cb_fn;
    1880   [ #  #  #  # ]:          0 :                         cb_arg = op->cb_arg;
    1881                 :            : 
    1882   [ #  #  #  #  :          0 :                         if (op->batch != NULL) {
                   #  # ]
    1883   [ #  #  #  #  :          0 :                                 assert(op->batch->refcnt > 0);
          #  #  #  #  #  
                #  #  # ]
    1884   [ #  #  #  #  :          0 :                                 op->batch->refcnt--;
                   #  # ]
    1885                 :            : 
    1886   [ #  #  #  #  :          0 :                                 if (op->batch->refcnt == 0) {
          #  #  #  #  #  
                      # ]
    1887   [ #  #  #  # ]:          0 :                                         _free_batch(op->batch, chan);
    1888                 :          0 :                                 }
    1889                 :          0 :                         } else {
    1890   [ #  #  #  #  :          0 :                                 STAILQ_INSERT_HEAD(&chan->ops_pool, op, link);
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
                      # ]
    1891                 :            :                         }
    1892                 :            : 
    1893         [ #  # ]:          0 :                         if (cb_fn) {
    1894   [ #  #  #  # ]:          0 :                                 cb_fn(cb_arg, status);
    1895                 :          0 :                         }
    1896                 :          0 :                 }
    1897                 :            : 
    1898                 :            :                 /* reset the status */
    1899                 :          0 :                 status = 0;
    1900                 :            :                 /* break the processing loop to prevent from starving the rest of the system */
    1901         [ #  # ]:          0 :                 if (rc > IDXD_MAX_COMPLETIONS) {
    1902                 :          0 :                         break;
    1903                 :            :                 }
    1904                 :          0 :         }
    1905                 :            : 
    1906                 :            :         /* Submit any built-up batch */
    1907   [ #  #  #  #  :          0 :         if (chan->batch) {
                   #  # ]
    1908                 :          0 :                 rc2 = idxd_batch_submit(chan, NULL, NULL);
    1909         [ #  # ]:          0 :                 if (rc2) {
    1910   [ #  #  #  # ]:          0 :                         assert(rc2 == -EBUSY);
    1911                 :          0 :                 }
    1912                 :          0 :         }
    1913                 :            : 
    1914                 :          0 :         return rc;
    1915                 :          0 : }
    1916                 :            : 
    1917                 :            : void
    1918                 :       5358 : idxd_impl_register(struct spdk_idxd_impl *impl)
    1919                 :            : {
    1920   [ +  +  +  -  :       5358 :         STAILQ_INSERT_HEAD(&g_idxd_impls, impl, link);
          +  -  +  +  +  
             -  +  -  +  
                      - ]
    1921                 :       5358 : }
    1922                 :            : 
    1923                 :       2907 : SPDK_LOG_REGISTER_COMPONENT(idxd)

Generated by: LCOV version 1.15