LCOV - code coverage report
Current view: top level - spdk/lib/bdev - part.c (source / functions) Hit Total Coverage
Test: Combined Lines: 247 392 63.0 %
Date: 2024-12-16 06:16:01 Functions: 27 29 93.1 %
Legend: Lines: hit not hit | Branches: + taken - not taken # not executed Branches: 130 1429 9.1 %

           Branch data     Line data    Source code
       1                 :            : /*   SPDX-License-Identifier: BSD-3-Clause
       2                 :            :  *   Copyright (C) 2018 Intel Corporation.
       3                 :            :  *   Copyright (c) 2022 NVIDIA CORPORATION & AFFILIATES.
       4                 :            :  *   All rights reserved.
       5                 :            :  */
       6                 :            : 
       7                 :            : /*
       8                 :            :  * Common code for partition-like virtual bdevs.
       9                 :            :  */
      10                 :            : 
      11                 :            : #include "spdk/bdev.h"
      12                 :            : #include "spdk/likely.h"
      13                 :            : #include "spdk/log.h"
      14                 :            : #include "spdk/string.h"
      15                 :            : #include "spdk/thread.h"
      16                 :            : 
      17                 :            : #include "spdk/bdev_module.h"
      18                 :            : 
      19                 :            : /* This namespace UUID was generated using uuid_generate() method. */
      20                 :            : #define BDEV_PART_NAMESPACE_UUID "976b899e-3e1e-4d71-ab69-c2b08e9df8b8"
      21                 :            : 
      22                 :            : struct spdk_bdev_part_base {
      23                 :            :         struct spdk_bdev                *bdev;
      24                 :            :         struct spdk_bdev_desc           *desc;
      25                 :            :         uint32_t                        ref;
      26                 :            :         uint32_t                        channel_size;
      27                 :            :         spdk_bdev_part_base_free_fn     base_free_fn;
      28                 :            :         void                            *ctx;
      29                 :            :         bool                            claimed;
      30                 :            :         struct spdk_bdev_module         *module;
      31                 :            :         struct spdk_bdev_fn_table       *fn_table;
      32                 :            :         struct bdev_part_tailq          *tailq;
      33                 :            :         spdk_io_channel_create_cb       ch_create_cb;
      34                 :            :         spdk_io_channel_destroy_cb      ch_destroy_cb;
      35                 :            :         spdk_bdev_remove_cb_t           remove_cb;
      36                 :            :         struct spdk_thread              *thread;
      37                 :            : };
      38                 :            : 
      39                 :            : struct spdk_bdev *
      40                 :       6388 : spdk_bdev_part_base_get_bdev(struct spdk_bdev_part_base *part_base)
      41                 :            : {
      42   [ +  -  +  - ]:       6388 :         return part_base->bdev;
      43                 :            : }
      44                 :            : 
      45                 :            : struct spdk_bdev_desc *
      46                 :       5435 : spdk_bdev_part_base_get_desc(struct spdk_bdev_part_base *part_base)
      47                 :            : {
      48   [ +  -  +  - ]:       5435 :         return part_base->desc;
      49                 :            : }
      50                 :            : 
      51                 :            : struct bdev_part_tailq *
      52                 :         36 : spdk_bdev_part_base_get_tailq(struct spdk_bdev_part_base *part_base)
      53                 :            : {
      54   [ #  #  #  # ]:         36 :         return part_base->tailq;
      55                 :            : }
      56                 :            : 
      57                 :            : void *
      58                 :         25 : spdk_bdev_part_base_get_ctx(struct spdk_bdev_part_base *part_base)
      59                 :            : {
      60   [ #  #  #  # ]:         25 :         return part_base->ctx;
      61                 :            : }
      62                 :            : 
      63                 :            : const char *
      64                 :          0 : spdk_bdev_part_base_get_bdev_name(struct spdk_bdev_part_base *part_base)
      65                 :            : {
      66   [ #  #  #  #  :          0 :         return part_base->bdev->name;
             #  #  #  # ]
      67                 :            : }
      68                 :            : 
      69                 :            : static void
      70                 :          0 : bdev_part_base_free(void *ctx)
      71                 :            : {
      72                 :          0 :         struct spdk_bdev_desc *desc = ctx;
      73                 :            : 
      74                 :          0 :         spdk_bdev_close(desc);
      75                 :          0 : }
      76                 :            : 
      77                 :            : void
      78                 :       5648 : spdk_bdev_part_base_free(struct spdk_bdev_part_base *base)
      79                 :            : {
      80   [ +  -  +  -  :       5648 :         if (base->desc) {
                   -  + ]
      81                 :            :                 /* Close the underlying bdev on its same opened thread. */
      82   [ +  -  +  +  :       5648 :                 if (base->thread && base->thread != spdk_get_thread()) {
          +  -  +  -  +  
                -  +  - ]
      83   [ #  #  #  #  :          0 :                         spdk_thread_send_msg(base->thread, bdev_part_base_free, base->desc);
             #  #  #  # ]
      84                 :          0 :                 } else {
      85   [ +  -  +  - ]:       5648 :                         spdk_bdev_close(base->desc);
      86                 :            :                 }
      87                 :         47 :         }
      88                 :            : 
      89   [ +  +  +  -  :       5648 :         if (base->base_free_fn != NULL) {
                   -  + ]
      90   [ +  -  +  -  :       5565 :                 base->base_free_fn(base->ctx);
          -  +  +  -  +  
                -  +  - ]
      91                 :         47 :         }
      92                 :            : 
      93                 :       5648 :         free(base);
      94                 :       5648 : }
      95                 :            : 
      96                 :            : static void
      97                 :        682 : bdev_part_free_cb(void *io_device)
      98                 :            : {
      99                 :        682 :         struct spdk_bdev_part *part = io_device;
     100                 :            :         struct spdk_bdev_part_base *base;
     101                 :            : 
     102   [ -  +  #  # ]:        682 :         assert(part);
     103   [ -  +  #  #  :        682 :         assert(part->internal.base);
          #  #  #  #  #  
                      # ]
     104                 :            : 
     105   [ #  #  #  #  :        682 :         base = part->internal.base;
                   #  # ]
     106                 :            : 
     107   [ +  +  #  #  :        682 :         TAILQ_REMOVE(base->tailq, part, tailq);
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
             #  #  #  #  
                      # ]
     108                 :            : 
     109   [ +  +  #  # ]:        682 :         if (--base->ref == 0) {
     110   [ #  #  #  # ]:        255 :                 spdk_bdev_module_release_bdev(base->bdev);
     111                 :        255 :                 spdk_bdev_part_base_free(base);
     112                 :          0 :         }
     113                 :            : 
     114   [ #  #  #  # ]:        682 :         spdk_bdev_destruct_done(&part->internal.bdev, 0);
     115   [ #  #  #  #  :        682 :         free(part->internal.bdev.name);
             #  #  #  # ]
     116   [ #  #  #  #  :        682 :         free(part->internal.bdev.product_name);
             #  #  #  # ]
     117                 :        682 :         free(part);
     118                 :        682 : }
     119                 :            : 
     120                 :            : int
     121                 :        682 : spdk_bdev_part_free(struct spdk_bdev_part *part)
     122                 :            : {
     123                 :        682 :         spdk_io_device_unregister(part, bdev_part_free_cb);
     124                 :            : 
     125                 :            :         /* Return 1 to indicate that this is an asynchronous operation that isn't complete
     126                 :            :          * until spdk_bdev_destruct_done is called */
     127                 :        682 :         return 1;
     128                 :            : }
     129                 :            : 
     130                 :            : void
     131                 :         22 : spdk_bdev_part_base_hotremove(struct spdk_bdev_part_base *part_base, struct bdev_part_tailq *tailq)
     132                 :            : {
     133                 :            :         struct spdk_bdev_part *part, *tmp;
     134                 :            : 
     135   [ +  +  #  #  :         89 :         TAILQ_FOREACH_SAFE(part, tailq, tailq, tmp) {
          #  #  #  #  #  
             #  #  #  #  
                      # ]
     136   [ +  -  #  #  :         67 :                 if (part->internal.base == part_base) {
             #  #  #  # ]
     137   [ #  #  #  # ]:         67 :                         spdk_bdev_unregister(&part->internal.bdev, NULL, NULL);
     138                 :          0 :                 }
     139                 :          0 :         }
     140                 :         22 : }
     141                 :            : 
     142                 :            : static bool
     143                 :    1357126 : bdev_part_io_type_supported(void *_part, enum spdk_bdev_io_type io_type)
     144                 :            : {
     145                 :    1357126 :         struct spdk_bdev_part *part = _part;
     146                 :            : 
     147                 :            :         /* We can't decode/modify passthrough NVMe commands, so don't report
     148                 :            :          *  that a partition supports these io types, even if the underlying
     149                 :            :          *  bdev does.
     150                 :            :          */
     151         [ +  + ]:    1357126 :         switch (io_type) {
     152                 :      13656 :         case SPDK_BDEV_IO_TYPE_NVME_ADMIN:
     153                 :            :         case SPDK_BDEV_IO_TYPE_NVME_IO:
     154                 :            :         case SPDK_BDEV_IO_TYPE_NVME_IO_MD:
     155                 :      13656 :                 return false;
     156                 :    1343470 :         default:
     157                 :    1343470 :                 break;
     158                 :            :         }
     159                 :            : 
     160   [ #  #  #  #  :    1343470 :         return part->internal.base->bdev->fn_table->io_type_supported(part->internal.base->bdev->ctxt,
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
     161                 :          0 :                         io_type);
     162                 :          0 : }
     163                 :            : 
     164                 :            : static struct spdk_io_channel *
     165                 :       1473 : bdev_part_get_io_channel(void *_part)
     166                 :            : {
     167                 :       1473 :         struct spdk_bdev_part *part = _part;
     168                 :            : 
     169                 :       1473 :         return spdk_get_io_channel(part);
     170                 :            : }
     171                 :            : 
     172                 :            : struct spdk_bdev *
     173                 :        103 : spdk_bdev_part_get_bdev(struct spdk_bdev_part *part)
     174                 :            : {
     175   [ #  #  #  # ]:        103 :         return &part->internal.bdev;
     176                 :            : }
     177                 :            : 
     178                 :            : struct spdk_bdev_part_base *
     179                 :        656 : spdk_bdev_part_get_base(struct spdk_bdev_part *part)
     180                 :            : {
     181   [ #  #  #  #  :        656 :         return part->internal.base;
                   #  # ]
     182                 :            : }
     183                 :            : 
     184                 :            : struct spdk_bdev *
     185                 :       4547 : spdk_bdev_part_get_base_bdev(struct spdk_bdev_part *part)
     186                 :            : {
     187   [ #  #  #  #  :       4547 :         return part->internal.base->bdev;
          #  #  #  #  #  
                      # ]
     188                 :            : }
     189                 :            : 
     190                 :            : uint64_t
     191                 :       2684 : spdk_bdev_part_get_offset_blocks(struct spdk_bdev_part *part)
     192                 :            : {
     193   [ #  #  #  #  :       2684 :         return part->internal.offset_blocks;
                   #  # ]
     194                 :            : }
     195                 :            : 
     196                 :            : static int
     197                 :   19505435 : bdev_part_remap_dif(struct spdk_bdev_io *bdev_io, uint32_t offset,
     198                 :            :                     uint32_t remapped_offset)
     199                 :            : {
     200   [ #  #  #  # ]:   19505435 :         struct spdk_bdev *bdev = bdev_io->bdev;
     201                 :   13625271 :         struct spdk_dif_ctx dif_ctx;
     202                 :   19505435 :         struct spdk_dif_error err_blk = {};
     203                 :            :         int rc;
     204                 :   13625271 :         struct spdk_dif_ctx_init_ext_opts dif_opts;
     205                 :            : 
     206   [ +  -  #  #  :   19505435 :         if (spdk_likely(!(bdev->dif_check_flags & SPDK_DIF_FLAGS_REFTAG_CHECK))) {
             #  #  #  # ]
     207                 :   19505435 :                 return 0;
     208                 :            :         }
     209                 :            : 
     210                 :          0 :         dif_opts.size = SPDK_SIZEOF(&dif_opts, dif_pi_format);
     211         [ #  # ]:          0 :         dif_opts.dif_pi_format = SPDK_DIF_PI_FORMAT_16;
     212                 :          0 :         rc = spdk_dif_ctx_init(&dif_ctx,
     213   [ #  #  #  #  :          0 :                                bdev->blocklen, bdev->md_len, bdev->md_interleave,
          #  #  #  #  #  
             #  #  #  #  
                      # ]
     214   [ #  #  #  #  :          0 :                                bdev->dif_is_head_of_md, bdev->dif_type, bdev->dif_check_flags,
          #  #  #  #  #  
             #  #  #  #  
                      # ]
     215                 :          0 :                                offset, 0, 0, 0, 0, &dif_opts);
     216         [ #  # ]:          0 :         if (rc != 0) {
     217                 :          0 :                 SPDK_ERRLOG("Initialization of DIF context failed\n");
     218                 :          0 :                 return rc;
     219                 :            :         }
     220                 :            : 
     221                 :          0 :         spdk_dif_ctx_set_remapped_init_ref_tag(&dif_ctx, remapped_offset);
     222                 :            : 
     223   [ #  #  #  #  :          0 :         if (bdev->md_interleave) {
             #  #  #  # ]
     224   [ #  #  #  #  :          0 :                 rc = spdk_dif_remap_ref_tag(bdev_io->u.bdev.iovs, bdev_io->u.bdev.iovcnt,
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
     225   [ #  #  #  #  :          0 :                                             bdev_io->u.bdev.num_blocks, &dif_ctx, &err_blk, true);
             #  #  #  # ]
     226                 :          0 :         } else {
     227                 :          0 :                 struct iovec md_iov = {
     228   [ #  #  #  #  :          0 :                         .iov_base       = bdev_io->u.bdev.md_buf,
             #  #  #  # ]
     229   [ #  #  #  #  :          0 :                         .iov_len        = bdev_io->u.bdev.num_blocks * bdev->md_len,
          #  #  #  #  #  
                #  #  # ]
     230                 :            :                 };
     231                 :            : 
     232   [ #  #  #  #  :          0 :                 rc = spdk_dix_remap_ref_tag(&md_iov, bdev_io->u.bdev.num_blocks, &dif_ctx, &err_blk, true);
             #  #  #  # ]
     233                 :            :         }
     234                 :            : 
     235         [ #  # ]:          0 :         if (rc != 0) {
     236         [ #  # ]:          0 :                 SPDK_ERRLOG("Remapping reference tag failed. type=%d, offset=%" PRIu32 "\n",
     237                 :            :                             err_blk.err_type, err_blk.err_offset);
     238                 :          0 :         }
     239                 :            : 
     240                 :          0 :         return rc;
     241                 :          0 : }
     242                 :            : 
     243                 :            : static void
     244                 :   25562674 : bdev_part_complete_io(struct spdk_bdev_io *bdev_io, bool success, void *cb_arg)
     245                 :            : {
     246                 :   25562674 :         struct spdk_bdev_io *part_io = cb_arg;
     247                 :            :         uint32_t offset, remapped_offset;
     248                 :            :         int rc;
     249                 :            : 
     250   [ +  -  +  #  :   25562674 :         switch (bdev_io->type) {
                #  #  # ]
     251                 :    5708459 :         case SPDK_BDEV_IO_TYPE_READ:
     252   [ +  -  #  # ]:    5708459 :                 if (success) {
     253   [ #  #  #  #  :    5708459 :                         offset = bdev_io->u.bdev.offset_blocks;
             #  #  #  # ]
     254   [ #  #  #  #  :    5708459 :                         remapped_offset = part_io->u.bdev.offset_blocks;
             #  #  #  # ]
     255                 :            : 
     256                 :    5708459 :                         rc = bdev_part_remap_dif(bdev_io, offset, remapped_offset);
     257         [ -  + ]:    5708459 :                         if (rc != 0) {
     258                 :          0 :                                 success = false;
     259                 :          0 :                         }
     260                 :          0 :                 }
     261                 :    5708459 :                 break;
     262                 :          0 :         case SPDK_BDEV_IO_TYPE_ZCOPY:
     263   [ #  #  #  #  :          0 :                 spdk_bdev_io_set_buf(part_io, bdev_io->u.bdev.iovs[0].iov_base,
          #  #  #  #  #  
             #  #  #  #  
                      # ]
     264   [ #  #  #  #  :          0 :                                      bdev_io->u.bdev.iovs[0].iov_len);
          #  #  #  #  #  
             #  #  #  #  
                      # ]
     265                 :          0 :                 break;
     266                 :   19854215 :         default:
     267                 :   19854215 :                 break;
     268                 :            :         }
     269                 :            : 
     270   [ +  +  #  #  :   25562674 :         if (part_io->internal.f.split) {
          #  #  #  #  #  
                      # ]
     271   [ #  #  #  #  :    1274444 :                 part_io->internal.split.stored_user_cb(part_io, success, NULL);
          #  #  #  #  #  
             #  #  #  #  
                      # ]
     272                 :          0 :         } else {
     273                 :   24288230 :                 spdk_bdev_io_complete_base_io_status(part_io, bdev_io);
     274                 :            :         }
     275                 :            : 
     276                 :   25562674 :         spdk_bdev_free_io(bdev_io);
     277                 :   25562674 : }
     278                 :            : 
     279                 :            : static inline void
     280                 :   19505435 : bdev_part_init_ext_io_opts(struct spdk_bdev_io *bdev_io, struct spdk_bdev_ext_io_opts *opts)
     281                 :            : {
     282         [ -  + ]:   19505435 :         memset(opts, 0, sizeof(*opts));
     283   [ #  #  #  # ]:   19505435 :         opts->size = sizeof(*opts);
     284   [ #  #  #  #  :   19505435 :         opts->memory_domain = bdev_io->u.bdev.memory_domain;
          #  #  #  #  #  
                #  #  # ]
     285   [ #  #  #  #  :   19505435 :         opts->memory_domain_ctx = bdev_io->u.bdev.memory_domain_ctx;
          #  #  #  #  #  
                #  #  # ]
     286   [ #  #  #  #  :   19505435 :         opts->metadata = bdev_io->u.bdev.md_buf;
          #  #  #  #  #  
                #  #  # ]
     287                 :   19505435 : }
     288                 :            : 
     289                 :            : int
     290                 :   25562674 : spdk_bdev_part_submit_request_ext(struct spdk_bdev_part_channel *ch, struct spdk_bdev_io *bdev_io,
     291                 :            :                                   spdk_bdev_io_completion_cb cb)
     292                 :            : {
     293   [ #  #  #  # ]:   25562674 :         struct spdk_bdev_part *part = ch->part;
     294   [ #  #  #  # ]:   25562674 :         struct spdk_io_channel *base_ch = ch->base_ch;
     295   [ #  #  #  #  :   25562674 :         struct spdk_bdev_desc *base_desc = part->internal.base->desc;
          #  #  #  #  #  
                      # ]
     296                 :   17693973 :         struct spdk_bdev_ext_io_opts io_opts;
     297                 :            :         uint64_t offset, remapped_offset, remapped_src_offset;
     298                 :   25562674 :         int rc = 0;
     299                 :            : 
     300         [ +  + ]:   25562674 :         if (cb != NULL) {
     301   [ #  #  #  #  :    1274444 :                 bdev_io->internal.f.split = true;
             #  #  #  # ]
     302   [ #  #  #  #  :    1274444 :                 bdev_io->internal.split.stored_user_cb = cb;
             #  #  #  # ]
     303                 :          0 :         }
     304                 :            : 
     305   [ #  #  #  #  :   25562674 :         offset = bdev_io->u.bdev.offset_blocks;
             #  #  #  # ]
     306   [ #  #  #  #  :   25562674 :         remapped_offset = offset + part->internal.offset_blocks;
                   #  # ]
     307                 :            : 
     308                 :            :         /* Modify the I/O to adjust for the offset within the base bdev. */
     309   [ +  +  +  +  :   25562674 :         switch (bdev_io->type) {
          +  +  -  -  +  
          -  +  -  #  #  
                   #  # ]
     310                 :    5708459 :         case SPDK_BDEV_IO_TYPE_READ:
     311                 :    5708459 :                 bdev_part_init_ext_io_opts(bdev_io, &io_opts);
     312   [ #  #  #  #  :    5708459 :                 rc = spdk_bdev_readv_blocks_ext(base_desc, base_ch, bdev_io->u.bdev.iovs,
             #  #  #  # ]
     313   [ #  #  #  #  :          0 :                                                 bdev_io->u.bdev.iovcnt, remapped_offset,
             #  #  #  # ]
     314   [ #  #  #  #  :          0 :                                                 bdev_io->u.bdev.num_blocks,
             #  #  #  # ]
     315                 :          0 :                                                 bdev_part_complete_io, bdev_io, &io_opts);
     316                 :    5708459 :                 break;
     317                 :   13796976 :         case SPDK_BDEV_IO_TYPE_WRITE:
     318                 :   13796976 :                 rc = bdev_part_remap_dif(bdev_io, offset, remapped_offset);
     319         [ -  + ]:   13796976 :                 if (rc != 0) {
     320                 :          0 :                         return SPDK_BDEV_IO_STATUS_FAILED;
     321                 :            :                 }
     322                 :   13796976 :                 bdev_part_init_ext_io_opts(bdev_io, &io_opts);
     323   [ #  #  #  #  :   13796976 :                 rc = spdk_bdev_writev_blocks_ext(base_desc, base_ch, bdev_io->u.bdev.iovs,
             #  #  #  # ]
     324   [ #  #  #  #  :          0 :                                                  bdev_io->u.bdev.iovcnt, remapped_offset,
             #  #  #  # ]
     325   [ #  #  #  #  :          0 :                                                  bdev_io->u.bdev.num_blocks,
             #  #  #  # ]
     326                 :          0 :                                                  bdev_part_complete_io, bdev_io, &io_opts);
     327                 :   13796976 :                 break;
     328                 :     555982 :         case SPDK_BDEV_IO_TYPE_WRITE_ZEROES:
     329                 :     555982 :                 rc = spdk_bdev_write_zeroes_blocks(base_desc, base_ch, remapped_offset,
     330   [ #  #  #  #  :          0 :                                                    bdev_io->u.bdev.num_blocks, bdev_part_complete_io,
             #  #  #  # ]
     331                 :          0 :                                                    bdev_io);
     332                 :     555982 :                 break;
     333                 :    4773402 :         case SPDK_BDEV_IO_TYPE_UNMAP:
     334                 :    4773402 :                 rc = spdk_bdev_unmap_blocks(base_desc, base_ch, remapped_offset,
     335   [ #  #  #  #  :          0 :                                             bdev_io->u.bdev.num_blocks, bdev_part_complete_io,
             #  #  #  # ]
     336                 :          0 :                                             bdev_io);
     337                 :    4773402 :                 break;
     338                 :     727731 :         case SPDK_BDEV_IO_TYPE_FLUSH:
     339                 :     727731 :                 rc = spdk_bdev_flush_blocks(base_desc, base_ch, remapped_offset,
     340   [ #  #  #  #  :          0 :                                             bdev_io->u.bdev.num_blocks, bdev_part_complete_io,
             #  #  #  # ]
     341                 :          0 :                                             bdev_io);
     342                 :     727731 :                 break;
     343                 :         54 :         case SPDK_BDEV_IO_TYPE_RESET:
     344                 :         54 :                 rc = spdk_bdev_reset(base_desc, base_ch,
     345                 :          0 :                                      bdev_part_complete_io, bdev_io);
     346                 :         54 :                 break;
     347                 :          0 :         case SPDK_BDEV_IO_TYPE_ABORT:
     348   [ #  #  #  #  :          0 :                 rc = spdk_bdev_abort(base_desc, base_ch, bdev_io->u.abort.bio_to_abort,
             #  #  #  # ]
     349                 :          0 :                                      bdev_part_complete_io, bdev_io);
     350                 :          0 :                 break;
     351                 :          0 :         case SPDK_BDEV_IO_TYPE_ZCOPY:
     352                 :          0 :                 rc = spdk_bdev_zcopy_start(base_desc, base_ch, NULL, 0, remapped_offset,
     353   [ #  #  #  #  :          0 :                                            bdev_io->u.bdev.num_blocks, bdev_io->u.bdev.zcopy.populate,
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
     354                 :          0 :                                            bdev_part_complete_io, bdev_io);
     355                 :          0 :                 break;
     356                 :         20 :         case SPDK_BDEV_IO_TYPE_COMPARE:
     357   [ +  -  #  #  :         20 :                 if (!bdev_io->u.bdev.md_buf) {
          #  #  #  #  #  
                      # ]
     358                 :         20 :                         rc = spdk_bdev_comparev_blocks(base_desc, base_ch,
     359   [ #  #  #  #  :          0 :                                                        bdev_io->u.bdev.iovs,
             #  #  #  # ]
     360   [ #  #  #  #  :          0 :                                                        bdev_io->u.bdev.iovcnt,
             #  #  #  # ]
     361                 :          0 :                                                        remapped_offset,
     362   [ #  #  #  #  :          0 :                                                        bdev_io->u.bdev.num_blocks,
             #  #  #  # ]
     363                 :          0 :                                                        bdev_part_complete_io, bdev_io);
     364                 :          0 :                 } else {
     365                 :          0 :                         rc = spdk_bdev_comparev_blocks_with_md(base_desc, base_ch,
     366   [ #  #  #  #  :          0 :                                                                bdev_io->u.bdev.iovs,
             #  #  #  # ]
     367   [ #  #  #  #  :          0 :                                                                bdev_io->u.bdev.iovcnt,
             #  #  #  # ]
     368   [ #  #  #  #  :          0 :                                                                bdev_io->u.bdev.md_buf,
             #  #  #  # ]
     369                 :          0 :                                                                remapped_offset,
     370   [ #  #  #  #  :          0 :                                                                bdev_io->u.bdev.num_blocks,
             #  #  #  # ]
     371                 :          0 :                                                                bdev_part_complete_io, bdev_io);
     372                 :            :                 }
     373                 :         20 :                 break;
     374                 :          0 :         case SPDK_BDEV_IO_TYPE_COMPARE_AND_WRITE:
     375   [ #  #  #  #  :          0 :                 rc = spdk_bdev_comparev_and_writev_blocks(base_desc, base_ch, bdev_io->u.bdev.iovs,
             #  #  #  # ]
     376   [ #  #  #  #  :          0 :                                 bdev_io->u.bdev.iovcnt,
             #  #  #  # ]
     377   [ #  #  #  #  :          0 :                                 bdev_io->u.bdev.fused_iovs,
             #  #  #  # ]
     378   [ #  #  #  #  :          0 :                                 bdev_io->u.bdev.fused_iovcnt,
             #  #  #  # ]
     379                 :          0 :                                 remapped_offset,
     380   [ #  #  #  #  :          0 :                                 bdev_io->u.bdev.num_blocks,
             #  #  #  # ]
     381                 :          0 :                                 bdev_part_complete_io, bdev_io);
     382                 :          0 :                 break;
     383                 :         50 :         case SPDK_BDEV_IO_TYPE_COPY:
     384   [ #  #  #  #  :         50 :                 remapped_src_offset = bdev_io->u.bdev.copy.src_offset_blocks + part->internal.offset_blocks;
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
     385                 :         50 :                 rc = spdk_bdev_copy_blocks(base_desc, base_ch, remapped_offset, remapped_src_offset,
     386   [ #  #  #  #  :          0 :                                            bdev_io->u.bdev.num_blocks, bdev_part_complete_io,
             #  #  #  # ]
     387                 :          0 :                                            bdev_io);
     388                 :         50 :                 break;
     389                 :          0 :         default:
     390   [ #  #  #  # ]:          0 :                 SPDK_ERRLOG("unknown I/O type %d\n", bdev_io->type);
     391                 :          0 :                 return SPDK_BDEV_IO_STATUS_FAILED;
     392                 :            :         }
     393                 :            : 
     394                 :   25562674 :         return rc;
     395                 :          0 : }
     396                 :            : 
     397                 :            : int
     398                 :   24288230 : spdk_bdev_part_submit_request(struct spdk_bdev_part_channel *ch, struct spdk_bdev_io *bdev_io)
     399                 :            : {
     400                 :   24288230 :         return spdk_bdev_part_submit_request_ext(ch, bdev_io, NULL);
     401                 :            : }
     402                 :            : 
     403                 :            : static int
     404                 :       1473 : bdev_part_channel_create_cb(void *io_device, void *ctx_buf)
     405                 :            : {
     406                 :       1473 :         struct spdk_bdev_part *part = (struct spdk_bdev_part *)io_device;
     407                 :       1473 :         struct spdk_bdev_part_channel *ch = ctx_buf;
     408                 :            : 
     409   [ #  #  #  # ]:       1473 :         ch->part = part;
     410   [ #  #  #  #  :       1473 :         ch->base_ch = spdk_bdev_get_io_channel(part->internal.base->desc);
          #  #  #  #  #  
             #  #  #  #  
                      # ]
     411   [ -  +  #  #  :       1473 :         if (ch->base_ch == NULL) {
                   #  # ]
     412                 :          0 :                 return -1;
     413                 :            :         }
     414                 :            : 
     415   [ -  +  #  #  :       1473 :         if (part->internal.base->ch_create_cb) {
          #  #  #  #  #  
                #  #  # ]
     416   [ #  #  #  #  :          0 :                 return part->internal.base->ch_create_cb(io_device, ctx_buf);
          #  #  #  #  #  
             #  #  #  #  
                      # ]
     417                 :            :         } else {
     418                 :       1473 :                 return 0;
     419                 :            :         }
     420                 :          0 : }
     421                 :            : 
     422                 :            : static void
     423                 :       1473 : bdev_part_channel_destroy_cb(void *io_device, void *ctx_buf)
     424                 :            : {
     425                 :       1473 :         struct spdk_bdev_part *part = (struct spdk_bdev_part *)io_device;
     426                 :       1473 :         struct spdk_bdev_part_channel *ch = ctx_buf;
     427                 :            : 
     428   [ -  +  #  #  :       1473 :         if (part->internal.base->ch_destroy_cb) {
          #  #  #  #  #  
                #  #  # ]
     429   [ #  #  #  #  :          0 :                 part->internal.base->ch_destroy_cb(io_device, ctx_buf);
          #  #  #  #  #  
             #  #  #  #  
                      # ]
     430                 :          0 :         }
     431   [ #  #  #  # ]:       1473 :         spdk_put_io_channel(ch->base_ch);
     432                 :       1473 : }
     433                 :            : 
     434                 :            : static void
     435                 :          1 : bdev_part_base_event_cb(enum spdk_bdev_event_type type, struct spdk_bdev *bdev,
     436                 :            :                         void *event_ctx)
     437                 :            : {
     438                 :          1 :         struct spdk_bdev_part_base *base = event_ctx;
     439                 :            : 
     440         [ +  - ]:          1 :         switch (type) {
     441                 :          1 :         case SPDK_BDEV_EVENT_REMOVE:
     442   [ #  #  #  #  :          1 :                 base->remove_cb(base);
             #  #  #  # ]
     443                 :          1 :                 break;
     444                 :          0 :         default:
     445                 :          0 :                 SPDK_NOTICELOG("Unsupported bdev event: type %d\n", type);
     446                 :          0 :                 break;
     447                 :            :         }
     448                 :          1 : }
     449                 :            : 
     450                 :            : int
     451                 :       5761 : spdk_bdev_part_base_construct_ext(const char *bdev_name,
     452                 :            :                                   spdk_bdev_remove_cb_t remove_cb, struct spdk_bdev_module *module,
     453                 :            :                                   struct spdk_bdev_fn_table *fn_table, struct bdev_part_tailq *tailq,
     454                 :            :                                   spdk_bdev_part_base_free_fn free_fn, void *ctx,
     455                 :            :                                   uint32_t channel_size, spdk_io_channel_create_cb ch_create_cb,
     456                 :            :                                   spdk_io_channel_destroy_cb ch_destroy_cb,
     457                 :            :                                   struct spdk_bdev_part_base **_base)
     458                 :            : {
     459                 :            :         int rc;
     460                 :            :         struct spdk_bdev_part_base *base;
     461                 :            : 
     462         [ +  + ]:       5761 :         if (_base == NULL) {
     463                 :          0 :                 return -EINVAL;
     464                 :            :         }
     465                 :            : 
     466                 :       5761 :         base = calloc(1, sizeof(*base));
     467         [ +  + ]:       5761 :         if (!base) {
     468                 :          0 :                 SPDK_ERRLOG("Memory allocation failure\n");
     469                 :          0 :                 return -ENOMEM;
     470                 :            :         }
     471   [ +  -  +  - ]:       5761 :         fn_table->get_io_channel = bdev_part_get_io_channel;
     472   [ +  -  +  - ]:       5761 :         fn_table->io_type_supported = bdev_part_io_type_supported;
     473                 :            : 
     474   [ +  -  +  - ]:       5761 :         base->desc = NULL;
     475   [ +  -  +  - ]:       5761 :         base->ref = 0;
     476   [ +  -  +  - ]:       5761 :         base->module = module;
     477   [ +  -  +  - ]:       5761 :         base->fn_table = fn_table;
     478   [ +  -  +  - ]:       5761 :         base->tailq = tailq;
     479   [ +  -  +  - ]:       5761 :         base->base_free_fn = free_fn;
     480   [ +  -  +  - ]:       5761 :         base->ctx = ctx;
     481   [ +  -  +  - ]:       5761 :         base->claimed = false;
     482   [ +  -  +  - ]:       5761 :         base->channel_size = channel_size;
     483   [ +  -  +  - ]:       5761 :         base->ch_create_cb = ch_create_cb;
     484   [ +  -  +  - ]:       5761 :         base->ch_destroy_cb = ch_destroy_cb;
     485   [ +  -  +  - ]:       5761 :         base->remove_cb = remove_cb;
     486                 :            : 
     487         [ +  - ]:       5761 :         rc = spdk_bdev_open_ext(bdev_name, false, bdev_part_base_event_cb, base, &base->desc);
     488         [ +  + ]:       5761 :         if (rc) {
     489         [ +  - ]:        113 :                 if (rc == -ENODEV) {
     490                 :        113 :                         free(base);
     491                 :          0 :                 } else {
     492         [ #  # ]:          0 :                         SPDK_ERRLOG("could not open bdev %s: %s\n", bdev_name, spdk_strerror(-rc));
     493                 :          0 :                         spdk_bdev_part_base_free(base);
     494                 :            :                 }
     495                 :        113 :                 return rc;
     496                 :            :         }
     497                 :            : 
     498   [ +  -  +  -  :       5648 :         base->bdev = spdk_bdev_desc_get_bdev(base->desc);
             +  -  +  - ]
     499                 :            : 
     500                 :            :         /* Save the thread where the base device is opened */
     501   [ +  -  +  - ]:       5648 :         base->thread = spdk_get_thread();
     502                 :            : 
     503         [ +  - ]:       5648 :         *_base = base;
     504                 :            : 
     505                 :       5648 :         return 0;
     506                 :         47 : }
     507                 :            : 
     508                 :            : void
     509                 :        694 : spdk_bdev_part_construct_opts_init(struct spdk_bdev_part_construct_opts *opts, uint64_t size)
     510                 :            : {
     511         [ -  + ]:        694 :         if (opts == NULL) {
     512                 :          0 :                 SPDK_ERRLOG("opts should not be NULL\n");
     513   [ #  #  #  # ]:          0 :                 assert(opts != NULL);
     514                 :          0 :                 return;
     515                 :            :         }
     516         [ -  + ]:        694 :         if (size == 0) {
     517                 :          0 :                 SPDK_ERRLOG("size should not be zero\n");
     518   [ #  #  #  # ]:          0 :                 assert(size != 0);
     519                 :          0 :                 return;
     520                 :            :         }
     521                 :            : 
     522         [ -  + ]:        694 :         memset(opts, 0, size);
     523   [ #  #  #  # ]:        694 :         opts->opts_size = size;
     524                 :          0 : }
     525                 :            : 
     526                 :            : static void
     527                 :         99 : part_construct_opts_copy(const struct spdk_bdev_part_construct_opts *src,
     528                 :            :                          struct spdk_bdev_part_construct_opts *dst)
     529                 :            : {
     530   [ -  +  #  #  :         99 :         if (src->opts_size == 0) {
                   #  # ]
     531                 :          0 :                 SPDK_ERRLOG("size should not be zero\n");
     532         [ #  # ]:          0 :                 assert(false);
     533                 :            :         }
     534                 :            : 
     535         [ -  + ]:         99 :         memset(dst, 0, sizeof(*dst));
     536   [ #  #  #  #  :         99 :         dst->opts_size = src->opts_size;
             #  #  #  # ]
     537                 :            : 
     538                 :            : #define FIELD_OK(field) \
     539                 :            :         offsetof(struct spdk_bdev_part_construct_opts, field) + sizeof(src->field) <= src->opts_size
     540                 :            : 
     541                 :            : #define SET_FIELD(field) \
     542                 :            :         if (FIELD_OK(field)) { \
     543                 :            :                 dst->field = src->field; \
     544                 :            :         } \
     545                 :            : 
     546   [ +  -  #  #  :         99 :         SET_FIELD(uuid);
          #  #  #  #  #  
                      # ]
     547                 :            : 
     548                 :            :         /* You should not remove this statement, but need to update the assert statement
     549                 :            :          * if you add a new field, and also add a corresponding SET_FIELD statement */
     550                 :            :         SPDK_STATIC_ASSERT(sizeof(struct spdk_bdev_part_construct_opts) == 24, "Incorrect size");
     551                 :            : 
     552                 :            : #undef FIELD_OK
     553                 :            : #undef SET_FIELD
     554                 :         99 : }
     555                 :            : 
     556                 :            : int
     557                 :        694 : spdk_bdev_part_construct_ext(struct spdk_bdev_part *part, struct spdk_bdev_part_base *base,
     558                 :            :                              char *name, uint64_t offset_blocks, uint64_t num_blocks,
     559                 :            :                              char *product_name, const struct spdk_bdev_part_construct_opts *_opts)
     560                 :            : {
     561                 :            :         int rc;
     562                 :        694 :         bool first_claimed = false;
     563                 :        507 :         struct spdk_bdev_part_construct_opts opts;
     564                 :        507 :         struct spdk_uuid ns_uuid;
     565                 :            : 
     566         [ +  + ]:        694 :         if (_opts == NULL) {
     567                 :        595 :                 spdk_bdev_part_construct_opts_init(&opts, sizeof(opts));
     568                 :          0 :         } else {
     569                 :         99 :                 part_construct_opts_copy(_opts, &opts);
     570                 :            :         }
     571                 :            : 
     572   [ #  #  #  #  :        694 :         part->internal.bdev.blocklen = base->bdev->blocklen;
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
     573   [ #  #  #  #  :        694 :         part->internal.bdev.blockcnt = num_blocks;
             #  #  #  # ]
     574   [ #  #  #  #  :        694 :         part->internal.offset_blocks = offset_blocks;
                   #  # ]
     575                 :            : 
     576   [ #  #  #  #  :        694 :         part->internal.bdev.write_cache = base->bdev->write_cache;
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
     577   [ #  #  #  #  :        694 :         part->internal.bdev.required_alignment = base->bdev->required_alignment;
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
     578   [ #  #  #  #  :        694 :         part->internal.bdev.ctxt = part;
             #  #  #  # ]
     579   [ #  #  #  #  :        694 :         part->internal.bdev.module = base->module;
          #  #  #  #  #  
                #  #  # ]
     580   [ #  #  #  #  :        694 :         part->internal.bdev.fn_table = base->fn_table;
          #  #  #  #  #  
                #  #  # ]
     581                 :            : 
     582   [ -  +  #  #  :        694 :         part->internal.bdev.md_interleave = base->bdev->md_interleave;
          #  #  #  #  #  
          #  #  #  #  #  
             #  #  #  # ]
     583   [ #  #  #  #  :        694 :         part->internal.bdev.md_len = base->bdev->md_len;
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
     584   [ #  #  #  #  :        694 :         part->internal.bdev.dif_type = base->bdev->dif_type;
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
     585   [ -  +  #  #  :        694 :         part->internal.bdev.dif_is_head_of_md = base->bdev->dif_is_head_of_md;
          #  #  #  #  #  
          #  #  #  #  #  
             #  #  #  # ]
     586   [ #  #  #  #  :        694 :         part->internal.bdev.dif_check_flags = base->bdev->dif_check_flags;
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
     587                 :            : 
     588   [ -  +  #  #  :        694 :         part->internal.bdev.name = strdup(name);
          #  #  #  #  #  
                      # ]
     589   [ -  +  #  #  :        694 :         if (part->internal.bdev.name == NULL) {
          #  #  #  #  #  
                      # ]
     590   [ #  #  #  # ]:          0 :                 SPDK_ERRLOG("Failed to allocate name for new part of bdev %s\n", spdk_bdev_get_name(base->bdev));
     591                 :          0 :                 return -1;
     592                 :            :         }
     593                 :            : 
     594   [ -  +  #  #  :        694 :         part->internal.bdev.product_name = strdup(product_name);
          #  #  #  #  #  
                      # ]
     595   [ -  +  #  #  :        694 :         if (part->internal.bdev.product_name == NULL) {
          #  #  #  #  #  
                      # ]
     596   [ #  #  #  #  :          0 :                 free(part->internal.bdev.name);
             #  #  #  # ]
     597   [ #  #  #  # ]:          0 :                 SPDK_ERRLOG("Failed to allocate product name for new part of bdev %s\n",
     598                 :            :                             spdk_bdev_get_name(base->bdev));
     599                 :          0 :                 return -1;
     600                 :            :         }
     601                 :            : 
     602                 :            :         /* The caller may have already specified a UUID.  If not, we'll generate one
     603                 :            :          * based on the namespace UUID, the base bdev's UUID and the block range of the
     604                 :            :          * partition.
     605                 :            :          */
     606         [ +  + ]:        694 :         if (!spdk_uuid_is_null(&opts.uuid)) {
     607   [ #  #  #  #  :         99 :                 spdk_uuid_copy(&part->internal.bdev.uuid, &opts.uuid);
                   #  # ]
     608                 :          0 :         } else {
     609                 :            :                 struct {
     610                 :            :                         struct spdk_uuid        uuid;
     611                 :            :                         uint64_t                offset_blocks;
     612                 :            :                         uint64_t                num_blocks;
     613                 :        456 :                 } base_name;
     614                 :            : 
     615                 :            :                 /* We need to create a unique base name for this partition.  We can't just use
     616                 :            :                  * the base bdev's UUID, since it may be used for multiple partitions.  So
     617                 :            :                  * construct a binary name consisting of the uuid + the block range for this
     618                 :            :                  * partition.
     619                 :            :                  */
     620   [ #  #  #  #  :        595 :                 spdk_uuid_copy(&base_name.uuid, &base->bdev->uuid);
                   #  # ]
     621         [ #  # ]:        595 :                 base_name.offset_blocks = offset_blocks;
     622         [ #  # ]:        595 :                 base_name.num_blocks = num_blocks;
     623                 :            : 
     624                 :        595 :                 spdk_uuid_parse(&ns_uuid, BDEV_PART_NAMESPACE_UUID);
     625   [ #  #  #  #  :        595 :                 rc = spdk_uuid_generate_sha1(&part->internal.bdev.uuid, &ns_uuid,
                   #  # ]
     626                 :            :                                              (const char *)&base_name, sizeof(base_name));
     627         [ -  + ]:        595 :                 if (rc) {
     628                 :          0 :                         SPDK_ERRLOG("Could not generate new UUID\n");
     629   [ #  #  #  #  :          0 :                         free(part->internal.bdev.name);
             #  #  #  # ]
     630   [ #  #  #  #  :          0 :                         free(part->internal.bdev.product_name);
             #  #  #  # ]
     631                 :          0 :                         return -1;
     632                 :            :                 }
     633                 :            :         }
     634                 :            : 
     635         [ #  # ]:        694 :         base->ref++;
     636   [ #  #  #  #  :        694 :         part->internal.base = base;
                   #  # ]
     637                 :            : 
     638   [ +  +  +  +  :        694 :         if (!base->claimed) {
             #  #  #  # ]
     639                 :            :                 int rc;
     640                 :            : 
     641   [ #  #  #  #  :        261 :                 rc = spdk_bdev_module_claim_bdev(base->bdev, base->desc, base->module);
          #  #  #  #  #  
                #  #  # ]
     642         [ -  + ]:        261 :                 if (rc) {
     643   [ #  #  #  # ]:          0 :                         SPDK_ERRLOG("could not claim bdev %s\n", spdk_bdev_get_name(base->bdev));
     644   [ #  #  #  #  :          0 :                         free(part->internal.bdev.name);
             #  #  #  # ]
     645   [ #  #  #  #  :          0 :                         free(part->internal.bdev.product_name);
             #  #  #  # ]
     646         [ #  # ]:          0 :                         base->ref--;
     647                 :          0 :                         return -1;
     648                 :            :                 }
     649   [ #  #  #  # ]:        261 :                 base->claimed = true;
     650                 :        261 :                 first_claimed = true;
     651                 :          0 :         }
     652                 :            : 
     653                 :        694 :         spdk_io_device_register(part, bdev_part_channel_create_cb,
     654                 :            :                                 bdev_part_channel_destroy_cb,
     655   [ #  #  #  # ]:          0 :                                 base->channel_size,
     656                 :          0 :                                 name);
     657                 :            : 
     658   [ #  #  #  # ]:        694 :         rc = spdk_bdev_register(&part->internal.bdev);
     659         [ +  + ]:        694 :         if (rc == 0) {
     660   [ #  #  #  #  :        691 :                 TAILQ_INSERT_TAIL(base->tailq, part, tailq);
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
                #  #  # ]
     661                 :          0 :         } else {
     662                 :          3 :                 spdk_io_device_unregister(part, NULL);
     663   [ -  +  #  # ]:          3 :                 if (--base->ref == 0) {
     664   [ #  #  #  # ]:          0 :                         spdk_bdev_module_release_bdev(base->bdev);
     665                 :          0 :                 }
     666   [ #  #  #  #  :          3 :                 free(part->internal.bdev.name);
             #  #  #  # ]
     667   [ #  #  #  #  :          3 :                 free(part->internal.bdev.product_name);
             #  #  #  # ]
     668   [ -  +  #  # ]:          3 :                 if (first_claimed == true) {
     669   [ #  #  #  # ]:          0 :                         base->claimed = false;
     670                 :          0 :                 }
     671                 :            :         }
     672                 :            : 
     673                 :        694 :         return rc;
     674                 :          0 : }
     675                 :            : 
     676                 :            : int
     677                 :        595 : spdk_bdev_part_construct(struct spdk_bdev_part *part, struct spdk_bdev_part_base *base,
     678                 :            :                          char *name, uint64_t offset_blocks, uint64_t num_blocks,
     679                 :            :                          char *product_name)
     680                 :            : {
     681                 :        595 :         return spdk_bdev_part_construct_ext(part, base, name, offset_blocks, num_blocks,
     682                 :          0 :                                             product_name, NULL);
     683                 :            : }

Generated by: LCOV version 1.15