LCOV - code coverage report
Current view: top level - spdk/lib/ftl - ftl_io.c (source / functions) Hit Total Coverage
Test: Combined Lines: 92 137 67.2 %
Date: 2024-11-20 16:32:18 Functions: 13 15 86.7 %
Legend: Lines: hit not hit | Branches: + taken - not taken # not executed Branches: 32 678 4.7 %

           Branch data     Line data    Source code
       1                 :            : /*   SPDX-License-Identifier: BSD-3-Clause
       2                 :            :  *   Copyright (C) 2018 Intel Corporation.
       3                 :            :  *   All rights reserved.
       4                 :            :  */
       5                 :            : 
       6                 :            : #include "spdk/stdinc.h"
       7                 :            : #include "spdk/ftl.h"
       8                 :            : #include "spdk/likely.h"
       9                 :            : #include "spdk/util.h"
      10                 :            : 
      11                 :            : #include "ftl_io.h"
      12                 :            : #include "ftl_core.h"
      13                 :            : #include "ftl_band.h"
      14                 :            : #include "ftl_debug.h"
      15                 :            : 
      16                 :            : void
      17                 :    1441453 : ftl_io_inc_req(struct ftl_io *io)
      18                 :            : {
      19   [ #  #  #  #  :    1441453 :         io->dev->num_inflight++;
                   #  # ]
      20         [ #  # ]:    1441453 :         io->req_cnt++;
      21                 :    1441453 : }
      22                 :            : 
      23                 :            : void
      24                 :    1441453 : ftl_io_dec_req(struct ftl_io *io)
      25                 :            : {
      26   [ -  +  #  #  :    1441453 :         assert(io->dev->num_inflight > 0);
          #  #  #  #  #  
                #  #  # ]
      27   [ -  +  #  #  :    1441453 :         assert(io->req_cnt > 0);
             #  #  #  # ]
      28                 :            : 
      29   [ #  #  #  #  :    1441453 :         io->dev->num_inflight--;
                   #  # ]
      30         [ #  # ]:    1441453 :         io->req_cnt--;
      31                 :    1441453 : }
      32                 :            : 
      33                 :            : struct iovec *
      34                 :    6849211 : ftl_io_iovec(struct ftl_io *io)
      35                 :            : {
      36   [ #  #  #  #  :    6849211 :         return &io->iov[0];
                   #  # ]
      37                 :            : }
      38                 :            : 
      39                 :            : uint64_t
      40                 :    7345418 : ftl_io_get_lba(const struct ftl_io *io, size_t offset)
      41                 :            : {
      42   [ -  +  #  #  :    7345418 :         assert(offset < io->num_blocks);
             #  #  #  # ]
      43   [ #  #  #  # ]:    7345418 :         return io->lba + offset;
      44                 :            : }
      45                 :            : 
      46                 :            : uint64_t
      47                 :    1443603 : ftl_io_current_lba(const struct ftl_io *io)
      48                 :            : {
      49   [ #  #  #  # ]:    1443603 :         return ftl_io_get_lba(io, io->pos);
      50                 :            : }
      51                 :            : 
      52                 :            : void
      53                 :    1443603 : ftl_io_advance(struct ftl_io *io, size_t num_blocks)
      54                 :            : {
      55                 :    1443603 :         struct iovec *iov = ftl_io_iovec(io);
      56                 :    1443603 :         size_t iov_blocks, block_left = num_blocks;
      57                 :            : 
      58   [ #  #  #  # ]:    1443603 :         io->pos += num_blocks;
      59                 :            : 
      60   [ -  +  #  #  :    1443603 :         if (io->iov_cnt == 0) {
                   #  # ]
      61                 :          0 :                 return;
      62                 :            :         }
      63                 :            : 
      64         [ +  + ]:    2887101 :         while (block_left > 0) {
      65   [ -  +  #  #  :    1443603 :                 assert(io->iov_pos < io->iov_cnt);
          #  #  #  #  #  
                #  #  # ]
      66   [ #  #  #  #  :    1443603 :                 iov_blocks = iov[io->iov_pos].iov_len / FTL_BLOCK_SIZE;
          #  #  #  #  #  
                #  #  # ]
      67                 :            : 
      68   [ +  +  #  #  :    1443603 :                 if (io->iov_off + block_left < iov_blocks) {
                   #  # ]
      69   [ #  #  #  # ]:        105 :                         io->iov_off += block_left;
      70                 :        105 :                         break;
      71                 :            :                 }
      72                 :            : 
      73   [ -  +  #  #  :    1443498 :                 assert(iov_blocks > io->iov_off);
             #  #  #  # ]
      74   [ #  #  #  # ]:    1443498 :                 block_left -= (iov_blocks - io->iov_off);
      75   [ #  #  #  # ]:    1443498 :                 io->iov_off = 0;
      76         [ #  # ]:    1443498 :                 io->iov_pos++;
      77                 :            :         }
      78                 :          0 : }
      79                 :            : 
      80                 :            : size_t
      81                 :    2591444 : ftl_iovec_num_blocks(struct iovec *iov, size_t iov_cnt)
      82                 :            : {
      83                 :    2591444 :         size_t num_blocks = 0, i = 0;
      84                 :            : 
      85         [ +  + ]:    5182888 :         for (; i < iov_cnt; ++i) {
      86   [ -  +  #  #  :    2591444 :                 if (iov[i].iov_len & (FTL_BLOCK_SIZE - 1)) {
             #  #  #  # ]
      87                 :          0 :                         return 0;
      88                 :            :                 }
      89                 :            : 
      90   [ #  #  #  #  :    2591444 :                 num_blocks += iov[i].iov_len / FTL_BLOCK_SIZE;
             #  #  #  # ]
      91                 :          0 :         }
      92                 :            : 
      93                 :    2591444 :         return num_blocks;
      94                 :          0 : }
      95                 :            : 
      96                 :            : void *
      97                 :    1443603 : ftl_io_iovec_addr(struct ftl_io *io)
      98                 :            : {
      99   [ -  +  #  #  :    1443603 :         assert(io->iov_pos < io->iov_cnt);
          #  #  #  #  #  
                #  #  # ]
     100   [ -  +  #  #  :    1443603 :         assert(io->iov_off * FTL_BLOCK_SIZE < ftl_io_iovec(io)[io->iov_pos].iov_len);
          #  #  #  #  #  
          #  #  #  #  #  
             #  #  #  # ]
     101                 :            : 
     102   [ #  #  #  #  :    2887206 :         return (char *)ftl_io_iovec(io)[io->iov_pos].iov_base +
          #  #  #  #  #  
                #  #  # ]
     103   [ #  #  #  # ]:    1443603 :                io->iov_off * FTL_BLOCK_SIZE;
     104                 :            : }
     105                 :            : 
     106                 :            : size_t
     107                 :    2518402 : ftl_io_iovec_len_left(struct ftl_io *io)
     108                 :            : {
     109   [ +  -  #  #  :    2518402 :         if (io->iov_pos < io->iov_cnt) {
          #  #  #  #  #  
                      # ]
     110                 :    2518402 :                 struct iovec *iov = ftl_io_iovec(io);
     111   [ #  #  #  #  :    2518402 :                 return iov[io->iov_pos].iov_len / FTL_BLOCK_SIZE - io->iov_off;
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
     112                 :            :         } else {
     113                 :          0 :                 return 0;
     114                 :            :         }
     115                 :          0 : }
     116                 :            : 
     117                 :            : static void
     118                 :    2591457 : ftl_io_cb(struct ftl_io *io, void *arg, int status)
     119                 :            : {
     120   [ #  #  #  # ]:    2591457 :         struct ftl_io_channel *ioch = ftl_io_channel_get_ctx(io->ioch);
     121                 :            :         size_t result  __attribute__((unused));
     122                 :            : 
     123         [ +  + ]:    2591457 :         if (spdk_unlikely(status)) {
     124   [ #  #  #  # ]:          3 :                 io->status = status;
     125                 :            : 
     126         [ -  + ]:          3 :                 if (-EAGAIN == status) {
     127                 :            :                         /* IO has to be rescheduled again */
     128   [ #  #  #  #  :          0 :                         switch (io->type) {
             #  #  #  # ]
     129                 :          0 :                         case FTL_IO_READ:
     130                 :          0 :                                 ftl_io_clear(io);
     131   [ #  #  #  #  :          0 :                                 TAILQ_INSERT_HEAD(&io->dev->rd_sq, io, queue_entry);
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
     132                 :          0 :                                 break;
     133                 :          0 :                         case FTL_IO_WRITE:
     134                 :          0 :                                 ftl_io_clear(io);
     135   [ #  #  #  #  :          0 :                                 TAILQ_INSERT_HEAD(&io->dev->wr_sq, io, queue_entry);
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
     136                 :          0 :                                 break;
     137                 :          0 :                         case FTL_IO_TRIM:
     138                 :          0 :                                 ftl_io_clear(io);
     139   [ #  #  #  #  :          0 :                                 TAILQ_INSERT_HEAD(&io->dev->trim_sq, io, queue_entry);
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
     140                 :          0 :                                 break;
     141                 :          0 :                         default:
     142                 :            :                                 /* Unknown IO type, complete to the user */
     143         [ #  # ]:          0 :                                 assert(0);
     144                 :            :                                 break;
     145                 :            :                         }
     146                 :            : 
     147                 :          0 :                 }
     148                 :            : 
     149   [ -  +  #  #  :          3 :                 if (!io->status) {
                   #  # ]
     150                 :            :                         /* IO rescheduled, return from the function */
     151                 :          0 :                         return;
     152                 :            :                 }
     153                 :          0 :         }
     154                 :            : 
     155   [ +  +  #  #  :    2591457 :         if (io->map) {
                   #  # ]
     156   [ #  #  #  #  :    2591448 :                 ftl_mempool_put(ioch->map_pool, io->map);
             #  #  #  # ]
     157                 :          0 :         }
     158                 :            : 
     159   [ #  #  #  # ]:    2591457 :         result = spdk_ring_enqueue(ioch->cq, (void **)&io, 1, NULL);
     160   [ -  +  #  # ]:    2591457 :         assert(result != 0);
     161                 :          0 : }
     162                 :            : 
     163                 :            : int
     164                 :    2591448 : ftl_io_init(struct spdk_io_channel *_ioch, struct ftl_io *io, uint64_t lba, size_t num_blocks,
     165                 :            :             struct iovec *iov, size_t iov_cnt, spdk_ftl_fn cb_fn, void *cb_ctx, int type)
     166                 :            : {
     167                 :    2591448 :         struct ftl_io_channel *ioch = ftl_io_channel_get_ctx(_ioch);
     168   [ #  #  #  # ]:    2591448 :         struct spdk_ftl_dev *dev = ioch->dev;
     169                 :            : 
     170         [ -  + ]:    2591448 :         memset(io, 0, sizeof(struct ftl_io));
     171   [ #  #  #  # ]:    2591448 :         io->ioch = _ioch;
     172                 :            : 
     173   [ #  #  #  # ]:    2591448 :         io->flags |= FTL_IO_INITIALIZED;
     174   [ #  #  #  # ]:    2591448 :         io->type = type;
     175   [ #  #  #  # ]:    2591448 :         io->dev = dev;
     176   [ #  #  #  # ]:    2591448 :         io->addr = FTL_ADDR_INVALID;
     177   [ #  #  #  # ]:    2591448 :         io->cb_ctx = cb_ctx;
     178   [ #  #  #  # ]:    2591448 :         io->lba = lba;
     179   [ #  #  #  # ]:    2591448 :         io->user_fn = cb_fn;
     180   [ #  #  #  # ]:    2591448 :         io->iov = iov;
     181   [ #  #  #  # ]:    2591448 :         io->iov_cnt = iov_cnt;
     182   [ #  #  #  # ]:    2591448 :         io->num_blocks = num_blocks;
     183   [ #  #  #  # ]:    2591448 :         io->trace = ftl_trace_alloc_id(dev);
     184                 :            : 
     185   [ #  #  #  # ]:    2591448 :         ftl_trace_lba_io_init(io->dev, io);
     186                 :    2591448 :         return 0;
     187                 :            : }
     188                 :            : 
     189                 :            : static void
     190                 :    1443498 : ftl_io_complete_verify(struct ftl_io *io)
     191                 :            : {
     192   [ #  #  #  # ]:    1443498 :         struct spdk_ftl_dev *dev = io->dev;
     193                 :            :         uint64_t i;
     194   [ #  #  #  # ]:    1443498 :         uint64_t lba = io->lba;
     195                 :            : 
     196   [ -  +  #  #  :    1443498 :         assert(io->num_blocks <= dev->xfer_size);
          #  #  #  #  #  
                #  #  # ]
     197                 :            : 
     198   [ -  +  #  #  :    1443498 :         if (FTL_IO_WRITE == io->type) {
                   #  # ]
     199                 :          0 :                 return;
     200                 :            :         }
     201                 :            : 
     202   [ -  +  #  #  :    1443498 :         if (spdk_unlikely(io->status)) {
                   #  # ]
     203                 :          0 :                 return;
     204                 :            :         }
     205                 :            : 
     206   [ +  +  #  #  :    3964098 :         for (i = 0; i < io->num_blocks; i++, lba++) {
                   #  # ]
     207                 :    2520600 :                 ftl_addr current_addr = ftl_l2p_get(dev, lba);
     208                 :            : 
     209                 :            :                 /* If user read request gets stuck for whatever reason, then it's possible the LBA
     210                 :            :                  * has been relocated by GC or compaction and it may no longer be safe to return data
     211                 :            :                  * from that address */
     212   [ -  +  #  #  :    2520600 :                 if (spdk_unlikely(current_addr != io->map[i])) {
          #  #  #  #  #  
                      # ]
     213   [ #  #  #  # ]:          0 :                         io->status = -EAGAIN;
     214                 :          0 :                         break;
     215                 :            :                 }
     216                 :          0 :         }
     217                 :          0 : }
     218                 :            : 
     219                 :            : void
     220                 :    2591457 : ftl_io_complete(struct ftl_io *io)
     221                 :            : {
     222   [ #  #  #  # ]:    2591457 :         io->flags &= ~FTL_IO_INITIALIZED;
     223   [ #  #  #  # ]:    2591457 :         io->done = true;
     224                 :            : 
     225   [ +  +  #  #  :    2591457 :         if (io->flags & FTL_IO_PINNED) {
                   #  # ]
     226                 :    1443498 :                 ftl_io_complete_verify(io);
     227   [ #  #  #  #  :    1443498 :                 ftl_l2p_unpin(io->dev, io->lba, io->num_blocks);
          #  #  #  #  #  
                #  #  # ]
     228                 :          0 :         }
     229                 :            : 
     230   [ #  #  #  #  :    2591457 :         ftl_io_cb(io, io->cb_ctx, io->status);
             #  #  #  # ]
     231                 :    2591457 : }
     232                 :            : 
     233                 :            : void
     234                 :          0 : ftl_io_fail(struct ftl_io *io, int status)
     235                 :            : {
     236   [ #  #  #  # ]:          0 :         io->status = status;
     237   [ #  #  #  #  :          0 :         ftl_io_advance(io, io->num_blocks - io->pos);
             #  #  #  # ]
     238                 :          0 : }
     239                 :            : 
     240                 :            : void
     241                 :          0 : ftl_io_clear(struct ftl_io *io)
     242                 :            : {
     243   [ #  #  #  #  :          0 :         io->req_cnt = io->pos = io->iov_pos = io->iov_off = 0;
          #  #  #  #  #  
          #  #  #  #  #  
                   #  # ]
     244   [ #  #  #  # ]:          0 :         io->done = false;
     245   [ #  #  #  # ]:          0 :         io->status = 0;
     246   [ #  #  #  # ]:          0 :         io->flags = 0;
     247   [ #  #  #  # ]:          0 :         io->band = NULL;
     248                 :          0 : }

Generated by: LCOV version 1.14