LCOV - code coverage report
Current view: top level - spdk/test/unit/lib/event/reactor.c - reactor_ut.c (source / functions) Hit Total Coverage
Test: Combined Lines: 644 647 99.5 %
Date: 2024-07-12 10:05:37 Functions: 21 27 77.8 %
Legend: Lines: hit not hit | Branches: + taken - not taken # not executed Branches: 92 156 59.0 %

           Branch data     Line data    Source code
       1                 :            : /*   SPDX-License-Identifier: BSD-3-Clause
       2                 :            :  *   Copyright (C) 2020 Intel Corporation.
       3                 :            :  *   All rights reserved.
       4                 :            :  */
       5                 :            : 
       6                 :            : #include "spdk/stdinc.h"
       7                 :            : 
       8                 :            : #include "spdk_internal/cunit.h"
       9                 :            : #include "common/lib/test_env.c"
      10                 :            : #include "event/reactor.c"
      11                 :            : #include "spdk/thread.h"
      12                 :            : #include "spdk_internal/thread.h"
      13                 :            : #include "event/scheduler_static.c"
      14                 :            : #include "../module/scheduler/dynamic/scheduler_dynamic.c"
      15                 :            : 
      16                 :            : static void
      17                 :          6 : test_create_reactor(void)
      18                 :            : {
      19                 :          5 :         struct spdk_reactor *reactor;
      20                 :            :         int rc;
      21                 :            : 
      22                 :            :         /* See SPDK issue #3004.  Seems like a bug with gcc + asan on Fedora 38, so we can't
      23                 :            :          * allocate g_reactors on the stack and need to explicitly used aligned allocation here.
      24                 :            :          */
      25         [ -  + ]:          6 :         rc = posix_memalign((void **)&reactor, SPDK_CACHE_LINE_SIZE, sizeof(*reactor));
      26         [ -  + ]:          6 :         SPDK_CU_ASSERT_FATAL(rc == 0);
      27                 :            : 
      28                 :          6 :         g_reactors = reactor;
      29                 :          6 :         g_reactor_count = 1;
      30                 :            : 
      31                 :          6 :         reactor_construct(reactor, 0);
      32                 :            : 
      33                 :          6 :         CU_ASSERT(spdk_reactor_get(0) == reactor);
      34                 :            : 
      35                 :          6 :         spdk_ring_free(reactor->events);
      36                 :          6 :         reactor_interrupt_fini(reactor);
      37                 :          6 :         free(reactor);
      38                 :          6 :         g_reactors = NULL;
      39                 :          6 : }
      40                 :            : 
      41                 :            : static void
      42                 :          6 : test_init_reactors(void)
      43                 :            : {
      44                 :            :         uint32_t core;
      45                 :            : 
      46                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
      47                 :            : 
      48                 :          6 :         allocate_cores(3);
      49                 :            : 
      50                 :          6 :         CU_ASSERT(spdk_reactors_init(SPDK_DEFAULT_MSG_MEMPOOL_SIZE) == 0);
      51                 :            : 
      52                 :          6 :         CU_ASSERT(g_reactor_state == SPDK_REACTOR_STATE_INITIALIZED);
      53         [ +  + ]:         24 :         for (core = 0; core < 3; core++) {
      54                 :         18 :                 CU_ASSERT(spdk_reactor_get(core) != NULL);
      55                 :            :         }
      56                 :            : 
      57                 :          6 :         spdk_reactors_fini();
      58                 :            : 
      59                 :          6 :         free_cores();
      60                 :            : 
      61   [ -  -  -  + ]:          6 :         MOCK_CLEAR(spdk_env_get_current_core);
      62                 :          6 : }
      63                 :            : 
      64                 :            : static void
      65                 :          6 : ut_event_fn(void *arg1, void *arg2)
      66                 :            : {
      67                 :          6 :         uint8_t *test1 = arg1;
      68                 :          6 :         uint8_t *test2 = arg2;
      69                 :            : 
      70                 :          6 :         *test1 = 1;
      71                 :          6 :         *test2 = 0xFF;
      72                 :          6 : }
      73                 :            : 
      74                 :            : static void
      75                 :          6 : test_event_call(void)
      76                 :            : {
      77                 :          6 :         uint8_t test1 = 0, test2 = 0;
      78                 :            :         struct spdk_event *evt;
      79                 :            :         struct spdk_reactor *reactor;
      80                 :            : 
      81                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
      82                 :            : 
      83                 :          6 :         allocate_cores(1);
      84                 :            : 
      85                 :          6 :         CU_ASSERT(spdk_reactors_init(SPDK_DEFAULT_MSG_MEMPOOL_SIZE) == 0);
      86                 :            : 
      87                 :          6 :         evt = spdk_event_allocate(0, ut_event_fn, &test1, &test2);
      88                 :          6 :         CU_ASSERT(evt != NULL);
      89                 :            : 
      90                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
      91                 :            : 
      92                 :          6 :         spdk_event_call(evt);
      93                 :            : 
      94                 :          6 :         reactor = spdk_reactor_get(0);
      95                 :          6 :         CU_ASSERT(reactor != NULL);
      96                 :            : 
      97                 :          6 :         CU_ASSERT(event_queue_run_batch(reactor) == 1);
      98                 :          6 :         CU_ASSERT(test1 == 1);
      99                 :          6 :         CU_ASSERT(test2 == 0xFF);
     100                 :            : 
     101   [ -  -  -  + ]:          6 :         MOCK_CLEAR(spdk_env_get_current_core);
     102                 :            : 
     103                 :          6 :         spdk_reactors_fini();
     104                 :            : 
     105                 :          6 :         free_cores();
     106                 :            : 
     107   [ -  -  -  + ]:          6 :         MOCK_CLEAR(spdk_env_get_current_core);
     108                 :          6 : }
     109                 :            : 
     110                 :            : static void
     111                 :          6 : test_schedule_thread(void)
     112                 :            : {
     113                 :          6 :         struct spdk_cpuset cpuset = {};
     114                 :            :         struct spdk_thread *thread;
     115                 :            :         struct spdk_reactor *reactor;
     116                 :            :         struct spdk_lw_thread *lw_thread;
     117                 :            : 
     118                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
     119                 :            : 
     120                 :          6 :         allocate_cores(5);
     121                 :            : 
     122                 :          6 :         CU_ASSERT(spdk_reactors_init(SPDK_DEFAULT_MSG_MEMPOOL_SIZE) == 0);
     123                 :            : 
     124                 :          6 :         spdk_cpuset_set_cpu(&cpuset, 3, true);
     125                 :          6 :         g_next_core = 4;
     126                 :            : 
     127                 :          6 :         MOCK_SET(spdk_env_get_current_core, 3);
     128                 :            : 
     129                 :            :         /* _reactor_schedule_thread() will be called in spdk_thread_create()
     130                 :            :          * at its end because it is passed to SPDK thread library by
     131                 :            :          * spdk_thread_lib_init().
     132                 :            :          */
     133                 :          6 :         thread = spdk_thread_create(NULL, &cpuset);
     134                 :          6 :         CU_ASSERT(thread != NULL);
     135                 :            : 
     136                 :          6 :         reactor = spdk_reactor_get(3);
     137                 :          6 :         CU_ASSERT(reactor != NULL);
     138                 :            : 
     139                 :          6 :         CU_ASSERT(event_queue_run_batch(reactor) == 1);
     140                 :            : 
     141   [ -  -  -  + ]:          6 :         MOCK_CLEAR(spdk_env_get_current_core);
     142                 :            : 
     143                 :          6 :         lw_thread = TAILQ_FIRST(&reactor->threads);
     144                 :          6 :         CU_ASSERT(lw_thread != NULL);
     145                 :          6 :         CU_ASSERT(spdk_thread_get_from_ctx(lw_thread) == thread);
     146                 :            : 
     147         [ -  + ]:          6 :         TAILQ_REMOVE(&reactor->threads, lw_thread, link);
     148                 :          6 :         reactor->thread_count--;
     149                 :          6 :         spdk_set_thread(thread);
     150                 :          6 :         spdk_thread_exit(thread);
     151         [ +  + ]:         12 :         while (!spdk_thread_is_exited(thread)) {
     152                 :          6 :                 spdk_thread_poll(thread, 0, 0);
     153                 :            :         }
     154                 :          6 :         spdk_thread_destroy(thread);
     155                 :          6 :         spdk_set_thread(NULL);
     156                 :            : 
     157                 :          6 :         spdk_reactors_fini();
     158                 :            : 
     159                 :          6 :         free_cores();
     160                 :          6 : }
     161                 :            : 
     162                 :            : static void
     163                 :          6 : test_reschedule_thread(void)
     164                 :            : {
     165                 :          6 :         struct spdk_cpuset cpuset = {};
     166                 :            :         struct spdk_thread *thread;
     167                 :            :         struct spdk_reactor *reactor;
     168                 :            :         struct spdk_lw_thread *lw_thread;
     169                 :            : 
     170                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
     171                 :            : 
     172                 :          6 :         allocate_cores(3);
     173                 :            : 
     174                 :          6 :         CU_ASSERT(spdk_reactors_init(SPDK_DEFAULT_MSG_MEMPOOL_SIZE) == 0);
     175                 :            : 
     176                 :          6 :         spdk_cpuset_set_cpu(&g_reactor_core_mask, 0, true);
     177                 :          6 :         spdk_cpuset_set_cpu(&g_reactor_core_mask, 1, true);
     178                 :          6 :         spdk_cpuset_set_cpu(&g_reactor_core_mask, 2, true);
     179                 :          6 :         g_next_core = 0;
     180                 :            : 
     181                 :          6 :         MOCK_SET(spdk_env_get_current_core, 1);
     182                 :            :         /* Create and schedule the thread to core 1. */
     183                 :          6 :         spdk_cpuset_set_cpu(&cpuset, 1, true);
     184                 :            : 
     185                 :          6 :         thread = spdk_thread_create(NULL, &cpuset);
     186                 :          6 :         CU_ASSERT(thread != NULL);
     187                 :          6 :         lw_thread = spdk_thread_get_ctx(thread);
     188                 :            : 
     189                 :          6 :         reactor = spdk_reactor_get(1);
     190                 :          6 :         CU_ASSERT(reactor != NULL);
     191                 :            : 
     192                 :          6 :         CU_ASSERT(event_queue_run_batch(reactor) == 1);
     193                 :          6 :         CU_ASSERT(TAILQ_FIRST(&reactor->threads) == lw_thread);
     194                 :            : 
     195                 :          6 :         spdk_set_thread(thread);
     196                 :            : 
     197                 :            :         /* Call spdk_thread_set_cpumask() twice with different cpumask values.
     198                 :            :          * The cpumask of the 2nd call will be used in reschedule operation.
     199                 :            :          */
     200                 :            : 
     201                 :          6 :         spdk_cpuset_zero(&cpuset);
     202                 :          6 :         spdk_cpuset_set_cpu(&cpuset, 0, true);
     203                 :          6 :         CU_ASSERT(spdk_thread_set_cpumask(&cpuset) == 0);
     204                 :            : 
     205                 :          6 :         spdk_cpuset_zero(&cpuset);
     206                 :          6 :         spdk_cpuset_set_cpu(&cpuset, 2, true);
     207                 :          6 :         CU_ASSERT(spdk_thread_set_cpumask(&cpuset) == 0);
     208                 :            : 
     209         [ -  + ]:          6 :         CU_ASSERT(lw_thread->resched == true);
     210                 :            : 
     211                 :          6 :         reactor_run(reactor);
     212                 :            : 
     213         [ -  + ]:          6 :         CU_ASSERT(lw_thread->resched == false);
     214                 :          6 :         CU_ASSERT(TAILQ_EMPTY(&reactor->threads));
     215                 :            : 
     216                 :          6 :         reactor = spdk_reactor_get(0);
     217                 :          6 :         CU_ASSERT(reactor != NULL);
     218                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
     219                 :            : 
     220                 :          6 :         CU_ASSERT(event_queue_run_batch(reactor) == 0);
     221                 :            : 
     222                 :          6 :         reactor = spdk_reactor_get(2);
     223                 :          6 :         CU_ASSERT(reactor != NULL);
     224                 :          6 :         MOCK_SET(spdk_env_get_current_core, 2);
     225                 :            : 
     226                 :          6 :         CU_ASSERT(event_queue_run_batch(reactor) == 1);
     227                 :            : 
     228                 :          6 :         CU_ASSERT(TAILQ_FIRST(&reactor->threads) == lw_thread);
     229                 :            : 
     230   [ -  -  -  + ]:          6 :         MOCK_CLEAR(spdk_env_get_current_core);
     231                 :            : 
     232         [ -  + ]:          6 :         TAILQ_REMOVE(&reactor->threads, lw_thread, link);
     233                 :          6 :         reactor->thread_count--;
     234                 :          6 :         spdk_set_thread(thread);
     235                 :          6 :         spdk_thread_exit(thread);
     236         [ +  + ]:         12 :         while (!spdk_thread_is_exited(thread)) {
     237                 :          6 :                 spdk_thread_poll(thread, 0, 0);
     238                 :            :         }
     239                 :          6 :         spdk_thread_destroy(thread);
     240                 :          6 :         spdk_set_thread(NULL);
     241                 :            : 
     242                 :          6 :         spdk_reactors_fini();
     243                 :            : 
     244                 :          6 :         free_cores();
     245                 :          6 : }
     246                 :            : 
     247                 :            : static void
     248                 :          6 : for_each_reactor_done(void *arg1, void *arg2)
     249                 :            : {
     250                 :          6 :         uint32_t *count = arg1;
     251                 :          6 :         bool *done = arg2;
     252                 :            : 
     253                 :          6 :         (*count)++;
     254                 :          6 :         *done = true;
     255                 :          6 : }
     256                 :            : 
     257                 :            : static void
     258                 :         30 : for_each_reactor_cb(void *arg1, void *arg2)
     259                 :            : {
     260                 :         30 :         uint32_t *count = arg1;
     261                 :            : 
     262                 :         30 :         (*count)++;
     263                 :         30 : }
     264                 :            : 
     265                 :            : static void
     266                 :          6 : test_for_each_reactor(void)
     267                 :            : {
     268                 :          6 :         uint32_t count = 0, i;
     269                 :          6 :         bool done = false;
     270                 :            :         struct spdk_reactor *reactor;
     271                 :            : 
     272                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
     273                 :            : 
     274                 :          6 :         allocate_cores(5);
     275                 :            : 
     276                 :          6 :         CU_ASSERT(spdk_reactors_init(SPDK_DEFAULT_MSG_MEMPOOL_SIZE) == 0);
     277                 :            : 
     278                 :          6 :         spdk_for_each_reactor(for_each_reactor_cb, &count, &done, for_each_reactor_done);
     279                 :            : 
     280   [ -  -  -  + ]:          6 :         MOCK_CLEAR(spdk_env_get_current_core);
     281                 :            : 
     282                 :            :         /* We have not processed any event yet, so count and done should be 0 and false,
     283                 :            :          *  respectively.
     284                 :            :          */
     285                 :          6 :         CU_ASSERT(count == 0);
     286                 :            : 
     287                 :            :         /* Poll each reactor to verify the event is passed to each */
     288         [ +  + ]:         36 :         for (i = 0; i < 5; i++) {
     289                 :         30 :                 reactor = spdk_reactor_get(i);
     290                 :         30 :                 CU_ASSERT(reactor != NULL);
     291                 :         30 :                 MOCK_SET(spdk_env_get_current_core, i);
     292                 :            : 
     293                 :         30 :                 event_queue_run_batch(reactor);
     294                 :         30 :                 CU_ASSERT(count == (i + 1));
     295         [ -  + ]:         30 :                 CU_ASSERT(done == false);
     296   [ -  -  -  + ]:         30 :                 MOCK_CLEAR(spdk_env_get_current_core);
     297                 :            :         }
     298                 :            : 
     299                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
     300                 :            :         /* After each reactor is called, the completion calls it one more time. */
     301                 :          6 :         reactor = spdk_reactor_get(0);
     302                 :          6 :         CU_ASSERT(reactor != NULL);
     303                 :            : 
     304                 :          6 :         event_queue_run_batch(reactor);
     305                 :          6 :         CU_ASSERT(count == 6);
     306         [ -  + ]:          6 :         CU_ASSERT(done == true);
     307   [ -  -  -  + ]:          6 :         MOCK_CLEAR(spdk_env_get_current_core);
     308                 :            : 
     309                 :          6 :         spdk_reactors_fini();
     310                 :            : 
     311                 :          6 :         free_cores();
     312                 :          6 : }
     313                 :            : 
     314                 :            : static int
     315                 :         72 : poller_run_idle(void *ctx)
     316                 :            : {
     317                 :         72 :         uint64_t delay_us = (uint64_t)ctx;
     318                 :            : 
     319                 :         72 :         spdk_delay_us(delay_us);
     320                 :            : 
     321                 :         72 :         return 0;
     322                 :            : }
     323                 :            : 
     324                 :            : static int
     325                 :         48 : poller_run_busy(void *ctx)
     326                 :            : {
     327                 :         48 :         uint64_t delay_us = (uint64_t)ctx;
     328                 :            : 
     329                 :         48 :         spdk_delay_us(delay_us);
     330                 :            : 
     331                 :         48 :         return 1;
     332                 :            : }
     333                 :            : 
     334                 :            : static void
     335                 :          6 : test_reactor_stats(void)
     336                 :            : {
     337                 :          6 :         struct spdk_cpuset cpuset = {};
     338                 :            :         struct spdk_thread *thread1, *thread2;
     339                 :            :         struct spdk_reactor *reactor;
     340                 :          5 :         struct spdk_poller *busy1, *idle1, *busy2, *idle2;
     341                 :          5 :         struct spdk_thread_stats stats;
     342                 :            :         int rc __attribute__((unused));
     343                 :            : 
     344                 :            :         /* Test case is the following:
     345                 :            :          * Create a reactor on CPU core0.
     346                 :            :          * Create thread1 and thread2 simultaneously on reactor0 at TSC = 100.
     347                 :            :          * Reactor runs
     348                 :            :          * - thread1 for 100 with busy
     349                 :            :          * - thread2 for 200 with idle
     350                 :            :          * - thread1 for 300 with idle
     351                 :            :          * - thread2 for 400 with busy.
     352                 :            :          * Then,
     353                 :            :          * - both elapsed TSC of thread1 and thread2 should be 1100 (= 100 + 1000).
     354                 :            :          * - busy TSC of reactor should be 500 (= 100 + 400).
     355                 :            :          * - idle TSC of reactor should be 500 (= 200 + 300).
     356                 :            :          *
     357                 :            :          * After that reactor0 runs with no threads for 900 TSC.
     358                 :            :          * Create thread1 on reactor0 at TSC = 2000.
     359                 :            :          * Reactor runs
     360                 :            :          * - thread1 for 100 with busy
     361                 :            :          * Then,
     362                 :            :          * - elapsed TSC of thread1 should be 2100 (= 2000+ 100).
     363                 :            :          * - busy TSC of reactor should be 600 (= 500 + 100).
     364                 :            :          * - idle TSC of reactor should be 500 (= 500 + 900).
     365                 :            :          */
     366                 :            : 
     367                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
     368                 :            : 
     369                 :          6 :         allocate_cores(1);
     370                 :            : 
     371                 :          6 :         CU_ASSERT(spdk_reactors_init(SPDK_DEFAULT_MSG_MEMPOOL_SIZE) == 0);
     372                 :            : 
     373                 :          6 :         spdk_cpuset_set_cpu(&cpuset, 0, true);
     374                 :            : 
     375                 :          6 :         reactor = spdk_reactor_get(0);
     376         [ -  + ]:          6 :         SPDK_CU_ASSERT_FATAL(reactor != NULL);
     377                 :            : 
     378                 :            :         /* First reactor_run() sets the tsc_last. */
     379                 :          6 :         MOCK_SET(spdk_get_ticks, 100);
     380                 :          6 :         reactor->tsc_last = spdk_get_ticks();
     381                 :            : 
     382                 :          6 :         thread1 = spdk_thread_create(NULL, &cpuset);
     383         [ -  + ]:          6 :         SPDK_CU_ASSERT_FATAL(thread1 != NULL);
     384                 :            : 
     385                 :          6 :         thread2 = spdk_thread_create(NULL, &cpuset);
     386         [ -  + ]:          6 :         SPDK_CU_ASSERT_FATAL(thread2 != NULL);
     387                 :            : 
     388                 :          6 :         spdk_set_thread(thread1);
     389                 :          6 :         busy1 = spdk_poller_register(poller_run_busy, (void *)100, 0);
     390                 :          6 :         CU_ASSERT(busy1 != NULL);
     391                 :            : 
     392                 :          6 :         spdk_set_thread(thread2);
     393                 :          6 :         idle2 = spdk_poller_register(poller_run_idle, (void *)300, 0);
     394                 :          6 :         CU_ASSERT(idle2 != NULL);
     395                 :            : 
     396                 :          6 :         _reactor_run(reactor);
     397                 :            : 
     398                 :          6 :         spdk_set_thread(thread1);
     399                 :          6 :         CU_ASSERT(spdk_thread_get_last_tsc(thread1) == 200);
     400                 :          6 :         CU_ASSERT(spdk_thread_get_stats(&stats) == 0);
     401                 :          6 :         CU_ASSERT(stats.busy_tsc == 100);
     402                 :          6 :         CU_ASSERT(stats.idle_tsc == 0);
     403                 :          6 :         spdk_set_thread(thread2);
     404                 :          6 :         CU_ASSERT(spdk_thread_get_last_tsc(thread2) == 500);
     405                 :          6 :         CU_ASSERT(spdk_thread_get_stats(&stats) == 0);
     406                 :          6 :         CU_ASSERT(stats.busy_tsc == 0);
     407                 :          6 :         CU_ASSERT(stats.idle_tsc == 300);
     408                 :            : 
     409                 :          6 :         CU_ASSERT(reactor->busy_tsc == 100);
     410                 :          6 :         CU_ASSERT(reactor->idle_tsc == 300);
     411                 :            : 
     412                 :            :         /* 100 + 100 + 300 = 500 ticks elapsed */
     413                 :          6 :         CU_ASSERT(reactor->tsc_last == 500);
     414                 :            : 
     415                 :          6 :         spdk_set_thread(thread1);
     416                 :          6 :         spdk_poller_unregister(&busy1);
     417                 :          6 :         idle1 = spdk_poller_register(poller_run_idle, (void *)200, 0);
     418                 :          6 :         CU_ASSERT(idle1 != NULL);
     419                 :            : 
     420                 :          6 :         spdk_set_thread(thread2);
     421                 :          6 :         spdk_poller_unregister(&idle2);
     422                 :          6 :         busy2 = spdk_poller_register(poller_run_busy, (void *)400, 0);
     423                 :          6 :         CU_ASSERT(busy2 != NULL);
     424                 :            : 
     425                 :          6 :         _reactor_run(reactor);
     426                 :            : 
     427                 :          6 :         spdk_set_thread(thread1);
     428                 :          6 :         CU_ASSERT(spdk_thread_get_last_tsc(thread1) == 700);
     429                 :          6 :         CU_ASSERT(spdk_thread_get_stats(&stats) == 0);
     430                 :          6 :         CU_ASSERT(stats.busy_tsc == 100);
     431                 :          6 :         CU_ASSERT(stats.idle_tsc == 200);
     432                 :          6 :         spdk_set_thread(thread2);
     433                 :          6 :         CU_ASSERT(spdk_thread_get_last_tsc(thread2) == 1100);
     434                 :          6 :         CU_ASSERT(spdk_thread_get_stats(&stats) == 0);
     435                 :          6 :         CU_ASSERT(stats.busy_tsc == 400);
     436                 :          6 :         CU_ASSERT(stats.idle_tsc == 300);
     437                 :            : 
     438                 :          6 :         CU_ASSERT(reactor->busy_tsc == 500);
     439                 :          6 :         CU_ASSERT(reactor->idle_tsc == 500);
     440                 :            : 
     441                 :            :         /* 500 + 200 + 400 = 1100 ticks elapsed */
     442                 :          6 :         CU_ASSERT(reactor->tsc_last == 1100);
     443                 :            : 
     444                 :          6 :         spdk_set_thread(thread1);
     445                 :          6 :         spdk_poller_unregister(&idle1);
     446                 :          6 :         spdk_thread_exit(thread1);
     447                 :            : 
     448                 :          6 :         spdk_set_thread(thread2);
     449                 :          6 :         spdk_poller_unregister(&busy2);
     450                 :          6 :         spdk_thread_exit(thread2);
     451                 :            : 
     452                 :          6 :         _reactor_run(reactor);
     453                 :            : 
     454                 :            :         /* After 900 ticks new thread is created. */
     455                 :            :         /* 1100 + 900 = 2000 ticks elapsed */
     456                 :          6 :         MOCK_SET(spdk_get_ticks, 2000);
     457                 :          6 :         _reactor_run(reactor);
     458                 :          6 :         CU_ASSERT(reactor->tsc_last == 2000);
     459                 :            : 
     460                 :          6 :         thread1 = spdk_thread_create(NULL, &cpuset);
     461         [ -  + ]:          6 :         SPDK_CU_ASSERT_FATAL(thread1 != NULL);
     462                 :            : 
     463                 :          6 :         spdk_set_thread(thread1);
     464                 :          6 :         busy1 = spdk_poller_register(poller_run_busy, (void *)100, 0);
     465                 :          6 :         CU_ASSERT(busy1 != NULL);
     466                 :            : 
     467                 :          6 :         _reactor_run(reactor);
     468                 :            : 
     469                 :          6 :         spdk_set_thread(thread1);
     470                 :          6 :         CU_ASSERT(spdk_thread_get_last_tsc(thread1) == 2100);
     471                 :          6 :         CU_ASSERT(spdk_thread_get_stats(&stats) == 0);
     472                 :          6 :         CU_ASSERT(stats.busy_tsc == 100);
     473                 :          6 :         CU_ASSERT(stats.idle_tsc == 0);
     474                 :            : 
     475                 :          6 :         CU_ASSERT(reactor->busy_tsc == 600);
     476                 :          6 :         CU_ASSERT(reactor->idle_tsc == 1400);
     477                 :            : 
     478                 :            :         /* 2000 + 100 = 2100 ticks elapsed */
     479                 :          6 :         CU_ASSERT(reactor->tsc_last == 2100);
     480                 :            : 
     481                 :          6 :         spdk_set_thread(thread1);
     482                 :          6 :         spdk_poller_unregister(&busy1);
     483                 :          6 :         spdk_thread_exit(thread1);
     484                 :            : 
     485                 :          6 :         _reactor_run(reactor);
     486                 :            : 
     487                 :          6 :         CU_ASSERT(TAILQ_EMPTY(&reactor->threads));
     488                 :            : 
     489                 :            :         /* No further than 2100 ticks elapsed */
     490                 :          6 :         CU_ASSERT(reactor->tsc_last == 2100);
     491                 :            : 
     492                 :          6 :         spdk_reactors_fini();
     493                 :            : 
     494                 :          6 :         free_cores();
     495                 :            : 
     496   [ -  -  -  + ]:          6 :         MOCK_CLEAR(spdk_env_get_current_core);
     497                 :          6 : }
     498                 :            : 
     499                 :            : static uint32_t
     500                 :         36 : _run_events_till_completion(uint32_t reactor_count)
     501                 :            : {
     502                 :            :         struct spdk_reactor *reactor;
     503                 :         36 :         struct spdk_thread *app_thread = spdk_thread_get_app_thread();
     504                 :            :         uint32_t i, events;
     505                 :         36 :         uint32_t total_events = 0;
     506                 :            : 
     507                 :            :         do {
     508                 :        132 :                 events = 0;
     509         [ +  + ]:        450 :                 for (i = 0; i < reactor_count; i++) {
     510                 :        318 :                         reactor = spdk_reactor_get(i);
     511                 :        318 :                         CU_ASSERT(reactor != NULL);
     512                 :        318 :                         MOCK_SET(spdk_env_get_current_core, i);
     513                 :        318 :                         events += event_queue_run_batch(reactor);
     514                 :            : 
     515                 :            :                         /* Some events still require app_thread to run */
     516                 :        318 :                         MOCK_SET(spdk_env_get_current_core, g_scheduling_reactor->lcore);
     517                 :        318 :                         spdk_thread_poll(app_thread, 0, 0);
     518                 :            : 
     519   [ -  -  -  + ]:        318 :                         MOCK_CLEAR(spdk_env_get_current_core);
     520                 :            :                 }
     521                 :        132 :                 total_events += events;
     522         [ +  + ]:        132 :         } while (events > 0);
     523                 :            : 
     524                 :         36 :         return total_events;
     525                 :            : }
     526                 :            : 
     527                 :            : static void
     528                 :          6 : test_scheduler(void)
     529                 :            : {
     530                 :          6 :         struct spdk_cpuset cpuset = {};
     531                 :          5 :         struct spdk_thread *thread[3];
     532                 :            :         struct spdk_reactor *reactor;
     533                 :          5 :         struct spdk_poller *busy, *idle;
     534                 :          5 :         uint64_t reactor_busy_tsc[3], reactor_idle_tsc[3];
     535                 :          5 :         uint64_t thread_busy_tsc[3], thread_idle_tsc[3];
     536                 :            :         uint64_t current_time, end_time, busy_time, idle_time;
     537                 :          5 :         struct spdk_thread_stats stats;
     538                 :            :         int i;
     539                 :            : 
     540                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
     541                 :            : 
     542                 :          6 :         allocate_cores(3);
     543                 :            : 
     544                 :          6 :         CU_ASSERT(spdk_reactors_init(SPDK_DEFAULT_MSG_MEMPOOL_SIZE) == 0);
     545                 :            : 
     546                 :          6 :         spdk_scheduler_set("dynamic");
     547                 :            : 
     548         [ +  + ]:         24 :         for (i = 0; i < 3; i++) {
     549                 :         18 :                 spdk_cpuset_set_cpu(&g_reactor_core_mask, i, true);
     550                 :            :         }
     551                 :          6 :         g_next_core = 0;
     552                 :            : 
     553                 :            :         /* Create threads. */
     554         [ +  + ]:         24 :         for (i = 0; i < 3; i++) {
     555                 :         18 :                 spdk_cpuset_zero(&cpuset);
     556                 :         18 :                 spdk_cpuset_set_cpu(&cpuset, i, true);
     557                 :         18 :                 thread[i] = spdk_thread_create(NULL, &cpuset);
     558                 :         18 :                 CU_ASSERT(thread[i] != NULL);
     559                 :         18 :                 thread_busy_tsc[i] = 0;
     560                 :         18 :                 thread_idle_tsc[i] = 0;
     561                 :            :         }
     562                 :            : 
     563         [ +  + ]:         24 :         for (i = 0; i < 3; i++) {
     564                 :         18 :                 reactor = spdk_reactor_get(i);
     565                 :         18 :                 CU_ASSERT(reactor != NULL);
     566                 :         18 :                 MOCK_SET(spdk_env_get_current_core, i);
     567                 :         18 :                 event_queue_run_batch(reactor);
     568                 :         18 :                 CU_ASSERT(!TAILQ_EMPTY(&reactor->threads));
     569                 :         18 :                 reactor_busy_tsc[i] = 0;
     570                 :         18 :                 reactor_idle_tsc[i] = 0;
     571                 :            :         }
     572                 :            : 
     573                 :          6 :         g_reactor_state = SPDK_REACTOR_STATE_RUNNING;
     574                 :            : 
     575                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
     576                 :            : 
     577                 :            :         /* Init threads stats (low load) */
     578                 :            :         /* Each reactor starts at 100 tsc,
     579                 :            :          * ends at 100 + 100 = 200 tsc. */
     580                 :          6 :         current_time = 100;
     581                 :          6 :         idle_time = 100;
     582                 :          6 :         busy_time = 0;
     583                 :          6 :         end_time = current_time + idle_time + busy_time;
     584         [ +  + ]:         24 :         for (i = 0; i < 3; i++) {
     585                 :         18 :                 spdk_set_thread(thread[i]);
     586                 :         18 :                 idle = spdk_poller_register(poller_run_idle, (void *)idle_time, 0);
     587                 :         18 :                 reactor = spdk_reactor_get(i);
     588                 :         18 :                 CU_ASSERT(reactor != NULL);
     589                 :         18 :                 MOCK_SET(spdk_get_ticks, current_time);
     590                 :         18 :                 reactor->tsc_last = spdk_get_ticks();
     591                 :         18 :                 _reactor_run(reactor);
     592                 :         18 :                 CU_ASSERT(reactor->tsc_last == end_time);
     593                 :         18 :                 spdk_poller_unregister(&idle);
     594                 :            : 
     595                 :         18 :                 CU_ASSERT(spdk_thread_get_last_tsc(thread[i]) == end_time);
     596                 :         18 :                 CU_ASSERT(spdk_thread_get_stats(&stats) == 0);
     597                 :         18 :                 CU_ASSERT(stats.busy_tsc == busy_time);
     598                 :         18 :                 thread_busy_tsc[i] = stats.busy_tsc;
     599                 :         18 :                 CU_ASSERT(stats.idle_tsc == idle_time);
     600                 :         18 :                 thread_idle_tsc[i] = stats.idle_tsc;
     601                 :         18 :                 CU_ASSERT(reactor->busy_tsc == busy_time);
     602                 :         18 :                 reactor_busy_tsc[i] = reactor->busy_tsc;
     603                 :         18 :                 CU_ASSERT(reactor->idle_tsc == idle_time);
     604                 :         18 :                 reactor_idle_tsc[i] = reactor->idle_tsc;
     605                 :            :         }
     606                 :          6 :         CU_ASSERT(spdk_get_ticks() == end_time);
     607                 :          6 :         current_time = 200;
     608                 :            : 
     609                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
     610                 :          6 :         _reactors_scheduler_gather_metrics(NULL, NULL);
     611                 :            : 
     612                 :          6 :         _run_events_till_completion(3);
     613                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
     614                 :            : 
     615                 :            :         /* Threads were idle, so all of them should be placed on core 0.
     616                 :            :          * All reactors start and end at 200 tsc, since for this iteration
     617                 :            :          * the threads have no pollers (so they consume no idle or busy tsc).
     618                 :            :          */
     619         [ +  + ]:         24 :         for (i = 0; i < 3; i++) {
     620                 :         18 :                 reactor = spdk_reactor_get(i);
     621                 :         18 :                 CU_ASSERT(reactor != NULL);
     622                 :         18 :                 MOCK_SET(spdk_get_ticks, current_time);
     623                 :         18 :                 _reactor_run(reactor);
     624                 :         18 :                 CU_ASSERT(reactor->tsc_last == current_time);
     625                 :         18 :                 CU_ASSERT(reactor->busy_tsc == reactor_busy_tsc[i]);
     626                 :         18 :                 CU_ASSERT(reactor->idle_tsc == reactor_idle_tsc[i]);
     627                 :         18 :                 spdk_set_thread(thread[i]);
     628                 :         18 :                 CU_ASSERT(spdk_thread_get_last_tsc(thread[i]) == current_time);
     629                 :         18 :                 CU_ASSERT(spdk_thread_get_stats(&stats) == 0);
     630                 :         18 :                 CU_ASSERT(stats.busy_tsc == thread_busy_tsc[i]);
     631                 :         18 :                 CU_ASSERT(stats.idle_tsc == thread_idle_tsc[i]);
     632                 :            :         }
     633                 :          6 :         CU_ASSERT(spdk_get_ticks() == current_time);
     634                 :            : 
     635                 :            :         /* 2 threads should be scheduled to core 0 */
     636                 :          6 :         reactor = spdk_reactor_get(0);
     637                 :          6 :         CU_ASSERT(reactor != NULL);
     638                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
     639                 :          6 :         event_queue_run_batch(reactor);
     640                 :            : 
     641                 :          6 :         reactor = spdk_reactor_get(0);
     642                 :          6 :         CU_ASSERT(reactor != NULL);
     643                 :          6 :         CU_ASSERT(!TAILQ_EMPTY(&reactor->threads));
     644                 :          6 :         reactor = spdk_reactor_get(1);
     645                 :          6 :         CU_ASSERT(reactor != NULL);
     646                 :          6 :         CU_ASSERT(TAILQ_EMPTY(&reactor->threads));
     647                 :          6 :         reactor = spdk_reactor_get(2);
     648                 :          6 :         CU_ASSERT(reactor != NULL);
     649                 :          6 :         CU_ASSERT(TAILQ_EMPTY(&reactor->threads));
     650                 :            : 
     651                 :            :         /* Make threads busy */
     652                 :          6 :         reactor = spdk_reactor_get(0);
     653                 :          6 :         CU_ASSERT(reactor != NULL);
     654                 :            : 
     655                 :            :         /* All threads run on single reactor,
     656                 :            :          * reactor 0 starts at 200 tsc,
     657                 :            :          * ending at 200 + (100 * 3) = 500 tsc. */
     658                 :          6 :         MOCK_SET(spdk_get_ticks, current_time);
     659                 :          6 :         busy_time = 100;
     660                 :          6 :         idle_time = 0;
     661         [ +  + ]:         24 :         for (i = 0; i < 3; i++) {
     662                 :         18 :                 spdk_set_thread(thread[i]);
     663                 :         18 :                 busy = spdk_poller_register(poller_run_busy, (void *)busy_time, 0);
     664                 :         18 :                 _reactor_run(reactor);
     665                 :         18 :                 spdk_poller_unregister(&busy);
     666                 :         18 :                 current_time += busy_time;
     667                 :            : 
     668                 :         18 :                 CU_ASSERT(reactor->tsc_last == current_time);
     669                 :         18 :                 CU_ASSERT(spdk_thread_get_last_tsc(thread[i]) == current_time);
     670                 :         18 :                 CU_ASSERT(spdk_thread_get_stats(&stats) == 0);
     671                 :         18 :                 CU_ASSERT(stats.busy_tsc == thread_busy_tsc[i] + busy_time);
     672                 :         18 :                 CU_ASSERT(stats.idle_tsc == thread_idle_tsc[i] + idle_time);;
     673                 :            :         }
     674                 :          6 :         CU_ASSERT(reactor->busy_tsc == reactor_busy_tsc[0] + 3 * busy_time);
     675                 :          6 :         CU_ASSERT(reactor->idle_tsc == reactor_idle_tsc[0] + 3 * idle_time);
     676                 :          6 :         CU_ASSERT(spdk_get_ticks() == current_time);
     677                 :            : 
     678                 :            :         /* Run scheduler again, this time all threads are busy */
     679                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
     680                 :          6 :         _reactors_scheduler_gather_metrics(NULL, NULL);
     681                 :            : 
     682                 :          6 :         _run_events_till_completion(3);
     683                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
     684                 :            : 
     685                 :            :         /* Threads were busy, 2 will stay on core 0, 1 will move to core 1 */
     686         [ +  + ]:         24 :         for (i = 0; i < 3; i++) {
     687                 :         18 :                 MOCK_SET(spdk_env_get_current_core, i);
     688                 :         18 :                 reactor = spdk_reactor_get(i);
     689                 :         18 :                 CU_ASSERT(reactor != NULL);
     690                 :         18 :                 _reactor_run(reactor);
     691                 :            :         }
     692                 :            : 
     693         [ +  + ]:         24 :         for (i = 0; i < 3; i++) {
     694                 :         18 :                 reactor = spdk_reactor_get(i);
     695                 :         18 :                 CU_ASSERT(reactor != NULL);
     696                 :         18 :                 CU_ASSERT(!TAILQ_EMPTY(&reactor->threads));
     697                 :            :         }
     698                 :            : 
     699                 :          6 :         g_reactor_state = SPDK_REACTOR_STATE_INITIALIZED;
     700                 :            : 
     701                 :            :         /* Destroy threads */
     702         [ +  + ]:         24 :         for (i = 0; i < 3; i++) {
     703                 :         18 :                 spdk_set_thread(thread[i]);
     704                 :         18 :                 spdk_thread_exit(thread[i]);
     705                 :            :         }
     706         [ +  + ]:         24 :         for (i = 0; i < 3; i++) {
     707                 :         18 :                 reactor = spdk_reactor_get(i);
     708                 :         18 :                 CU_ASSERT(reactor != NULL);
     709                 :         18 :                 reactor_run(reactor);
     710                 :            :         }
     711                 :            : 
     712                 :          6 :         spdk_set_thread(NULL);
     713                 :            : 
     714   [ -  -  -  + ]:          6 :         MOCK_CLEAR(spdk_env_get_current_core);
     715                 :            : 
     716                 :          6 :         spdk_reactors_fini();
     717                 :            : 
     718                 :          6 :         free_cores();
     719                 :          6 : }
     720                 :            : 
     721                 :            : static void
     722                 :          6 : test_bind_thread(void)
     723                 :            : {
     724                 :          6 :         struct spdk_cpuset cpuset = {};
     725                 :          5 :         struct spdk_thread *thread[3];
     726                 :            :         struct spdk_reactor *reactor;
     727                 :          5 :         struct spdk_poller *idle;
     728                 :          5 :         uint64_t reactor_busy_tsc[3], reactor_idle_tsc[3];
     729                 :          5 :         uint64_t thread_busy_tsc[3], thread_idle_tsc[3];
     730                 :            :         uint64_t current_time, end_time, busy_time, idle_time;
     731                 :          5 :         struct spdk_thread_stats stats;
     732                 :            :         int i;
     733                 :            : 
     734                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
     735                 :            : 
     736                 :          6 :         allocate_cores(3);
     737                 :            : 
     738                 :          6 :         CU_ASSERT(spdk_reactors_init(SPDK_DEFAULT_MSG_MEMPOOL_SIZE) == 0);
     739                 :            : 
     740                 :          6 :         spdk_scheduler_set("dynamic");
     741                 :            : 
     742         [ +  + ]:         24 :         for (i = 0; i < 3; i++) {
     743                 :         18 :                 spdk_cpuset_set_cpu(&g_reactor_core_mask, i, true);
     744                 :            :         }
     745                 :          6 :         g_next_core = 0;
     746                 :            : 
     747                 :            :         /* Create threads. */
     748         [ +  + ]:         24 :         for (i = 0; i < 3; i++) {
     749                 :         18 :                 spdk_cpuset_zero(&cpuset);
     750                 :         18 :                 spdk_cpuset_set_cpu(&cpuset, i, true);
     751                 :         18 :                 thread[i] = spdk_thread_create(NULL, &cpuset);
     752                 :         18 :                 CU_ASSERT(thread[i] != NULL);
     753                 :         18 :                 thread_busy_tsc[i] = 0;
     754                 :         18 :                 thread_idle_tsc[i] = 0;
     755                 :            :         }
     756                 :            : 
     757         [ +  + ]:         24 :         for (i = 0; i < 3; i++) {
     758                 :         18 :                 reactor = spdk_reactor_get(i);
     759                 :         18 :                 CU_ASSERT(reactor != NULL);
     760                 :         18 :                 MOCK_SET(spdk_env_get_current_core, i);
     761                 :         18 :                 event_queue_run_batch(reactor);
     762                 :         18 :                 CU_ASSERT(!TAILQ_EMPTY(&reactor->threads));
     763                 :         18 :                 reactor_busy_tsc[i] = 0;
     764                 :         18 :                 reactor_idle_tsc[i] = 0;
     765                 :            :         }
     766                 :            : 
     767                 :          6 :         g_reactor_state = SPDK_REACTOR_STATE_RUNNING;
     768                 :            : 
     769                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
     770                 :            : 
     771                 :            :         /* Init threads stats (low load) */
     772                 :            :         /* Each reactor starts at 100 tsc,
     773                 :            :          * ends at 100 + 100 = 200 tsc. */
     774                 :          6 :         current_time = 100;
     775                 :          6 :         idle_time = 100;
     776                 :          6 :         busy_time = 0;
     777                 :          6 :         end_time = current_time + idle_time + busy_time;
     778         [ +  + ]:         24 :         for (i = 0; i < 3; i++) {
     779                 :         18 :                 spdk_set_thread(thread[i]);
     780                 :         18 :                 idle = spdk_poller_register(poller_run_idle, (void *)idle_time, 0);
     781                 :         18 :                 reactor = spdk_reactor_get(i);
     782                 :         18 :                 CU_ASSERT(reactor != NULL);
     783                 :         18 :                 MOCK_SET(spdk_get_ticks, current_time);
     784                 :         18 :                 reactor->tsc_last = spdk_get_ticks();
     785                 :         18 :                 _reactor_run(reactor);
     786                 :         18 :                 CU_ASSERT(reactor->tsc_last == end_time);
     787                 :         18 :                 spdk_poller_unregister(&idle);
     788                 :            : 
     789                 :         18 :                 CU_ASSERT(spdk_thread_get_last_tsc(thread[i]) == end_time);
     790                 :         18 :                 CU_ASSERT(spdk_thread_get_stats(&stats) == 0);
     791                 :         18 :                 CU_ASSERT(stats.busy_tsc == busy_time);
     792                 :         18 :                 thread_busy_tsc[i] = stats.busy_tsc;
     793                 :         18 :                 CU_ASSERT(stats.idle_tsc == idle_time);
     794                 :         18 :                 thread_idle_tsc[i] = stats.idle_tsc;
     795                 :         18 :                 CU_ASSERT(reactor->busy_tsc == busy_time);
     796                 :         18 :                 reactor_busy_tsc[i] = reactor->busy_tsc;
     797                 :         18 :                 CU_ASSERT(reactor->idle_tsc == idle_time);
     798                 :         18 :                 reactor_idle_tsc[i] = reactor->idle_tsc;
     799                 :            :         }
     800                 :          6 :         CU_ASSERT(spdk_get_ticks() == end_time);
     801                 :          6 :         current_time = 200;
     802                 :            :         /* Bind thread 1 */
     803                 :          6 :         spdk_thread_bind(thread[1], true);
     804                 :          6 :         CU_ASSERT(spdk_thread_is_bound(thread[1]) == true);
     805                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
     806                 :          6 :         _reactors_scheduler_gather_metrics(NULL, NULL);
     807                 :          6 :         _run_events_till_completion(3);
     808                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
     809                 :            : 
     810                 :            :         /* Threads were idle, so all of them should be placed on core 0 except thread 1
     811                 :            :          * since it has been limited on core 1
     812                 :            :          * All reactors start and end at 200 tsc, since for this iteration
     813                 :            :          * the threads have no pollers (so they consume no idle or busy tsc).
     814                 :            :          */
     815         [ +  + ]:         24 :         for (i = 0; i < 3; i++) {
     816                 :         18 :                 reactor = spdk_reactor_get(i);
     817                 :         18 :                 CU_ASSERT(reactor != NULL);
     818                 :         18 :                 MOCK_SET(spdk_get_ticks, current_time);
     819                 :         18 :                 _reactor_run(reactor);
     820                 :         18 :                 CU_ASSERT(reactor->tsc_last == current_time);
     821                 :         18 :                 CU_ASSERT(reactor->busy_tsc == reactor_busy_tsc[i]);
     822                 :         18 :                 CU_ASSERT(reactor->idle_tsc == reactor_idle_tsc[i]);
     823                 :         18 :                 spdk_set_thread(thread[i]);
     824                 :         18 :                 CU_ASSERT(spdk_thread_get_last_tsc(thread[i]) == current_time);
     825                 :         18 :                 CU_ASSERT(spdk_thread_get_stats(&stats) == 0);
     826                 :         18 :                 CU_ASSERT(stats.busy_tsc == thread_busy_tsc[i]);
     827                 :         18 :                 CU_ASSERT(stats.idle_tsc == thread_idle_tsc[i]);
     828                 :            :         }
     829                 :          6 :         CU_ASSERT(spdk_get_ticks() == current_time);
     830                 :            : 
     831                 :            :         /* Thread on core 2 should be scheduled to core 0 */
     832                 :          6 :         reactor = spdk_reactor_get(0);
     833                 :          6 :         CU_ASSERT(reactor != NULL);
     834                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
     835                 :          6 :         event_queue_run_batch(reactor);
     836                 :            : 
     837                 :          6 :         reactor = spdk_reactor_get(0);
     838                 :          6 :         CU_ASSERT(reactor != NULL);
     839                 :          6 :         CU_ASSERT(!TAILQ_EMPTY(&reactor->threads));
     840                 :            :         /* Thread 1 has been limited and stiil on core 0 */
     841                 :          6 :         reactor = spdk_reactor_get(1);
     842                 :          6 :         CU_ASSERT(reactor != NULL);
     843                 :          6 :         CU_ASSERT(!TAILQ_EMPTY(&reactor->threads));
     844                 :            : 
     845                 :          6 :         reactor = spdk_reactor_get(2);
     846                 :          6 :         CU_ASSERT(reactor != NULL);
     847                 :          6 :         CU_ASSERT(TAILQ_EMPTY(&reactor->threads));
     848                 :            : 
     849                 :          6 :         g_reactor_state = SPDK_REACTOR_STATE_INITIALIZED;
     850                 :            : 
     851                 :            :         /* Destroy threads */
     852         [ +  + ]:         24 :         for (i = 0; i < 3; i++) {
     853                 :         18 :                 spdk_set_thread(thread[i]);
     854                 :         18 :                 spdk_thread_exit(thread[i]);
     855                 :            :         }
     856         [ +  + ]:         24 :         for (i = 0; i < 3; i++) {
     857                 :         18 :                 reactor = spdk_reactor_get(i);
     858                 :         18 :                 CU_ASSERT(reactor != NULL);
     859                 :         18 :                 reactor_run(reactor);
     860                 :            :         }
     861                 :            : 
     862                 :          6 :         spdk_set_thread(NULL);
     863                 :            : 
     864   [ -  -  -  + ]:          6 :         MOCK_CLEAR(spdk_env_get_current_core);
     865                 :            : 
     866                 :          6 :         spdk_reactors_fini();
     867                 :            : 
     868                 :          6 :         free_cores();
     869                 :          6 : }
     870                 :            : 
     871                 :            : uint8_t g_curr_freq;
     872                 :            : 
     873                 :            : static int
     874                 :          6 : core_freq_up(uint32_t lcore)
     875                 :            : {
     876         [ +  - ]:          6 :         if (g_curr_freq != UINT8_MAX) {
     877                 :          6 :                 g_curr_freq++;
     878                 :            :         }
     879                 :            : 
     880                 :          6 :         return 0;
     881                 :            : }
     882                 :            : 
     883                 :            : static int
     884                 :          6 : core_freq_down(uint32_t lcore)
     885                 :            : {
     886         [ +  - ]:          6 :         if (g_curr_freq != 0) {
     887                 :          6 :                 g_curr_freq--;
     888                 :            :         }
     889                 :            : 
     890                 :          6 :         return 0;
     891                 :            : }
     892                 :            : 
     893                 :            : static int
     894                 :          6 : core_freq_max(uint32_t lcore)
     895                 :            : {
     896                 :          6 :         g_curr_freq = UINT8_MAX;
     897                 :            : 
     898                 :          6 :         return 0;
     899                 :            : }
     900                 :            : 
     901         [ #  # ]:          0 : DEFINE_STUB(core_freq_min, int, (uint32_t lcore_id), 0);
     902         [ #  # ]:          0 : DEFINE_STUB(core_caps, int,
     903                 :            :             (uint32_t lcore_id, struct spdk_governor_capabilities *capabilities), 0);
     904         [ -  + ]:          6 : DEFINE_STUB(governor_init, int, (void), 0);
     905                 :          0 : DEFINE_STUB_V(governor_deinit, (void));
     906                 :            : 
     907                 :            : static struct spdk_governor governor = {
     908                 :            :         .name = "dpdk_governor",
     909                 :            :         .get_core_curr_freq = NULL,
     910                 :            :         .core_freq_up = core_freq_up,
     911                 :            :         .core_freq_down = core_freq_down,
     912                 :            :         .set_core_freq_max = core_freq_max,
     913                 :            :         .set_core_freq_min = core_freq_min,
     914                 :            :         .get_core_capabilities = core_caps,
     915                 :            :         .init = governor_init,
     916                 :            :         .deinit = governor_deinit,
     917                 :            : };
     918                 :            : 
     919                 :            : static void
     920                 :          6 : test_governor(void)
     921                 :            : {
     922                 :          6 :         struct spdk_cpuset cpuset = {};
     923                 :          5 :         struct spdk_thread *thread[2];
     924                 :            :         struct spdk_lw_thread *lw_thread;
     925                 :            :         struct spdk_reactor *reactor;
     926                 :          5 :         struct spdk_poller *busy, *idle;
     927                 :          6 :         uint8_t last_freq = 100;
     928                 :            :         int i;
     929                 :            : 
     930                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
     931                 :            : 
     932                 :          6 :         g_curr_freq = last_freq;
     933                 :          6 :         spdk_governor_register(&governor);
     934                 :            : 
     935                 :          6 :         allocate_cores(2);
     936                 :            : 
     937                 :          6 :         CU_ASSERT(spdk_reactors_init(SPDK_DEFAULT_MSG_MEMPOOL_SIZE) == 0);
     938                 :            : 
     939                 :          6 :         spdk_scheduler_set("dynamic");
     940                 :          6 :         spdk_governor_set("dpdk_governor");
     941                 :            : 
     942         [ +  + ]:         18 :         for (i = 0; i < 2; i++) {
     943                 :         12 :                 spdk_cpuset_set_cpu(&g_reactor_core_mask, i, true);
     944                 :            :         }
     945                 :            : 
     946                 :            :         /* Create threads. */
     947         [ +  + ]:         18 :         for (i = 0; i < 2; i++) {
     948                 :         12 :                 spdk_cpuset_zero(&cpuset);
     949                 :         12 :                 spdk_cpuset_set_cpu(&cpuset, i, true);
     950                 :         12 :                 thread[i] = spdk_thread_create(NULL, &cpuset);
     951                 :         12 :                 CU_ASSERT(thread[i] != NULL);
     952                 :            :         }
     953                 :            : 
     954         [ +  + ]:         18 :         for (i = 0; i < 2; i++) {
     955                 :         12 :                 reactor = spdk_reactor_get(i);
     956                 :         12 :                 CU_ASSERT(reactor != NULL);
     957                 :         12 :                 MOCK_SET(spdk_env_get_current_core, i);
     958                 :         12 :                 CU_ASSERT(event_queue_run_batch(reactor) == 1);
     959                 :         12 :                 CU_ASSERT(!TAILQ_EMPTY(&reactor->threads));
     960                 :            :         }
     961                 :            : 
     962                 :          6 :         reactor = spdk_reactor_get(0);
     963                 :          6 :         CU_ASSERT(reactor != NULL);
     964                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
     965                 :            : 
     966                 :          6 :         g_reactor_state = SPDK_REACTOR_STATE_RUNNING;
     967                 :            : 
     968                 :            :         /* TEST 1 */
     969                 :            :         /* Init thread stats (low load) */
     970                 :          6 :         MOCK_SET(spdk_get_ticks, 100);
     971                 :          6 :         reactor->tsc_last = 100;
     972                 :            : 
     973         [ +  + ]:         18 :         for (i = 0; i < 2; i++) {
     974                 :         12 :                 spdk_set_thread(thread[i]);
     975                 :         12 :                 idle = spdk_poller_register(poller_run_idle, (void *)200, 0);
     976                 :         12 :                 reactor = spdk_reactor_get(i);
     977                 :         12 :                 CU_ASSERT(reactor != NULL);
     978                 :         12 :                 MOCK_SET(spdk_env_get_current_core, i);
     979                 :         12 :                 _reactor_run(reactor);
     980                 :         12 :                 spdk_poller_unregister(&idle);
     981                 :            : 
     982                 :            :                 /* Update last stats so that we don't have to call scheduler twice */
     983                 :         12 :                 lw_thread = spdk_thread_get_ctx(thread[i]);
     984                 :         12 :                 lw_thread->current_stats.idle_tsc = 1;
     985                 :            :         }
     986                 :            : 
     987                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
     988                 :          6 :         _reactors_scheduler_gather_metrics(NULL, NULL);
     989                 :            : 
     990                 :          6 :         CU_ASSERT(_run_events_till_completion(2) == 2);
     991                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
     992                 :            : 
     993                 :            :         /* Threads were idle, so all of them should be placed on core 0 */
     994         [ +  + ]:         18 :         for (i = 0; i < 2; i++) {
     995                 :         12 :                 reactor = spdk_reactor_get(i);
     996                 :         12 :                 CU_ASSERT(reactor != NULL);
     997                 :         12 :                 _reactor_run(reactor);
     998                 :            :         }
     999                 :            : 
    1000                 :            :         /* 1 thread should be scheduled to core 0 */
    1001                 :          6 :         reactor = spdk_reactor_get(0);
    1002                 :          6 :         CU_ASSERT(reactor != NULL);
    1003                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
    1004                 :          6 :         CU_ASSERT(event_queue_run_batch(reactor) == 1);
    1005                 :            : 
    1006                 :            :         /* Main core should be busy less than 50% time now - frequency should be lowered */
    1007                 :          6 :         CU_ASSERT(g_curr_freq == last_freq - 1);
    1008                 :            : 
    1009                 :          6 :         last_freq = g_curr_freq;
    1010                 :            : 
    1011                 :            :         /* TEST 2 */
    1012                 :            :         /* Make first threads busy - both threads will be still on core 0, but frequency will have to be raised */
    1013                 :          6 :         spdk_set_thread(thread[0]);
    1014                 :          6 :         busy = spdk_poller_register(poller_run_busy, (void *)1000, 0);
    1015                 :          6 :         _reactor_run(reactor);
    1016                 :          6 :         spdk_poller_unregister(&busy);
    1017                 :            : 
    1018                 :          6 :         spdk_set_thread(thread[1]);
    1019                 :          6 :         idle = spdk_poller_register(poller_run_idle, (void *)100, 0);
    1020                 :          6 :         _reactor_run(reactor);
    1021                 :          6 :         spdk_poller_unregister(&idle);
    1022                 :            : 
    1023                 :            :         /* Run scheduler again */
    1024                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
    1025                 :          6 :         _reactors_scheduler_gather_metrics(NULL, NULL);
    1026                 :            : 
    1027                 :          6 :         i = _run_events_till_completion(2);
    1028                 :            :         /* Six runs when interrupt mode is supported, two if not. */
    1029   [ -  +  -  - ]:          6 :         CU_ASSERT(i == 6 || i == 2);
    1030                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
    1031                 :            : 
    1032                 :            :         /* Main core should be busy more than 50% time now - frequency should be raised */
    1033                 :          6 :         CU_ASSERT(g_curr_freq == last_freq + 1);
    1034                 :            : 
    1035                 :            :         /* TEST 3 */
    1036                 :            :         /* Make second thread very busy so that it will be moved to second core */
    1037                 :          6 :         spdk_set_thread(thread[1]);
    1038                 :          6 :         busy = spdk_poller_register(poller_run_busy, (void *)2000, 0);
    1039                 :          6 :         _reactor_run(reactor);
    1040                 :          6 :         spdk_poller_unregister(&busy);
    1041                 :            : 
    1042                 :            :         /* Update first thread stats */
    1043                 :          6 :         spdk_set_thread(thread[0]);
    1044                 :          6 :         idle = spdk_poller_register(poller_run_idle, (void *)100, 0);
    1045                 :          6 :         _reactor_run(reactor);
    1046                 :          6 :         spdk_poller_unregister(&idle);
    1047                 :            : 
    1048                 :            :         /* Run scheduler again */
    1049                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
    1050                 :          6 :         _reactors_scheduler_gather_metrics(NULL, NULL);
    1051                 :            : 
    1052                 :          6 :         i = _run_events_till_completion(2);
    1053                 :            :         /* Six runs when interrupt mode is supported, two if not. */
    1054   [ -  +  -  - ]:          6 :         CU_ASSERT(i == 6 || i == 2);
    1055                 :          6 :         MOCK_SET(spdk_env_get_current_core, 0);
    1056                 :            : 
    1057         [ +  + ]:         18 :         for (i = 0; i < 2; i++) {
    1058                 :         12 :                 reactor = spdk_reactor_get(i);
    1059                 :         12 :                 CU_ASSERT(reactor != NULL);
    1060                 :         12 :                 _reactor_run(reactor);
    1061                 :            :         }
    1062                 :            : 
    1063                 :            :         /* Main core frequency should be set to max when we have busy threads on other cores */
    1064                 :          6 :         CU_ASSERT(g_curr_freq == UINT8_MAX);
    1065                 :            : 
    1066                 :          6 :         g_reactor_state = SPDK_REACTOR_STATE_INITIALIZED;
    1067                 :            : 
    1068                 :            :         /* Destroy threads */
    1069         [ +  + ]:         18 :         for (i = 0; i < 2; i++) {
    1070                 :         12 :                 spdk_set_thread(thread[i]);
    1071                 :         12 :                 spdk_thread_exit(thread[i]);
    1072                 :            :         }
    1073         [ +  + ]:         18 :         for (i = 0; i < 2; i++) {
    1074                 :         12 :                 reactor = spdk_reactor_get(i);
    1075                 :         12 :                 CU_ASSERT(reactor != NULL);
    1076                 :         12 :                 reactor_run(reactor);
    1077                 :            :         }
    1078                 :            : 
    1079                 :          6 :         spdk_set_thread(NULL);
    1080                 :            : 
    1081   [ -  -  -  + ]:          6 :         MOCK_CLEAR(spdk_env_get_current_core);
    1082                 :            : 
    1083                 :          6 :         spdk_reactors_fini();
    1084                 :            : 
    1085                 :          6 :         free_cores();
    1086                 :          6 : }
    1087                 :            : 
    1088                 :            : int
    1089                 :          6 : main(int argc, char **argv)
    1090                 :            : {
    1091                 :          6 :         CU_pSuite suite = NULL;
    1092                 :            :         unsigned int num_failures;
    1093                 :            : 
    1094                 :          6 :         CU_initialize_registry();
    1095                 :            : 
    1096                 :          6 :         suite = CU_add_suite("app_suite", NULL, NULL);
    1097                 :            : 
    1098                 :          6 :         CU_ADD_TEST(suite, test_create_reactor);
    1099                 :          6 :         CU_ADD_TEST(suite, test_init_reactors);
    1100                 :          6 :         CU_ADD_TEST(suite, test_event_call);
    1101                 :          6 :         CU_ADD_TEST(suite, test_schedule_thread);
    1102                 :          6 :         CU_ADD_TEST(suite, test_reschedule_thread);
    1103                 :          6 :         CU_ADD_TEST(suite, test_bind_thread);
    1104                 :          6 :         CU_ADD_TEST(suite, test_for_each_reactor);
    1105                 :          6 :         CU_ADD_TEST(suite, test_reactor_stats);
    1106                 :          6 :         CU_ADD_TEST(suite, test_scheduler);
    1107                 :          6 :         CU_ADD_TEST(suite, test_governor);
    1108                 :            : 
    1109                 :          6 :         num_failures = spdk_ut_run_tests(argc, argv, NULL);
    1110                 :          6 :         CU_cleanup_registry();
    1111                 :            : 
    1112                 :          6 :         return num_failures;
    1113                 :            : }

Generated by: LCOV version 1.14