[RFC Patch v2 0/4] Add run time sysctl to enable/disable cluster scheduling

List overview All Threads
Download

newer

older

LOD Meeting Agenda for August 23

lvc21-305 demo details

Tim Chen

27 Jul 2021 27 Jul '21

4:08 a.m.

Barry & Yicong,

I've updated the patchset per review comments from Yicong.

Will appreciate your feedback, testing and review.

v2: 1. Fix incorrect prototype for set_sched_cluster 2. Add patch to allow boot time parameter to enable/disable cluster scheduling

Tim

Tim Chen (4): sched: Create SDTL_SKIP flag to skip topology level sched: Add SD_CLUSTER topology flag to cluster sched domain sched: Add runtime knob sysctl_sched_cluster_enabled sched: Add boot time enabling/disabling of cluster scheduling

-- 2.20.1

Show replies by thread

Tim Chen

27 Jul 27 Jul

4:08 a.m.

New subject: [RFC Patch v2 1/4] sched: Create SDTL_SKIP flag to skip topology level

If the system admin does not want to use cluster scheduling, we want to later allow cluster topology level to be skipped when building sched domains.

Create SDTL_SKIP bit on the sched_domain_topology_level flag so we can check if a topology level should be skipped when building sched domains. --- include/linux/sched/topology.h | 1 + kernel/sched/topology.c | 10 +++++++++- 2 files changed, 10 insertions(+), 1 deletion(-)

diff --git a/include/linux/sched/topology.h b/include/linux/sched/topology.h index 2f9166f6dec8..8ebabc0dffb3 100644 --- a/include/linux/sched/topology.h +++ b/include/linux/sched/topology.h @@ -182,6 +182,7 @@ typedef const struct cpumask *(*sched_domain_mask_f)(int cpu); typedef int (*sched_domain_flags_f)(void);

#define SDTL_OVERLAP 0x01 +#define SDTL_SKIP 0x02

struct sd_data { struct sched_domain *__percpu *sd; diff --git a/kernel/sched/topology.c b/kernel/sched/topology.c index c7523dc7aab7..22bf80d658c4 100644 --- a/kernel/sched/topology.c +++ b/kernel/sched/topology.c @@ -1526,8 +1526,16 @@ static struct sched_domain_topology_level default_topology[] = { static struct sched_domain_topology_level *sched_domain_topology = default_topology;

+static struct sched_domain_topology_level *next_tl(struct sched_domain_topology_level *tl) +{ + ++tl; + while (tl->mask && tl->flags & SDTL_SKIP) + ++tl; + return tl; +} + #define for_each_sd_topology(tl) \ - for (tl = sched_domain_topology; tl->mask; tl++) + for (tl = sched_domain_topology; tl->mask; tl = next_tl(tl))

void set_sched_topology(struct sched_domain_topology_level *tl) {

-- 2.20.1

Tim Chen

4:08 a.m.

New subject: [RFC Patch v2 2/4] sched: Add SD_CLUSTER topology flag to cluster sched domain

Add SD_CLUSTER to prepare flagging cluster sched domain topology later. System needs to know if a topology level is a cluster level that needs special handling based. Cluster domain should be built based on runtime configuration. --- include/linux/sched/sd_flags.h | 7 +++++++ include/linux/sched/topology.h | 2 +- kernel/sched/topology.c | 1 + 3 files changed, 9 insertions(+), 1 deletion(-)

diff --git a/include/linux/sched/sd_flags.h b/include/linux/sched/sd_flags.h index 34b21e971d77..ca7744119582 100644 --- a/include/linux/sched/sd_flags.h +++ b/include/linux/sched/sd_flags.h @@ -154,3 +154,10 @@ SD_FLAG(SD_OVERLAP, SDF_SHARED_PARENT | SDF_NEEDS_GROUPS) * NEEDS_GROUPS: No point in preserving domain if it has a single group. */ SD_FLAG(SD_NUMA, SDF_SHARED_PARENT | SDF_NEEDS_GROUPS) + +/* + * Domain members in the same CPU cluster + * + * NEEDS_GROUPS: Cluster resroucres are shared shared between groups. + */ +SD_FLAG(SD_CLUSTER, SDF_NEEDS_GROUPS) diff --git a/include/linux/sched/topology.h b/include/linux/sched/topology.h index 8ebabc0dffb3..5578aae00e82 100644 --- a/include/linux/sched/topology.h +++ b/include/linux/sched/topology.h @@ -45,7 +45,7 @@ static inline int cpu_smt_flags(void) #ifdef CONFIG_SCHED_CLUSTER static inline int cpu_cluster_flags(void) { - return SD_SHARE_PKG_RESOURCES; + return SD_CLUSTER | SD_SHARE_PKG_RESOURCES; } #endif

diff --git a/kernel/sched/topology.c b/kernel/sched/topology.c index 22bf80d658c4..b019129e515e 100644 --- a/kernel/sched/topology.c +++ b/kernel/sched/topology.c @@ -1393,6 +1393,7 @@ int __read_mostly node_reclaim_distance = RECLAIM_DISTANCE; #define TOPOLOGY_SD_FLAGS \ (SD_SHARE_CPUCAPACITY | \ SD_SHARE_PKG_RESOURCES | \ + SD_CLUSTER | \ SD_NUMA | \ SD_ASYM_PACKING)

-- 2.20.1

Tim Chen

4:08 a.m.

New subject: [RFC Patch v2 3/4] sched: Add runtime knob sysctl_sched_cluster_enabled

Allow the sys admin to change during run time whether cluster scheduling should be used. The setting can be changed via the sysctl variable /proc/sys/kernel/sched_cluster_enabled Setting it to 1 enable cluster scheduling and setting it to 0 turns it off.

Cluster scheduling should benefit independant tasks by load balancing them between clusters, allowing less contention on cluster resources. However, the extra load balancing overhead may degrade some workload and the default setting is off. --- arch/x86/kernel/smpboot.c | 8 ++++++ drivers/base/arch_topology.c | 7 ++++++ include/linux/sched/sysctl.h | 6 +++++ include/linux/topology.h | 1 + kernel/sched/core.c | 1 + kernel/sched/sched.h | 6 +++++ kernel/sched/topology.c | 47 ++++++++++++++++++++++++++++++++++++ kernel/sysctl.c | 11 +++++++++ 8 files changed, 87 insertions(+)

diff --git a/arch/x86/kernel/smpboot.c b/arch/x86/kernel/smpboot.c index 3162d0fc6b3c..9c31030bb784 100644 --- a/arch/x86/kernel/smpboot.c +++ b/arch/x86/kernel/smpboot.c @@ -57,6 +57,7 @@ #include <linux/pgtable.h> #include <linux/overflow.h> #include <linux/syscore_ops.h> +#include <linux/cpuset.h>

#include <asm/acpi.h> #include <asm/desc.h> @@ -127,6 +128,13 @@ int arch_update_cpu_topology(void) return retval; }

+void arch_rebuild_cpu_topology(void) +{ + x86_topology_update = true; + rebuild_sched_domains(); + x86_topology_update = false; +} + static inline void smpboot_setup_warm_reset_vector(unsigned long start_eip) { unsigned long flags; diff --git a/drivers/base/arch_topology.c b/drivers/base/arch_topology.c index 0e1070aec26c..756643303dea 100644 --- a/drivers/base/arch_topology.c +++ b/drivers/base/arch_topology.c @@ -191,6 +191,13 @@ int topology_update_cpu_topology(void) return update_topology; }

+void __weak arch_rebuild_cpu_topology(void) +{ + update_topology = 1; + rebuild_sched_domains(); + update_topology = 0; +} + /* * Updating the sched_domains can't be done directly from cpufreq callbacks * due to locking, so queue the work for later. diff --git a/include/linux/sched/sysctl.h b/include/linux/sched/sysctl.h index db2c0f34aaaf..b8e3a9136875 100644 --- a/include/linux/sched/sysctl.h +++ b/include/linux/sched/sysctl.h @@ -93,6 +93,12 @@ int sysctl_numa_balancing(struct ctl_table *table, int write, void *buffer, int sysctl_schedstats(struct ctl_table *table, int write, void *buffer, size_t *lenp, loff_t *ppos);

+#ifdef CONFIG_SCHED_CLUSTER +extern unsigned int sysctl_sched_cluster_enabled; +int sched_cluster_handler(struct ctl_table *table, int write, + void *buffer, size_t *lenp, loff_t *ppos); +#endif + #if defined(CONFIG_ENERGY_MODEL) && defined(CONFIG_CPU_FREQ_GOV_SCHEDUTIL) extern unsigned int sysctl_sched_energy_aware; int sched_energy_aware_handler(struct ctl_table *table, int write, diff --git a/include/linux/topology.h b/include/linux/topology.h index 0b3704ad13c8..42bcfd5d9fdb 100644 --- a/include/linux/topology.h +++ b/include/linux/topology.h @@ -44,6 +44,7 @@ if (nr_cpus_node(node))

int arch_update_cpu_topology(void); +void arch_rebuild_cpu_topology(void);

/* Conform to ACPI 2.0 SLIT distance definitions */ #define LOCAL_DISTANCE 10 diff --git a/kernel/sched/core.c b/kernel/sched/core.c index 5226cc26a095..a180f10f9ffc 100644 --- a/kernel/sched/core.c +++ b/kernel/sched/core.c @@ -8033,6 +8033,7 @@ int sched_cpu_dying(unsigned int cpu) void __init sched_init_smp(void) { sched_init_numa(); + set_sched_cluster();

/* * There's no userspace yet to cause hotplug operations; hence all the diff --git a/kernel/sched/sched.h b/kernel/sched/sched.h index a189bec13729..dc80a46f8e93 100644 --- a/kernel/sched/sched.h +++ b/kernel/sched/sched.h @@ -1379,6 +1379,12 @@ this_rq_lock_irq(struct rq_flags *rf) return rq; }

+#ifdef CONFIG_SCHED_CLUSTER +extern void set_sched_cluster(void); +#else +static inline void set_sched_cluster(void) { } +#endif + #ifdef CONFIG_NUMA enum numa_topology_type { NUMA_DIRECT, diff --git a/kernel/sched/topology.c b/kernel/sched/topology.c index b019129e515e..90a1f71d9de7 100644 --- a/kernel/sched/topology.c +++ b/kernel/sched/topology.c @@ -9,6 +9,8 @@ DEFINE_MUTEX(sched_domains_mutex); /* Protected by sched_domains_mutex: */ static cpumask_var_t sched_domains_tmpmask; static cpumask_var_t sched_domains_tmpmask2; +/* set via /proc/sys/kernel/sched_cluster_enabled */ +unsigned int __read_mostly sysctl_sched_cluster_enabled;

#ifdef CONFIG_SCHED_DEBUG

@@ -205,6 +207,34 @@ sd_parent_degenerate(struct sched_domain *sd, struct sched_domain *parent) return 1; }

+#ifdef CONFIG_SCHED_CLUSTER +void set_sched_cluster(void); + +DEFINE_MUTEX(sched_cluster_mutex); +int sched_cluster_handler(struct ctl_table *table, int write, + void *buffer, size_t *lenp, loff_t *ppos) +{ + int ret; + unsigned int oldval; + + if (write && !capable(CAP_SYS_ADMIN)) + return -EPERM; + + mutex_lock(&sched_cluster_mutex); + oldval = sysctl_sched_cluster_enabled; + ret = proc_dointvec_minmax(table, write, buffer, lenp, ppos); + if (!ret && write) { + if (oldval != sysctl_sched_cluster_enabled) { + set_sched_cluster(); + arch_rebuild_cpu_topology(); + } + } + mutex_unlock(&sched_cluster_mutex); + + return ret; +} +#endif + #if defined(CONFIG_ENERGY_MODEL) && defined(CONFIG_CPU_FREQ_GOV_SCHEDUTIL) DEFINE_STATIC_KEY_FALSE(sched_energy_present); unsigned int sysctl_sched_energy_aware = 1; @@ -1527,6 +1557,23 @@ static struct sched_domain_topology_level default_topology[] = { static struct sched_domain_topology_level *sched_domain_topology = default_topology;

+#ifdef CONFIG_SCHED_CLUSTER +void set_sched_cluster(void) +{ + struct sched_domain_topology_level *tl; + + for (tl = sched_domain_topology; tl->mask; tl++) { + if (tl->sd_flags && (tl->sd_flags() & SD_CLUSTER)) { + if (!sysctl_sched_cluster_enabled) + tl->flags |= SDTL_SKIP; + else + tl->flags &= ~SDTL_SKIP; + break; + } + } +} +#endif + static struct sched_domain_topology_level *next_tl(struct sched_domain_topology_level *tl) { ++tl; diff --git a/kernel/sysctl.c b/kernel/sysctl.c index d4a78e08f6d8..7cd8f10bf953 100644 --- a/kernel/sysctl.c +++ b/kernel/sysctl.c @@ -1848,6 +1848,17 @@ static struct ctl_table kern_table[] = { .extra2 = SYSCTL_ONE, }, #endif +#ifdef CONFIG_SCHED_CLUSTER + { + .procname = "sched_cluster_enabled", + .data = &sysctl_sched_cluster_enabled, + .maxlen = sizeof(unsigned int), + .mode = 0644, + .proc_handler = sched_cluster_handler, + .extra1 = SYSCTL_ZERO, + .extra2 = SYSCTL_ONE, + }, +#endif #ifdef CONFIG_PROVE_LOCKING { .procname = "prove_locking",

-- 2.20.1

Tim Chen

4:08 a.m.

New subject: [RFC Patch v2 4/4] sched: Add boot time enabling/disabling of cluster scheduling

Add boot time parameter sched_cluster to enable or disable cluster scheduling. Setting sched_cluster=0 disables cluster scheduling sched_cluster=1 enables cluster scheduling --- Documentation/admin-guide/kernel-parameters.txt | 4 ++++ kernel/sched/topology.c | 13 +++++++++++++ 2 files changed, 17 insertions(+)

diff --git a/Documentation/admin-guide/kernel-parameters.txt b/Documentation/admin-guide/kernel-parameters.txt index cb89dbdedc46..0578d0a2910c 100644 --- a/Documentation/admin-guide/kernel-parameters.txt +++ b/Documentation/admin-guide/kernel-parameters.txt @@ -4880,6 +4880,10 @@

sched_verbose [KNL] Enables verbose scheduler debug messages.

+ sched_cluster= [x86] Enable or disable cluster scheduling. + 0 -- disable. + 1 -- enable. + schedstats= [KNL,X86] Enable or disable scheduled statistics. Allowed values are enable and disable. This feature incurs a small amount of overhead in the scheduler diff --git a/kernel/sched/topology.c b/kernel/sched/topology.c index 90a1f71d9de7..a030840d7a35 100644 --- a/kernel/sched/topology.c +++ b/kernel/sched/topology.c @@ -210,6 +210,19 @@ sd_parent_degenerate(struct sched_domain *sd, struct sched_domain *parent) #ifdef CONFIG_SCHED_CLUSTER void set_sched_cluster(void);

+static int __init sched_cluster_option(char *str) +{ + int enable; + + if (get_option(&str, &enable)) { + sysctl_sched_cluster_enabled = enable; + return 0; + } + + return -EINVAL; +} +early_param("sched_cluster", sched_cluster_option); + DEFINE_MUTEX(sched_cluster_mutex); int sched_cluster_handler(struct ctl_table *table, int write, void *buffer, size_t *lenp, loff_t *ppos)

-- 2.20.1

Tim Chen

5:09 a.m.

New subject: [RFC Patch v2 4/4] sched: Add boot time enabling/disabling of cluster scheduling

On 7/26/21 9:08 AM, Tim Chen wrote:

...

Add boot time parameter sched_cluster to enable or disable cluster scheduling. Setting sched_cluster=0 disables cluster scheduling sched_cluster=1 enables cluster scheduling

Documentation/admin-guide/kernel-parameters.txt | 4 ++++ kernel/sched/topology.c | 13 +++++++++++++ 2 files changed, 17 insertions(+)

diff --git a/Documentation/admin-guide/kernel-parameters.txt b/Documentation/admin-guide/kernel-parameters.txt index cb89dbdedc46..0578d0a2910c 100644 --- a/Documentation/admin-guide/kernel-parameters.txt +++ b/Documentation/admin-guide/kernel-parameters.txt @@ -4880,6 +4880,10 @@ sched_verbose [KNL] Enables verbose scheduler debug messages.

sched_cluster= [x86] Enable or disable cluster scheduling.

Ooops, should remove [x86]. Will fix in future version.

Tim

Yicong Yang

28 Jul 28 Jul

10:06 p.m.

Hi Tim,

I've tested the v2 one and met some problems. The cluster level didn't enable/disable as expected.

With no 'sched_cluster' appended:

[root@localhost ~]# cat /proc/sys/kernel/sched_cluster_enabled 0 [root@localhost ~]# cat /proc/cmdline ... schedstats=enable sched_verbose [root@localhost ~]# head /proc/schedstat version 15 timestamp 4295042780 cpu0 3 0 31629 12388 20454 15555 6515381280 3292444020 19176 domain0 00000000,00000000,00000000,0000000f [...] [root@localhost ~]# cat /sys/kernel/debug/sched/domains/cpu0/domain0/name CLS

as noticed, CLS level still appears.

after trying to disable the CLS through sysctl:

[root@localhost ~]# echo 0 > /proc/sys/kernel/sched_cluster_enabled [root@localhost ~]# dmesg | less # No rebuild log did I noticed [...] [root@localhost ~]# cat /sys/kernel/debug/sched/domains/cpu0/domain0/name CLS

And it still doesn't work with 'sched_cluster=0'appended, that the CLS level still appears and cannot be disabled after boot up.

I didn't get a chance to dig into the code, so just provide some infomation here. I applied the patch based on Barry's spread and packing patches, on which your V1 one works. Let me know you want more information. :)

Thanks, Yicong

On 2021/7/27 0:08, Tim Chen wrote:

...

Barry & Yicong,

I've updated the patchset per review comments from Yicong.

Will appreciate your feedback, testing and review.

v2:

Fix incorrect prototype for set_sched_cluster

Add patch to allow boot time parameter to enable/disable cluster scheduling

Tim

Tim Chen (4): sched: Create SDTL_SKIP flag to skip topology level sched: Add SD_CLUSTER topology flag to cluster sched domain sched: Add runtime knob sysctl_sched_cluster_enabled sched: Add boot time enabling/disabling of cluster scheduling

.../admin-guide/kernel-parameters.txt | 4 ++ arch/x86/kernel/smpboot.c | 8 +++ drivers/base/arch_topology.c | 7 ++ include/linux/sched/sd_flags.h | 7 ++ include/linux/sched/sysctl.h | 6 ++ include/linux/sched/topology.h | 3 +- include/linux/topology.h | 1 + kernel/sched/core.c | 1 + kernel/sched/sched.h | 6 ++ kernel/sched/topology.c | 71 ++++++++++++++++++- kernel/sysctl.c | 11 +++ 11 files changed, 123 insertions(+), 2 deletions(-)

Tim Chen

4 Aug 4 Aug

5:30 a.m.

On 7/28/21 3:06 AM, Yicong Yang wrote:

...

Hi Tim,

I've tested the v2 one and met some problems. The cluster level didn't enable/disable as expected.

With no 'sched_cluster' appended:

[root@localhost ~]# cat /proc/sys/kernel/sched_cluster_enabled 0 [root@localhost ~]# cat /proc/cmdline ... schedstats=enable sched_verbose [root@localhost ~]# head /proc/schedstat version 15 timestamp 4295042780 cpu0 3 0 31629 12388 20454 15555 6515381280 3292444020 19176 domain0 00000000,00000000,00000000,0000000f [...] [root@localhost ~]# cat /sys/kernel/debug/sched/domains/cpu0/domain0/name CLS

as noticed, CLS level still appears.

after trying to disable the CLS through sysctl:

[root@localhost ~]# echo 0 > /proc/sys/kernel/sched_cluster_enabled [root@localhost ~]# dmesg | less # No rebuild log did I noticed [...] [root@localhost ~]# cat /sys/kernel/debug/sched/domains/cpu0/domain0/name CLS

And it still doesn't work with 'sched_cluster=0'appended, that the CLS level still appears and cannot be disabled after boot up.

I didn't get a chance to dig into the code, so just provide some infomation here. I applied the patch based on Barry's spread and packing patches, on which your V1 one works. Let me know you want more information. :)

Thanks, Yicong

Yicong,

Thanks for testing the patches, much appreciated.

I tested the patchset on my side and it seems to work as I expected. Just to make sure I didn't screw up the patches during posting, I've attached the patches as a tarball here. This patchset is updated a bit with minor wording and comment changes.

Can you test them again and make sure to do a "make clean" to erase everything.

Below is the dmesg that I saw. I booted with sched_cluster disabled. Then enable and disable it via /proc/sys/kernel/sched_cluster_enabled. The sched domain trace in dmesg is what I expect.

One place that could go wrong may be arch_rebuild_cpu_topology. I tested the x86 path but not the generic path. So you may want to put a printk there to see whether it got triggered.

Tim

Boot with boot parameters "sched_cluster=0 loglevel=7 sched_verbose"

[ 0.259136] smp: Bringing up secondary CPUs ... [ 0.259136] x86: Booting SMP configuration: [ 0.259136] .... node #0, CPUs: #1 #2 #3 #4 #5 #6 #7 #8 #9 #10 #11 #12 #13 #14 #15 #16 #17 #18 #19 #20 #21 #22 #23 [ 0.403886] smp: Brought up 1 node, 24 CPUs [ 0.403886] smpboot: Max logical packages: 1 [ 0.403886] smpboot: Total of 24 processors activated (105600.00 BogoMIPS) [ 0.406133] CPU0 attaching sched-domain(s): [ 0.406133] domain-0: span=0-23 level=MC [ 0.406133] groups: 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 } [ 0.407194] CPU1 attaching sched-domain(s): [ 0.407196] domain-0: span=0-23 level=MC [ 0.407198] groups: 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 } [ 0.407256] CPU2 attaching sched-domain(s): [ 0.407257] domain-0: span=0-23 level=MC [ 0.407259] groups: 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 } [ 0.407317] CPU3 attaching sched-domain(s): [ 0.407317] domain-0: span=0-23 level=MC [ 0.407320] groups: 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 } [ 0.407377] CPU4 attaching sched-domain(s): [ 0.407378] domain-0: span=0-23 level=MC [ 0.407380] groups: 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 } [ 0.407437] CPU5 attaching sched-domain(s): [ 0.407438] domain-0: span=0-23 level=MC [ 0.407441] groups: 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 } [ 0.407499] CPU6 attaching sched-domain(s): [ 0.407499] domain-0: span=0-23 level=MC [ 0.407502] groups: 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 } [ 0.407559] CPU7 attaching sched-domain(s): [ 0.407560] domain-0: span=0-23 level=MC [ 0.407562] groups: 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 } [ 0.407619] CPU8 attaching sched-domain(s): [ 0.407620] domain-0: span=0-23 level=MC [ 0.407622] groups: 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 } [ 0.407680] CPU9 attaching sched-domain(s): [ 0.407680] domain-0: span=0-23 level=MC [ 0.407683] groups: 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 } [ 0.407740] CPU10 attaching sched-domain(s): [ 0.407741] domain-0: span=0-23 level=MC [ 0.407743] groups: 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 } [ 0.407801] CPU11 attaching sched-domain(s): [ 0.407802] domain-0: span=0-23 level=MC [ 0.407804] groups: 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 } [ 0.407861] CPU12 attaching sched-domain(s): [ 0.407862] domain-0: span=0-23 level=MC [ 0.407864] groups: 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 } [ 0.407922] CPU13 attaching sched-domain(s): [ 0.407922] domain-0: span=0-23 level=MC [ 0.407925] groups: 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 } [ 0.407982] CPU14 attaching sched-domain(s): [ 0.407983] domain-0: span=0-23 level=MC [ 0.407985] groups: 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 } [ 0.408042] CPU15 attaching sched-domain(s): [ 0.408043] domain-0: span=0-23 level=MC [ 0.408045] groups: 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 } [ 0.408103] CPU16 attaching sched-domain(s): [ 0.408103] domain-0: span=0-23 level=MC [ 0.408106] groups: 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 } [ 0.408163] CPU17 attaching sched-domain(s): [ 0.408164] domain-0: span=0-23 level=MC [ 0.408166] groups: 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 } [ 0.408223] CPU18 attaching sched-domain(s): [ 0.408224] domain-0: span=0-23 level=MC [ 0.408226] groups: 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 } [ 0.408283] CPU19 attaching sched-domain(s): [ 0.408284] domain-0: span=0-23 level=MC [ 0.408287] groups: 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 } [ 0.408344] CPU20 attaching sched-domain(s): [ 0.408345] domain-0: span=0-23 level=MC [ 0.408347] groups: 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 } [ 0.408404] CPU21 attaching sched-domain(s): [ 0.408405] domain-0: span=0-23 level=MC [ 0.408407] groups: 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 } [ 0.408464] CPU22 attaching sched-domain(s): [ 0.408465] domain-0: span=0-23 level=MC [ 0.408467] groups: 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 } [ 0.408524] CPU23 attaching sched-domain(s): [ 0.408525] domain-0: span=0-23 level=MC [ 0.408528] groups: 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 } [ 0.408585] root domain span: 0-23 (max cpu_capacity = 1024) [ 0.409899] devtmpfs: initialized [ 0.409899] x86/mm: Memory block size: 128MB

Do "echo 1 > /proc/sys/kernel/sched_cluster_enabled"

[ 222.067382] CPU23 attaching NULL sched-domain. [ 222.067637] CPU0 attaching sched-domain(s): [ 222.067639] domain-0: span=0-3 level=CLS [ 222.067645] groups: 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 } [ 222.067656] domain-1: span=0-23 level=MC [ 222.067660] groups: 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 } [ 222.067685] CPU1 attaching sched-domain(s): [ 222.067686] domain-0: span=0-3 level=CLS [ 222.067689] groups: 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 0:{ span=0 } [ 222.067699] domain-1: span=0-23 level=MC [ 222.067703] groups: 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 } [ 222.067725] CPU2 attaching sched-domain(s): [ 222.067727] domain-0: span=0-3 level=CLS [ 222.067729] groups: 2:{ span=2 }, 3:{ span=3 }, 0:{ span=0 }, 1:{ span=1 } [ 222.067739] domain-1: span=0-23 level=MC [ 222.067742] groups: 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 } [ 222.067765] CPU3 attaching sched-domain(s): [ 222.067766] domain-0: span=0-3 level=CLS [ 222.067769] groups: 3:{ span=3 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 } [ 222.067778] domain-1: span=0-23 level=MC [ 222.067781] groups: 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 } [ 222.067803] CPU4 attaching sched-domain(s): [ 222.067805] domain-0: span=4-7 level=CLS [ 222.067807] groups: 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 } [ 222.067817] domain-1: span=0-23 level=MC [ 222.067820] groups: 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 } [ 222.067842] CPU5 attaching sched-domain(s): [ 222.067843] domain-0: span=4-7 level=CLS [ 222.067846] groups: 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 4:{ span=4 } [ 222.067856] domain-1: span=0-23 level=MC [ 222.067859] groups: 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 } [ 222.067880] CPU6 attaching sched-domain(s): [ 222.067882] domain-0: span=4-7 level=CLS [ 222.067884] groups: 6:{ span=6 }, 7:{ span=7 }, 4:{ span=4 }, 5:{ span=5 } [ 222.067894] domain-1: span=0-23 level=MC [ 222.067897] groups: 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 } [ 222.067919] CPU7 attaching sched-domain(s): [ 222.067920] domain-0: span=4-7 level=CLS [ 222.067922] groups: 7:{ span=7 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 } [ 222.067932] domain-1: span=0-23 level=MC [ 222.067935] groups: 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 } [ 222.067957] CPU8 attaching sched-domain(s): [ 222.067958] domain-0: span=8-11 level=CLS [ 222.067961] groups: 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 } [ 222.067971] domain-1: span=0-23 level=MC [ 222.067974] groups: 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 } [ 222.067997] CPU9 attaching sched-domain(s): [ 222.067998] domain-0: span=8-11 level=CLS [ 222.068000] groups: 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 8:{ span=8 } [ 222.068011] domain-1: span=0-23 level=MC [ 222.068013] groups: 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 } [ 222.068036] CPU10 attaching sched-domain(s): [ 222.068037] domain-0: span=8-11 level=CLS [ 222.068039] groups: 10:{ span=10 }, 11:{ span=11 }, 8:{ span=8 }, 9:{ span=9 } [ 222.068049] domain-1: span=0-23 level=MC [ 222.068052] groups: 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 } [ 222.068074] CPU11 attaching sched-domain(s): [ 222.068076] domain-0: span=8-11 level=CLS [ 222.068078] groups: 11:{ span=11 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 } [ 222.068088] domain-1: span=0-23 level=MC [ 222.068091] groups: 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 } [ 222.068113] CPU12 attaching sched-domain(s): [ 222.068114] domain-0: span=12-15 level=CLS [ 222.068117] groups: 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 } [ 222.068127] domain-1: span=0-23 level=MC [ 222.068130] groups: 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 } [ 222.068152] CPU13 attaching sched-domain(s): [ 222.068153] domain-0: span=12-15 level=CLS [ 222.068156] groups: 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 12:{ span=12 } [ 222.068166] domain-1: span=0-23 level=MC [ 222.068169] groups: 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 } [ 222.068191] CPU14 attaching sched-domain(s): [ 222.068192] domain-0: span=12-15 level=CLS [ 222.068195] groups: 14:{ span=14 }, 15:{ span=15 }, 12:{ span=12 }, 13:{ span=13 } [ 222.068205] domain-1: span=0-23 level=MC [ 222.068208] groups: 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 } [ 222.068230] CPU15 attaching sched-domain(s): [ 222.068231] domain-0: span=12-15 level=CLS [ 222.068233] groups: 15:{ span=15 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 } [ 222.068243] domain-1: span=0-23 level=MC [ 222.068246] groups: 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 } [ 222.068269] CPU16 attaching sched-domain(s): [ 222.068270] domain-0: span=16-19 level=CLS [ 222.068272] groups: 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 } [ 222.068282] domain-1: span=0-23 level=MC [ 222.068285] groups: 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 } [ 222.068307] CPU17 attaching sched-domain(s): [ 222.068308] domain-0: span=16-19 level=CLS [ 222.068311] groups: 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 16:{ span=16 } [ 222.068321] domain-1: span=0-23 level=MC [ 222.068324] groups: 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 } [ 222.068346] CPU18 attaching sched-domain(s): [ 222.068347] domain-0: span=16-19 level=CLS [ 222.068350] groups: 18:{ span=18 }, 19:{ span=19 }, 16:{ span=16 }, 17:{ span=17 } [ 222.068360] domain-1: span=0-23 level=MC [ 222.068363] groups: 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 } [ 222.068385] CPU19 attaching sched-domain(s): [ 222.068386] domain-0: span=16-19 level=CLS [ 222.068389] groups: 19:{ span=19 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 } [ 222.068399] domain-1: span=0-23 level=MC [ 222.068402] groups: 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 } [ 222.068424] CPU20 attaching sched-domain(s): [ 222.068425] domain-0: span=20-23 level=CLS [ 222.068427] groups: 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 } [ 222.068438] domain-1: span=0-23 level=MC [ 222.068441] groups: 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 } [ 222.068463] CPU21 attaching sched-domain(s): [ 222.068464] domain-0: span=20-23 level=CLS [ 222.068467] groups: 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 20:{ span=20 } [ 222.068477] domain-1: span=0-23 level=MC [ 222.068480] groups: 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 } [ 222.068502] CPU22 attaching sched-domain(s): [ 222.068503] domain-0: span=20-23 level=CLS [ 222.068505] groups: 22:{ span=22 }, 23:{ span=23 }, 20:{ span=20 }, 21:{ span=21 } [ 222.068515] domain-1: span=0-23 level=MC [ 222.068518] groups: 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 } [ 222.068540] CPU23 attaching sched-domain(s): [ 222.068542] domain-0: span=20-23 level=CLS [ 222.068544] groups: 23:{ span=23 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 } [ 222.068554] domain-1: span=0-23 level=MC [ 222.068557] groups: 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 } [ 222.068579] root domain span: 0-23 (max cpu_capacity = 1024)

Do "echo 0 > /proc/sys/kernel/sched_cluster_enabled"

[ 265.675570] CPU0 attaching sched-domain(s): [ 265.675572] domain-0: span=0-23 level=MC [ 265.675578] groups: 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 } [ 265.675637] CPU1 attaching sched-domain(s): [ 265.675639] domain-0: span=0-23 level=MC [ 265.675642] groups: 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 } [ 265.675700] CPU2 attaching sched-domain(s): [ 265.675701] domain-0: span=0-23 level=MC [ 265.675704] groups: 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 } [ 265.675760] CPU3 attaching sched-domain(s): [ 265.675761] domain-0: span=0-23 level=MC [ 265.675764] groups: 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 } [ 265.675821] CPU4 attaching sched-domain(s): [ 265.675822] domain-0: span=0-23 level=MC [ 265.675825] groups: 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 } [ 265.675881] CPU5 attaching sched-domain(s): [ 265.675882] domain-0: span=0-23 level=MC [ 265.675885] groups: 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 } [ 265.675942] CPU6 attaching sched-domain(s): [ 265.675943] domain-0: span=0-23 level=MC [ 265.675946] groups: 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 } [ 265.676002] CPU7 attaching sched-domain(s): [ 265.676003] domain-0: span=0-23 level=MC [ 265.676006] groups: 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 } [ 265.676062] CPU8 attaching sched-domain(s): [ 265.676063] domain-0: span=0-23 level=MC [ 265.676066] groups: 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 } [ 265.676122] CPU9 attaching sched-domain(s): [ 265.676123] domain-0: span=0-23 level=MC [ 265.676126] groups: 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 } [ 265.676183] CPU10 attaching sched-domain(s): [ 265.676184] domain-0: span=0-23 level=MC [ 265.676187] groups: 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 } [ 265.676243] CPU11 attaching sched-domain(s): [ 265.676244] domain-0: span=0-23 level=MC [ 265.676247] groups: 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 } [ 265.676304] CPU12 attaching sched-domain(s): [ 265.676305] domain-0: span=0-23 level=MC [ 265.676308] groups: 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 } [ 265.676364] CPU13 attaching sched-domain(s): [ 265.676365] domain-0: span=0-23 level=MC [ 265.676368] groups: 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 } [ 265.676424] CPU14 attaching sched-domain(s): [ 265.676425] domain-0: span=0-23 level=MC [ 265.676428] groups: 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 } [ 265.676485] CPU15 attaching sched-domain(s): [ 265.676486] domain-0: span=0-23 level=MC [ 265.676489] groups: 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 } [ 265.676545] CPU16 attaching sched-domain(s): [ 265.676546] domain-0: span=0-23 level=MC [ 265.676549] groups: 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 } [ 265.676605] CPU17 attaching sched-domain(s): [ 265.676606] domain-0: span=0-23 level=MC [ 265.676609] groups: 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 } [ 265.676665] CPU18 attaching sched-domain(s): [ 265.676667] domain-0: span=0-23 level=MC [ 265.676669] groups: 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 } [ 265.676726] CPU19 attaching sched-domain(s): [ 265.676727] domain-0: span=0-23 level=MC [ 265.676730] groups: 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 } [ 265.676786] CPU20 attaching sched-domain(s): [ 265.676787] domain-0: span=0-23 level=MC [ 265.676790] groups: 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 } [ 265.676846] CPU21 attaching sched-domain(s): [ 265.676847] domain-0: span=0-23 level=MC [ 265.676850] groups: 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 } [ 265.676907] CPU22 attaching sched-domain(s): [ 265.676908] domain-0: span=0-23 level=MC [ 265.676911] groups: 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 } [ 265.676967] CPU23 attaching sched-domain(s): [ 265.676968] domain-0: span=0-23 level=MC [ 265.676971] groups: 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 } [ 265.677027] root domain span: 0-23 (max cpu_capacity = 1024)

Yicong Yang

5 Aug 5 Aug

1:26 a.m.

On 2021/8/4 1:30, Tim Chen wrote:

...

On 7/28/21 3:06 AM, Yicong Yang wrote:

...
Hi Tim,

I've tested the v2 one and met some problems. The cluster level didn't enable/disable as expected.

With no 'sched_cluster' appended:

[root@localhost ~]# cat /proc/sys/kernel/sched_cluster_enabled 0 [root@localhost ~]# cat /proc/cmdline ... schedstats=enable sched_verbose [root@localhost ~]# head /proc/schedstat version 15 timestamp 4295042780 cpu0 3 0 31629 12388 20454 15555 6515381280 3292444020 19176 domain0 00000000,00000000,00000000,0000000f [...] [root@localhost ~]# cat /sys/kernel/debug/sched/domains/cpu0/domain0/name CLS

as noticed, CLS level still appears.

after trying to disable the CLS through sysctl:

[root@localhost ~]# echo 0 > /proc/sys/kernel/sched_cluster_enabled [root@localhost ~]# dmesg | less # No rebuild log did I noticed [...] [root@localhost ~]# cat /sys/kernel/debug/sched/domains/cpu0/domain0/name CLS

And it still doesn't work with 'sched_cluster=0'appended, that the CLS level still appears and cannot be disabled after boot up.

I didn't get a chance to dig into the code, so just provide some infomation here. I applied the patch based on Barry's spread and packing patches, on which your V1 one works. Let me know you want more information. :)

Thanks, Yicong

Yicong,

Thanks for testing the patches, much appreciated.

I tested the patchset on my side and it seems to work as I expected. Just to make sure I didn't screw up the patches during posting, I've attached the patches as a tarball here. This patchset is updated a bit with minor wording and comment changes.

Can you test them again and make sure to do a "make clean" to erase everything.

Below is the dmesg that I saw. I booted with sched_cluster disabled. Then enable and disable it via /proc/sys/kernel/sched_cluster_enabled. The sched domain trace in dmesg is what I expect.

One place that could go wrong may be arch_rebuild_cpu_topology. I tested the x86 path but not the generic path. So you may want to put a printk there to see whether it got triggered.

I've tested again with this series on our board, all the functions work as expected.

So I check into the code to see what's wrong last time, and sadly it's my mistake when applying the patch, sorry for that. :/

I applied the patch based on Barry's second series (the packing path, although this series will go after the first series) and error occurs when I address the conflicts. git diff told my mistake:

# git diff good bad diff --git a/Documentation/admin-guide/kernel-parameters.txt b/Documentation/admin-guide/kernel-parameters.txt index 73e810c248b2..83b17ca44351 100644 --- a/Documentation/admin-guide/kernel-parameters.txt +++ b/Documentation/admin-guide/kernel-parameters.txt @@ -4875,7 +4875,7 @@

sched_verbose [KNL] Enables verbose scheduler debug messages.

- sched_cluster= Enable or disable cluster scheduling. + sched_cluster= [x86] Enable or disable cluster scheduling. 0 -- disable. 1 -- enable.

diff --git a/include/linux/sched/topology.h b/include/linux/sched/topology.h index 511826c1a1d6..124acc8e8ddf 100644 --- a/include/linux/sched/topology.h +++ b/include/linux/sched/topology.h @@ -38,14 +38,14 @@ extern const struct sd_flag_debug sd_flag_debug[]; #ifdef CONFIG_SCHED_SMT static inline int cpu_smt_flags(void) { - return SD_SHARE_CPUCAPACITY | SD_SHARE_PKG_RESOURCES; + return SD_SHARE_CPUCAPACITY | SD_SHARE_PKG_RESOURCES | SD_CLUSTER; } #endif

#ifdef CONFIG_SCHED_CLUSTER static inline int cpu_cluster_flags(void) { - return SD_SHARE_CLS_RESOURCES | SD_CLUSTER | SD_SHARE_PKG_RESOURCES; + return SD_SHARE_CLS_RESOURCES | SD_SHARE_PKG_RESOURCES; } #endif

btw, I found the SD_SHARE_CLS_RESOURCES and SD_CLUSTER are replicated, we can leave in the final version.

Thanks, Yicong

...

Tim

Boot with boot parameters "sched_cluster=0 loglevel=7 sched_verbose"

[ 0.259136] smp: Bringing up secondary CPUs ... [ 0.259136] x86: Booting SMP configuration: [ 0.259136] .... node #0, CPUs: #1 #2 #3 #4 #5 #6 #7 #8 #9 #10 #11 #12 #13 #14 #15 #16 #17 #18 #19 #20 #21 #22 #23 [ 0.403886] smp: Brought up 1 node, 24 CPUs [ 0.403886] smpboot: Max logical packages: 1 [ 0.403886] smpboot: Total of 24 processors activated (105600.00 BogoMIPS) [ 0.406133] CPU0 attaching sched-domain(s): [ 0.406133] domain-0: span=0-23 level=MC [ 0.406133] groups: 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 } [ 0.407194] CPU1 attaching sched-domain(s): [ 0.407196] domain-0: span=0-23 level=MC [ 0.407198] groups: 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 } [ 0.407256] CPU2 attaching sched-domain(s): [ 0.407257] domain-0: span=0-23 level=MC [ 0.407259] groups: 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 } [ 0.407317] CPU3 attaching sched-domain(s): [ 0.407317] domain-0: span=0-23 level=MC [ 0.407320] groups: 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 } [ 0.407377] CPU4 attaching sched-domain(s): [ 0.407378] domain-0: span=0-23 level=MC [ 0.407380] groups: 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 } [ 0.407437] CPU5 attaching sched-domain(s): [ 0.407438] domain-0: span=0-23 level=MC [ 0.407441] groups: 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 } [ 0.407499] CPU6 attaching sched-domain(s): [ 0.407499] domain-0: span=0-23 level=MC [ 0.407502] groups: 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 } [ 0.407559] CPU7 attaching sched-domain(s): [ 0.407560] domain-0: span=0-23 level=MC [ 0.407562] groups: 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 } [ 0.407619] CPU8 attaching sched-domain(s): [ 0.407620] domain-0: span=0-23 level=MC [ 0.407622] groups: 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 } [ 0.407680] CPU9 attaching sched-domain(s): [ 0.407680] domain-0: span=0-23 level=MC [ 0.407683] groups: 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 } [ 0.407740] CPU10 attaching sched-domain(s): [ 0.407741] domain-0: span=0-23 level=MC [ 0.407743] groups: 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 } [ 0.407801] CPU11 attaching sched-domain(s): [ 0.407802] domain-0: span=0-23 level=MC [ 0.407804] groups: 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 } [ 0.407861] CPU12 attaching sched-domain(s): [ 0.407862] domain-0: span=0-23 level=MC [ 0.407864] groups: 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 } [ 0.407922] CPU13 attaching sched-domain(s): [ 0.407922] domain-0: span=0-23 level=MC [ 0.407925] groups: 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 } [ 0.407982] CPU14 attaching sched-domain(s): [ 0.407983] domain-0: span=0-23 level=MC [ 0.407985] groups: 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 } [ 0.408042] CPU15 attaching sched-domain(s): [ 0.408043] domain-0: span=0-23 level=MC [ 0.408045] groups: 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 } [ 0.408103] CPU16 attaching sched-domain(s): [ 0.408103] domain-0: span=0-23 level=MC [ 0.408106] groups: 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 } [ 0.408163] CPU17 attaching sched-domain(s): [ 0.408164] domain-0: span=0-23 level=MC [ 0.408166] groups: 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 } [ 0.408223] CPU18 attaching sched-domain(s): [ 0.408224] domain-0: span=0-23 level=MC [ 0.408226] groups: 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 } [ 0.408283] CPU19 attaching sched-domain(s): [ 0.408284] domain-0: span=0-23 level=MC [ 0.408287] groups: 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 } [ 0.408344] CPU20 attaching sched-domain(s): [ 0.408345] domain-0: span=0-23 level=MC [ 0.408347] groups: 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 } [ 0.408404] CPU21 attaching sched-domain(s): [ 0.408405] domain-0: span=0-23 level=MC [ 0.408407] groups: 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 } [ 0.408464] CPU22 attaching sched-domain(s): [ 0.408465] domain-0: span=0-23 level=MC [ 0.408467] groups: 22:{ span=22 cap=128 }, 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 } [ 0.408524] CPU23 attaching sched-domain(s): [ 0.408525] domain-0: span=0-23 level=MC [ 0.408528] groups: 23:{ span=23 cap=45 }, 0:{ span=0 cap=309 }, 1:{ span=1 cap=971 }, 2:{ span=2 cap=960 }, 3:{ span=3 cap=951 }, 4:{ span=4 cap=941 }, 5:{ span=5 cap=929 }, 6:{ span=6 cap=921 }, 7:{ span=7 cap=901 }, 8:{ span=8 cap=883 }, 9:{ span=9 cap=863 }, 10:{ span=10 cap=841 }, 11:{ span=11 cap=824 }, 12:{ span=12 cap=796 }, 13:{ span=13 cap=764 }, 14:{ span=14 cap=713 }, 15:{ span=15 cap=670 }, 16:{ span=16 cap=638 }, 17:{ span=17 cap=563 }, 18:{ span=18 cap=521 }, 19:{ span=19 cap=423 }, 20:{ span=20 cap=338 }, 21:{ span=21 cap=275 }, 22:{ span=22 cap=128 } [ 0.408585] root domain span: 0-23 (max cpu_capacity = 1024) [ 0.409899] devtmpfs: initialized [ 0.409899] x86/mm: Memory block size: 128MB

Do "echo 1 > /proc/sys/kernel/sched_cluster_enabled"

[ 222.067382] CPU23 attaching NULL sched-domain. [ 222.067637] CPU0 attaching sched-domain(s): [ 222.067639] domain-0: span=0-3 level=CLS [ 222.067645] groups: 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 } [ 222.067656] domain-1: span=0-23 level=MC [ 222.067660] groups: 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 } [ 222.067685] CPU1 attaching sched-domain(s): [ 222.067686] domain-0: span=0-3 level=CLS [ 222.067689] groups: 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 0:{ span=0 } [ 222.067699] domain-1: span=0-23 level=MC [ 222.067703] groups: 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 } [ 222.067725] CPU2 attaching sched-domain(s): [ 222.067727] domain-0: span=0-3 level=CLS [ 222.067729] groups: 2:{ span=2 }, 3:{ span=3 }, 0:{ span=0 }, 1:{ span=1 } [ 222.067739] domain-1: span=0-23 level=MC [ 222.067742] groups: 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 } [ 222.067765] CPU3 attaching sched-domain(s): [ 222.067766] domain-0: span=0-3 level=CLS [ 222.067769] groups: 3:{ span=3 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 } [ 222.067778] domain-1: span=0-23 level=MC [ 222.067781] groups: 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 } [ 222.067803] CPU4 attaching sched-domain(s): [ 222.067805] domain-0: span=4-7 level=CLS [ 222.067807] groups: 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 } [ 222.067817] domain-1: span=0-23 level=MC [ 222.067820] groups: 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 } [ 222.067842] CPU5 attaching sched-domain(s): [ 222.067843] domain-0: span=4-7 level=CLS [ 222.067846] groups: 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 4:{ span=4 } [ 222.067856] domain-1: span=0-23 level=MC [ 222.067859] groups: 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 } [ 222.067880] CPU6 attaching sched-domain(s): [ 222.067882] domain-0: span=4-7 level=CLS [ 222.067884] groups: 6:{ span=6 }, 7:{ span=7 }, 4:{ span=4 }, 5:{ span=5 } [ 222.067894] domain-1: span=0-23 level=MC [ 222.067897] groups: 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 } [ 222.067919] CPU7 attaching sched-domain(s): [ 222.067920] domain-0: span=4-7 level=CLS [ 222.067922] groups: 7:{ span=7 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 } [ 222.067932] domain-1: span=0-23 level=MC [ 222.067935] groups: 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 } [ 222.067957] CPU8 attaching sched-domain(s): [ 222.067958] domain-0: span=8-11 level=CLS [ 222.067961] groups: 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 } [ 222.067971] domain-1: span=0-23 level=MC [ 222.067974] groups: 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 } [ 222.067997] CPU9 attaching sched-domain(s): [ 222.067998] domain-0: span=8-11 level=CLS [ 222.068000] groups: 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 8:{ span=8 } [ 222.068011] domain-1: span=0-23 level=MC [ 222.068013] groups: 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 } [ 222.068036] CPU10 attaching sched-domain(s): [ 222.068037] domain-0: span=8-11 level=CLS [ 222.068039] groups: 10:{ span=10 }, 11:{ span=11 }, 8:{ span=8 }, 9:{ span=9 } [ 222.068049] domain-1: span=0-23 level=MC [ 222.068052] groups: 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 } [ 222.068074] CPU11 attaching sched-domain(s): [ 222.068076] domain-0: span=8-11 level=CLS [ 222.068078] groups: 11:{ span=11 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 } [ 222.068088] domain-1: span=0-23 level=MC [ 222.068091] groups: 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 } [ 222.068113] CPU12 attaching sched-domain(s): [ 222.068114] domain-0: span=12-15 level=CLS [ 222.068117] groups: 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 } [ 222.068127] domain-1: span=0-23 level=MC [ 222.068130] groups: 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 } [ 222.068152] CPU13 attaching sched-domain(s): [ 222.068153] domain-0: span=12-15 level=CLS [ 222.068156] groups: 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 12:{ span=12 } [ 222.068166] domain-1: span=0-23 level=MC [ 222.068169] groups: 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 } [ 222.068191] CPU14 attaching sched-domain(s): [ 222.068192] domain-0: span=12-15 level=CLS [ 222.068195] groups: 14:{ span=14 }, 15:{ span=15 }, 12:{ span=12 }, 13:{ span=13 } [ 222.068205] domain-1: span=0-23 level=MC [ 222.068208] groups: 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 } [ 222.068230] CPU15 attaching sched-domain(s): [ 222.068231] domain-0: span=12-15 level=CLS [ 222.068233] groups: 15:{ span=15 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 } [ 222.068243] domain-1: span=0-23 level=MC [ 222.068246] groups: 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 } [ 222.068269] CPU16 attaching sched-domain(s): [ 222.068270] domain-0: span=16-19 level=CLS [ 222.068272] groups: 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 } [ 222.068282] domain-1: span=0-23 level=MC [ 222.068285] groups: 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 } [ 222.068307] CPU17 attaching sched-domain(s): [ 222.068308] domain-0: span=16-19 level=CLS [ 222.068311] groups: 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 16:{ span=16 } [ 222.068321] domain-1: span=0-23 level=MC [ 222.068324] groups: 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 } [ 222.068346] CPU18 attaching sched-domain(s): [ 222.068347] domain-0: span=16-19 level=CLS [ 222.068350] groups: 18:{ span=18 }, 19:{ span=19 }, 16:{ span=16 }, 17:{ span=17 } [ 222.068360] domain-1: span=0-23 level=MC [ 222.068363] groups: 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 } [ 222.068385] CPU19 attaching sched-domain(s): [ 222.068386] domain-0: span=16-19 level=CLS [ 222.068389] groups: 19:{ span=19 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 } [ 222.068399] domain-1: span=0-23 level=MC [ 222.068402] groups: 16:{ span=16-19 cap=4096 }, 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 } [ 222.068424] CPU20 attaching sched-domain(s): [ 222.068425] domain-0: span=20-23 level=CLS [ 222.068427] groups: 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 } [ 222.068438] domain-1: span=0-23 level=MC [ 222.068441] groups: 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 } [ 222.068463] CPU21 attaching sched-domain(s): [ 222.068464] domain-0: span=20-23 level=CLS [ 222.068467] groups: 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 20:{ span=20 } [ 222.068477] domain-1: span=0-23 level=MC [ 222.068480] groups: 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 } [ 222.068502] CPU22 attaching sched-domain(s): [ 222.068503] domain-0: span=20-23 level=CLS [ 222.068505] groups: 22:{ span=22 }, 23:{ span=23 }, 20:{ span=20 }, 21:{ span=21 } [ 222.068515] domain-1: span=0-23 level=MC [ 222.068518] groups: 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 } [ 222.068540] CPU23 attaching sched-domain(s): [ 222.068542] domain-0: span=20-23 level=CLS [ 222.068544] groups: 23:{ span=23 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 } [ 222.068554] domain-1: span=0-23 level=MC [ 222.068557] groups: 20:{ span=20-23 cap=4096 }, 0:{ span=0-3 cap=4096 }, 4:{ span=4-7 cap=4096 }, 8:{ span=8-11 cap=4096 }, 12:{ span=12-15 cap=4096 }, 16:{ span=16-19 cap=4096 } [ 222.068579] root domain span: 0-23 (max cpu_capacity = 1024)

Do "echo 0 > /proc/sys/kernel/sched_cluster_enabled"

[ 265.675570] CPU0 attaching sched-domain(s): [ 265.675572] domain-0: span=0-23 level=MC [ 265.675578] groups: 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 } [ 265.675637] CPU1 attaching sched-domain(s): [ 265.675639] domain-0: span=0-23 level=MC [ 265.675642] groups: 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 } [ 265.675700] CPU2 attaching sched-domain(s): [ 265.675701] domain-0: span=0-23 level=MC [ 265.675704] groups: 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 } [ 265.675760] CPU3 attaching sched-domain(s): [ 265.675761] domain-0: span=0-23 level=MC [ 265.675764] groups: 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 } [ 265.675821] CPU4 attaching sched-domain(s): [ 265.675822] domain-0: span=0-23 level=MC [ 265.675825] groups: 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 } [ 265.675881] CPU5 attaching sched-domain(s): [ 265.675882] domain-0: span=0-23 level=MC [ 265.675885] groups: 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 } [ 265.675942] CPU6 attaching sched-domain(s): [ 265.675943] domain-0: span=0-23 level=MC [ 265.675946] groups: 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 } [ 265.676002] CPU7 attaching sched-domain(s): [ 265.676003] domain-0: span=0-23 level=MC [ 265.676006] groups: 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 } [ 265.676062] CPU8 attaching sched-domain(s): [ 265.676063] domain-0: span=0-23 level=MC [ 265.676066] groups: 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 } [ 265.676122] CPU9 attaching sched-domain(s): [ 265.676123] domain-0: span=0-23 level=MC [ 265.676126] groups: 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 } [ 265.676183] CPU10 attaching sched-domain(s): [ 265.676184] domain-0: span=0-23 level=MC [ 265.676187] groups: 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 } [ 265.676243] CPU11 attaching sched-domain(s): [ 265.676244] domain-0: span=0-23 level=MC [ 265.676247] groups: 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 } [ 265.676304] CPU12 attaching sched-domain(s): [ 265.676305] domain-0: span=0-23 level=MC [ 265.676308] groups: 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 } [ 265.676364] CPU13 attaching sched-domain(s): [ 265.676365] domain-0: span=0-23 level=MC [ 265.676368] groups: 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 } [ 265.676424] CPU14 attaching sched-domain(s): [ 265.676425] domain-0: span=0-23 level=MC [ 265.676428] groups: 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 } [ 265.676485] CPU15 attaching sched-domain(s): [ 265.676486] domain-0: span=0-23 level=MC [ 265.676489] groups: 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 } [ 265.676545] CPU16 attaching sched-domain(s): [ 265.676546] domain-0: span=0-23 level=MC [ 265.676549] groups: 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 } [ 265.676605] CPU17 attaching sched-domain(s): [ 265.676606] domain-0: span=0-23 level=MC [ 265.676609] groups: 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 } [ 265.676665] CPU18 attaching sched-domain(s): [ 265.676667] domain-0: span=0-23 level=MC [ 265.676669] groups: 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 } [ 265.676726] CPU19 attaching sched-domain(s): [ 265.676727] domain-0: span=0-23 level=MC [ 265.676730] groups: 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 } [ 265.676786] CPU20 attaching sched-domain(s): [ 265.676787] domain-0: span=0-23 level=MC [ 265.676790] groups: 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 } [ 265.676846] CPU21 attaching sched-domain(s): [ 265.676847] domain-0: span=0-23 level=MC [ 265.676850] groups: 21:{ span=21 }, 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 } [ 265.676907] CPU22 attaching sched-domain(s): [ 265.676908] domain-0: span=0-23 level=MC [ 265.676911] groups: 22:{ span=22 }, 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 } [ 265.676967] CPU23 attaching sched-domain(s): [ 265.676968] domain-0: span=0-23 level=MC [ 265.676971] groups: 23:{ span=23 }, 0:{ span=0 }, 1:{ span=1 }, 2:{ span=2 }, 3:{ span=3 }, 4:{ span=4 }, 5:{ span=5 }, 6:{ span=6 }, 7:{ span=7 }, 8:{ span=8 }, 9:{ span=9 }, 10:{ span=10 }, 11:{ span=11 }, 12:{ span=12 }, 13:{ span=13 }, 14:{ span=14 }, 15:{ span=15 }, 16:{ span=16 }, 17:{ span=17 }, 18:{ span=18 }, 19:{ span=19 }, 20:{ span=20 }, 21:{ span=21 }, 22:{ span=22 } [ 265.677027] root domain span: 0-23 (max cpu_capacity = 1024)

Tim Chen

5:17 a.m.

On 8/4/21 6:26 AM, Yicong Yang wrote:

...

I've tested again with this series on our board, all the functions work as expected.

So I check into the code to see what's wrong last time, and sadly it's my mistake when applying the patch, sorry for that. :/

I applied the patch based on Barry's second series (the packing path, although this series will go after the first series) and error occurs when I address the conflicts. git diff told my mistake:

# git diff good bad diff --git a/Documentation/admin-guide/kernel-parameters.txt b/Documentation/admin-guide/kernel-parameters.txt index 73e810c248b2..83b17ca44351 100644 --- a/Documentation/admin-guide/kernel-parameters.txt +++ b/Documentation/admin-guide/kernel-parameters.txt @@ -4875,7 +4875,7 @@
    sched_verbose   [KNL] Enables verbose scheduler debug messages.
  sched_cluster=  Enable or disable cluster scheduling.
  sched_cluster=  [x86] Enable or disable cluster scheduling.
                  0 -- disable.
                  1 -- enable.
diff --git a/include/linux/sched/topology.h b/include/linux/sched/topology.h index 511826c1a1d6..124acc8e8ddf 100644 --- a/include/linux/sched/topology.h +++ b/include/linux/sched/topology.h @@ -38,14 +38,14 @@ extern const struct sd_flag_debug sd_flag_debug[]; #ifdef CONFIG_SCHED_SMT static inline int cpu_smt_flags(void) {
  return SD_SHARE_CPUCAPACITY | SD_SHARE_PKG_RESOURCES;
  return SD_SHARE_CPUCAPACITY | SD_SHARE_PKG_RESOURCES | SD_CLUSTER;
} #endif

#ifdef CONFIG_SCHED_CLUSTER static inline int cpu_cluster_flags(void) {
  return SD_SHARE_CLS_RESOURCES | SD_CLUSTER | SD_SHARE_PKG_RESOURCES;
  return SD_SHARE_CLS_RESOURCES | SD_SHARE_PKG_RESOURCES;
} #endif

btw, I found the SD_SHARE_CLS_RESOURCES and SD_CLUSTER are replicated, we can leave in the final version.

That's a good catch. I can rename the SD_CLUSTER to SD_SHARE_CLS_RESOURCES if Barry desires to go this way. I personally prefer SD_CLUSTER but either way is fine with me.

Tim

994

days inactive

1003

days old

linaro-open-discussions@op-lists.linaro.org

9 comments

participants

tags (0)

participants (2)

Tim Chen
Yicong Yang