Вывод записей по подкатегориям

В category.php пишешь код для получения сначала подкатегорий. Используй для этого get_categories() где в параметре parent укажи ID текущей категории. Далее прогоняешь полученные рубрики через foreach и для каждой рубрики получаешь её записи через get_posts()

Примерно так:

$categories = get_categories(array(
	'parent' => get_queried_object()->term_id,
));
foreach( $categories as $cat ){
	$posts = get_posts(array( 'category'=>$cat->term_id ));
	global $post;
	foreach( $posts as $post ){
		setup_postdata();
		// вывод записи
		the_title();
	}
	wp_reset_postdata();
}