Какой диапазон вы выберете в качестве "базового", такой и будет. В любом случае, хуже от такой возможности, думаю, не станет.
А еще можно выбирать диапазон исходя из текущего времени (-6 часов...+6часов), а для часов вне его предусмотреть возможность "альтернативного" клика, например, с зажатым Alt-ом.
Те, кому не будет нравится это поведение, просто не будут им пользоваться а будут "таскать" стрелки или крутить колесо.
 
Кстати, для минут ведь такой проблемы нету. И двигать таким образом минутную стрелку, думаю, стоит в любом случае - уж очень долго иначе крутить колесо.