По одной из версий, раньше фраза полностью звучала как \"не с той руки\" и обозначала ситуацию, когда человек вынужден был совершать какие-то действия не своей главенствующей, рабочей рукой (например, правой), испытывая при этом определённые неудобства, и результат таких действий был почти нулевым. Это отчасти сохранилось в нынешнем значении фразеологизма \"не с руки\" - действие, которое вызывает дополнительные трудности, не имеет смысла или не соответствует нужному результату.