чому у слові п'ятьма є м'який знак, а у слові чотирма його немає, хоч формі п'ятьох і чотирьох він пишеться?

Тому, що є таке правило на вживання м"якого знаку: М'який знак пишеться перед о при м'якій вимові звука [р'] на початку та в середині складу: забрьоханий, згорьований, трьох, трьом, чотирьох, чотирьом (але чотирма).

У словi чотирма не пишеться тому,що "р" тверда.А у словi п'ятьма "т" м'яка .