почему из полного чайника вода при нагревании выливается хотя объем чайника при нагревании тоже увеличивается

Потому что коэффициент объемного расширения воды

~ 10^(-4) К^(-1)

на порядок больше коэффициента объемного расширения стали

~ 10^(-5) К^(-1)

если чайник стальной.

У пластика, в зависимости от марки он может быть еще меньше...