почему, если смотреть на лица людей, сидящих по другую сторону костра, то кажется, что они колышутся?

Потому, что воздух от костра нагревается не равномерно и происходит постоянное смешение воздушных масс. От этого картинка и преломляется постоянно, такое можно наблюдать и от асфальта. 

тепло распространяется по воздуху не равномерно и создаёт воздушные перепады))