«Рыдать навзрыд» — тавтология?

Зато красиво

Да. Можно сказать "плакать навзрыд" и избежать тавтологии. Хотя, здесь скорее стилистическая ошибка.

Нет, так же, как и пролетела навылет.

Не считается тавтологией, это полноценная фраза и корни не имеют значения, как например "почтальон доставил почту " - тоже не тавтология

Тевтонология

Фразеологизмы (фразеологические обороты) – устойчивые по составу словосочетания, смысл которых складывается сразу из всего выражения. Русский язык богат фразеологическими оборотами. Они украшают нашу речь, делают её образной, выразительной. Фразеологизмы – устойчивые сочетания слов, близкие по значению одному слову.