почему роман отцы и дети заканчивается смертью базарова

Так решил автор. Очень часто бывает, что автор до самого конца работы над произведением выбирает между несколькими альтернативными вариантами финала. Возможно, это как раз тот случай. Возможно нет. Скорее всего Тургенев хотел показать этим финалом, что нигилизм, как философия и мировоззрение - это тупик, что нигилизм, несмотря на его сиюминутную привлекательность в долгосрочном плане ведет к гибели. В этом смысле - смерть Базарова - логическое завершение всех его мелких побед и крупных провалов.