Где тут обособленное обстоятельство? Но, не смотря на праздничный день в саду было пустынно

Несмотря на праздничный день — обстоятельство уступки. Его обязательно нужно обособлять при помощи запятых. 

Уступка значит, что какое-то действие случилось вопреки обстоятельствам, несмотря ни на что. Обособлять обстоятельство уступки нужно с обеих сторон. Несмотря здесь пишется слитно. 

Он купил много шоколадок, несмотря на протесты родителей. 

Несмотря на болезнь и плохое самочувствие, продавщица пришла на работу. 

Мы поехали на машине, несмотря на гололед и аномально низкую температуру.