Почему я не могу использовать в этом случае Present Perfect?
В задании ответ такой:
His granddad was planting (PLANT) something in the small garden in front of the house.

А разве в Past Continuous не должно быть точно указано время?

Есть, как минимум, шесть случаев, когда употребляется Past Continuous, в одном из которых присутствует точное указание времени. В данном примере на то, что требуется продолжительное время, должен указывать либо контекст, либо задание, если это отдельно взятое предложение.

В данном предложении:

His granddad (PLANT) something in the small garden in front of the house

могут быть использованы если не все, то большинство видо-временных форм. Все зависит от контекста: нужно ли Вам подчеркнуть процесс какого действия в прошлом, настоящем или будущем или его результат.

His granddad was planting something in the small garden in front of the house.

Его дедушка что-то сажал в маленьком саду перед домом.

His granddad has planted something in the small garden in front of the house.

Его дедушка что-то посадил в маленьком саду перед домом.