When I... (see) John he ... (walk) down the road.

В данном предложении мы имеем дело с таким явлением, как согласование времён. Оно характерно для сложноподчинённых предложений, в которых сказуемое в главном предложении выражено одной из форм прошедшего времени (в нашем случае -  Past Continuous). Суть согласования времён заключается в том, что время глагола придаточного предложения зависит от времени главного предложения. Поскольку действие в придаточном предложении происходит одновременно с действием в главном предложении  мы будем использовать время Past Simple:

When I saw John he was walking down the road.