When I... (see) John he ... (walk) down the road.

В данном предложении мы имеем дело с таким явлением, как согласование времён. Оно отличительно для сложноподчинённых предложений, в которых сказуемое в основном предложении выражено одной из форм прошедшего медли (в нашем случае -  Past Continuous). Сущность согласования времён содержится в том, что время глагола придаточного предложения зависит от времени основного предложения. Поскольку деяние в придаточном предложении происходит сразу с деяньем в основном предложении  мы будем использовать время Past Simple:

When I saw John he was walking down the road.