When I (подошел к) the baker I (вспомнил) that I (оставил) the money at home

По смыслу предложения действия \"подошел\" и \"вспомнил\" происходят в один момент прошлого - Past Simple. 

\"Оставил\" случилось раньше этого момента в прошлом и уже завершилось - Past Perfect. 

When I came to the baker I remembered that I had left the money at home.