Почему лирический герой в стихотворении М.Ю Лермонтова "кавказ",дорожит памятью о Кавказе и тоскует по нему?

Потому что само стихотворение связано с воспоминаниями поэта. 

Именно сам Лермонтов прочувствовал всю нежность и трепетность имеено на Кавказе.

Самое первое впечатлене от красоты гор, на всю жизнь запечатленное в памяти, первая влюбленность, голос матери поющей колыбельную. Он вспоминает те минутки проведенные там, и наверное грустит о тех моментах, проведеных в горах.

Да же сам упоминая об этом в самом стихе: 

(«Чтоб вечно их помнить, там надо быть раз»)