Справедливо ли поступил Николай Алексеевич в рассказе "тёмные аллеи"?

В молодости Николай Алексеевич был сильно влюблен в красивую девушку из народа, но не мог жениться на ней. В то время так поступали многие молодые люди из высшего света, и общество не осуждало их за такие необязательные связи. Он мог взять в жены только девушку благородного происхождения. Спустя много лет хозяйка постоялого двора Надежда спокойно говорит, что она не простила его. У Николая Алексеевича после этих слов стало неспокойно на душе, он понимает, что нехорошо поступил с Надеждой. Но сословные предрассудки оказались важнее чувств.