По какой формуле можно найти расстояние между точками (например между точкой А(1;5) и В(1;-5) )
в системе координат?

Нужно из координаты точки А вычесть координату точки В, то есть координата х=х1-х2 , а координата у=у1-у2

получится (0; 10)