что определяет потенциал поля в данной точке

Он показывает, какую работу надо совершить чтобы переместить в эту точку единичный заряд из точки с нулевым потенциалом. Это если формально подходить. А по сути имеет смысл только разность потенциалов.