К какой системе принадлежит число 100D?

Здравый смысл говорит, что к k-ичным при k >= 17.

В шестнадцатеричной последняя цифра F, за буквой F в латинском алфавите следует буква G, которая у вас использована. Буквы, которые в алфавите следуют после G, у вас не использованы.

Однако, отмечу, что система счисления - всего лишь метод записи чисел, и даже позиционность не накладывает ограничений на то, какие значки там играют роль цифр.

Вы можете взять, например, взять вот так упорядоченное множество цифр:

D, 1, 2, 3, 0, G, 6,

использовать его в семиричной системе счисления и долго радоваться, что "обманули" учителя, за что он вам по доброте душевной вкатил двойку.