На каком уровне нужно знать математику, чтобы написать собственную операционную систему ?

Четыре класса, желательно.

Тут скорее на каком уровне нужно понимать как устроена архитектура компа. Процессор, и другие. Из математики достаточно будет простой арифметики

1 класс

На уровне Кнута!)

математика если честно на уровне арифметики достаточна в 99% применений в программировании. здесь не исключение. в системном программировании важнее знать архитектуру, методы, драйверы, подсистемы и т.п. математика где-то в конце