2Fe(OH)3+3Br2+10KOH=2K2FeO4+6KBr+8H2O

Можно ли KOH заменить на K2O и пойдет ли реакция?

Поясните

почему с оксидом нет

Протекание реакций овр зависит от ОВР потенциала (справочная величина), с оксидом этого потенциала хватит чисто на взаимодействие с гидроксидом железа, и все

И то, вы получите щелочь и оксид железа