Почему коммуникативными могут быть только квадратные матрицы?

Это относительно умножения, а относительно сложения, наверное, по-другому

Относительно сложения коммутативность присутствует всегда, когда оно определено - для этого оба размера матрицы должны совпадать, но при этом "квадратность" не требуется.

То есть должно быть поле, а не кольцо

Скорее да, чем нет. Я, честно говоря, особо в такую теорию никогда не лез, но какие-то воспоминания все же остались.