Скалярное произведение зададим по формуле
Здесь
- след матрицы, то есть сумма диагональных элементов, 
- знак транспонирования. Соответственно квадрат длины вектора (то есть матрицы A) равен
Ортонормированным базисом будет, например, базис, состоящий из матриц, у которых на одном месте стоит 1, а на остальных местах стоят нули. Только нужно помнить, что базис - это УПОРЯДОЧЕННЫЙ набор векторов (естественно, линейно независимых, через которые можно линейно выразить любой вектор этого пространства), поэтому Вы должны указать, в каком порядке эти матрицы будете располагать. Скажем, сначала матрица
, у которой в пересечении первой строчки и первого столбца стоит единица, а остальные нули, потом матрицы 
далее переходим на вторую строчку и так далее до последней матрицы 
.
В случае
скалярное произведение задается по той же формуле, только у второй матрицы элементы нужно заменить на комплексно сопряженные:
.
А ортонормированный базис будут образовывать те же матрицы
Здесь
Ортонормированным базисом будет, например, базис, состоящий из матриц, у которых на одном месте стоит 1, а на остальных местах стоят нули. Только нужно помнить, что базис - это УПОРЯДОЧЕННЫЙ набор векторов (естественно, линейно независимых, через которые можно линейно выразить любой вектор этого пространства), поэтому Вы должны указать, в каком порядке эти матрицы будете располагать. Скажем, сначала матрица
В случае
А ортонормированный базис будут образовывать те же матрицы