Коричневый свитер, как мне кажется, наиболее красиво выглядит с брюками (юбкой) тёмно-бирюзового цвета. Лично мне данное сочетание представляется наиболее выигрышным, особенно в том случае, если при этом ещё использовать какие-то аксессуары аналогичного, тёмно-бирюзового оттенка.
Также совсем неплохо смотрится коричневый в сочетании со светло-бежевым, песочным, персиковым, приглушённым (либо ярким - в зависимости от интенсивности тона свитера) оранжевым, изумрудно-зелёным, горчичным, жёлтым, сине-голубым (оттенка "деним"), коралловым, светло-розовым, и даже сиреневым цветом - тут нужно смотреть на цвет свитера и отталкиваться от оттенков коричневого цвета (они могут быть различными).
Если свитер однотонный, "низ" вполне может быть пёстрым, многоцветным, с обязательным присутствием в рисунке цвета, повторяющего цвет свитера. Можно и "леопарда" использовать внизу, если оттенки совпадают. Соответственно, если расцветка свитера пёстрая, "низ" подбираем однотонный (одного из тех цветов, что имеются в узоре свитера). Либо "деним".