С чем носить, Вам уже так подробно расписали, что и добавить нечего. Скажу, с чем не носить - с кружевной блузочкой, с туфлями, в которых открыты пальцы, с любыми нарядами, в которых блещет люрекс и латекс. Наличие такого элемента одежды предполагает стилистическую адекватность всего остального гардероба, поэтому перечисленные выше "нельзя" приберегите для каких-нибудь других комплектов, ведь жизнь многообразна, для разных ситуаций - разные образы.
А теперь о другом - о русском языке. Пиджак - это для мужчин, а у женщин бывает только жакет, даже если он выглядит словно снятым с мужчины (о чём и говорит определение "бойфренд"). Разве только Вы действительно стащите пиджак с мужчины, тогда да - Вы надели пиджак. Во всех остальных случаях Вы одеты в жакет (или на Вас надет жакет, или Вы надели жакет), как бы мускулинно он ни выглядел по велению моды.
Путаница по этому вопросу проникла даже в некоторые словари, но я предпочитаю верить моим двум старым школьным учительницам, а также А. Васильеву и Э. Хромченко в придачу, настаивающим на таком гендерном размежевании семантики этих слов в каждом "Модном приговоре", на котором жакет только бывает. При этом если за пиджаком некоторые словари усматривают возможность быть женским, то мужских жакетов не бывает даже в таких смелых (или запутавшихся в родах и полах) изданиях.