Всё очень просто.
Оба слова имеют составляющую «поли-», которая означает «множество», «много». Это легко запоминается. Ещё просто и легко запоминается, что слова имеют какое-то отношение к брачной традиции, в которой у одной из сторон может быть несколько («много») партнеров.
А дальше начинается путаница. Впрочем, вполне объяснимая.
Дело в том, что традиция семьи с одним мужем и несколькими женами является всё же более распространенной. Поэтому она воспринимается как базовая, по умолчанию — и слово «полигамия» часто (даже в научно-популярных текстах) используется именно в таком значении («один муж + несколько жен»).
На самом деле вторая половинка этого слова — греческое «гамос» — означает «брак». Следовательно, термин «полигамия» переводится как «многобрачие» и применяется к любому виду семьи, в которой у супруга одного пола может быть несколько супругов другого пола.
Семья с одним мужем и несколькими женами правильно называется «полигиния». Вторая половина этого слова — «гине» — и значит «женщина», «жена». Запомнить эту половинку, собственно, не сложно — она точно такая же как в слове «гинекология» (а то, что это «что-то женское», кажется, в основном, знают все).
У некоторых народов существует еще одна форма «поли»-брака — с одной женой и несколькими мужьями. И для этого есть специальный термин — «полиандрия»: от греческого «андрос», то есть «мужчина, муж». Он «вылетает» из поля зрения по той простой причине, что многомужесттво — это более редкий, почти экзотический, вариант и даже упоминается он нечасто.
<hr />
Итак:
«Полигамия» — это «многобрачие», все семейные формы, где парнер одного пола один, а второго — много.
«Полигиния» — многоженство, форма полигамии, в которой у одного мужа несколько жён.
А ещё имеется "полиандрия" - многомужество, форма полигамии, в которой у одной жены несколько мужей.
Так что полигамия — термин более общий, охватывающий все формы "поли"-брака, а "полигиния" — узкий, описывающий только одну такую форму.