Сложно дать однозначный ответ на этот вопрос. Существует три, как минимум, версии происхождения этой фамилии. По самой простой и вероятно достоверной из них, корни этой фамилии крымские или донские. Похожее слово "ганжа", "ганджа", "гандж" на местных диалектах означало и остатки самагона (то есть прозвище давалось пьяницам) и изъян, ущерб, крюк (прозвище могла даваться горбатым, хромым, безруким), а у крымских татар похожее слово означало все-навсего "молодой".
Вторая версия относит происхождение фамилии в Закавказье, так называлась ханство, ее столица и даже река, на которой она стояла. Фамилии многих знатных людей часто образовывались от названий их владений и по этой версии Ганжа - дворянская фамилия.
Третья версия самая интересна. Ганжа - фамилия генуэзского происхождения. Ее основатель, епископ Валенсии Жером Перигорский, будучи рыцарем, еще в 10 веке, взял себе девиз "Мой герб - посох". епископский посох в романских языках обозначается словом "фашио" или "ганжо" и представляет собой сноп, увенчанный голубем святого духа. Генуэзцы имели свои колонии в Крыму и оттуда эта фамилия распространилась.