Думаю, что нужно провести параллель с другими словами.
Например, "дверь автобуса" или "двери автобусов"?
Дверь в автобусе может быть одна, и тогда мы скажем "дверь автобуса", то есть что? - дверь, дверь чья? - автобуса.
А если дверей много, то есть автобус имеет много дверей? Тогда логично заключить, что каждая дверь принадлежит этому конкретному автобусу, поэтому мы говорим "двери автобуса", а не "двери автобусов".
Теперь с орангутанами.
Самца можно назвать "самец-орангутан", но также можно и "самец орангутана". То есть самец принадлежит к виду орангутанов. И все самцы тоже принадлежат к одному виду орангутанов. Как двери в автобусе принадлежат одному автобусу, так и самцы вида орангутанов принадлежат к одному виду "орангутан".
Поэтому мне представляется логичным говорить "самцы орангутана", а не "самцы орангутанов".
Если бы в нашем примере с дверями было бы много автобусов, и мы вели бы речь о дверях на разных автобусах, то можно говорить "двери автобусов".
Если бы видов орангутанов было несколько, то точно так же можно было бы сказать "самцы орангутанов", то есть они принадлежат к разным видам орангутанов. Но вид орангутанов только один - "орангутаны", поэтому в данном случае нужно всегда говорить "самцы орангутана", то есть самцы, принадлежащие к этому одному виду.