Жест, мягко говоря, неприличный, поскольку символизирует половой акт, так что семантика - нецензурная. Показывая этот жест в России, человек хочет сказать, что он кому-то в чем-то отказывает, при этом испытывая к оппоненту неприятие, а порой и презрение. Хотя в настоящее время к этому жесту относятся проще. Считается, что этот жест является оберегом от нечистой силы (не только в России, но и в Португалии, Бразилии, Сардинии). Почему-то все неприличное (жесты, мат) являются оберегом от нечисти.
Во Франции эта фигура из трех пальцев считалась неприличной; используется ли она в настящее время - неизвестно.
В Японии такой фигурой продажные женщины подзывали клиентов, показывая, что сейчас свободны и могут уделить ему время.
На Сицилии фига используется в детской игре и означает: "Смотри, я украл твой нос". Но вообще в Италии жест считается неприличным и обозначает женские половые органы.
В Турции и арабских странах этот жест является сексуальным оскорблением.
А вот в Индии человек, который показал фигу, просто пошел доить козу.
Как можно видеть, значения жеста разные, а, значит, и происхождение разное (скорее всего). Но в большинстве случаев можно говорить о том, что происхождение связано с сексуальной сферой и символикой.