Чтобы определить, как пишется: "не говоря" или "неговоря", раздельно или слитно, нужно узнать часть речи.
Не - частица,
говоря - деепричастие, образованное от глагола несовершенного вида "говорить", отвечает на вопрос "что делая?".
Правило русского языка гласит о том, что отрицательная частица "не" пишется с деепричастиями раздельно. Например, не подвинув, не поставив, не поправляя, не убедившись, не размешав, не попросив, не позволяя.
Исключения составляют случаи:
-если деепричастие без "не-" не употребляется. Например, негодуя, ненавидя, невзлюбив, неистовствуя, недоумевая.
-деепричастия с приставкой "недо-". Например, недооценив, недолюбливая, недодав, недопоняв.
Следовательно, частица "не" с деепричастием "говоря" пишется раздельно - "не говоря".