Этому есть историческое объяснение, связанное с морфемикой и словообразованием.
Суффикс "-ец-" в русском языке - один из самых продуктивных, многозначный, имеет, по крайней мере, 7 разных значений в именах существительных, в том числе - и интересующее нас - название человека по его виду, род занятий.
Существительные "чтица" и "жница" - варианты женского рода от "чтец" и "жнец", образование у этих слов отглагольное: тот, кто читает - чтец/чтица, тот, кто жнёт, - жнец, жница.
Суффикс "-ей-(еj) в словах "ворожея" (ворож/е[й/а] и "швея" (шв/е[й/а]) является непродуктивным, более древним.
С развитием языка более активный и продуктивный суффикс "-ец-" стал доминирующим.
Немного интересной и важной информации.
Синонимичные формы зафиксированы во фразелогических оборотах, напр.:
В ономастике синонимичный суффикс видим и в фамилии Швецов.
Привычное "жница" имеет просторечный местный вариант - "жнея".
См. словарь С. Ушакова:
У существительного женского рода "ворожея" есть вариант мужского рода: ворожей.
См. словарь Т. Ефремовой:
