Всё зависит от той функции, которую выполняет слово "начиная". А у него есть две функции: 1) деепричастия, 2) части сложного предлога "начиная с" (+ сущ. в род.падеже).
Правило гласит, что если после удаления слова "начиная" смысл предложения не изменится, то а) оно является частью предлога и, соответственно, не обособляется, т.е. не выделяется запятыми. Обычно этот предлог связан с понятием времени.
Но если слово "начиная" нельзя опустить без ущерба для смысла предложения, то оно является деепричастием с зависимыми словами, б) тогда этот деепричастный оборот обособляется, т.е. выделяется запятыми. Обычно этот оборот носит характер уточнения. Например:
а) Начиная с воскресенья шли дожди. С воскресения шли дожди.
б) Всю неделю, начиная с воскресенья, шли дожди.
