Чем раньше, тем лучше, конечно. (Но надо быть готовым и к тому, что врожденные способности тут окажутся "не фонтан". И не воспринимать это, как трагедию. Ведь ребенок может оказаться и 100%-ным гуманитарием. Например, у меня был одноклассник, у которого в школе был почти полный завал по так называемым точным наукам, но зато в литературе он "шарил", как никто из нас. Была в нашем тогдашнем потоке целая когорта способных и очень способных ребят-девчат, но вот талантливым был только он один. В настоящее время он - видный писатель, широко представлен в Сети).
Итак, когда начнет лопотать, тогда и можно будет начинать. Сначала - простейшие арифметические операции в пределах десятка на камешках, каштанчиках, счетных палочках, потом перейти на написание цифр, на примерчики, сначала - в пределах опять же десятка, затем дойти до сотни, затем... потом перейти к задачкам типа "у тебя - столько-то того, у Пети - на 3 больше..."... Вот так примерно. Ну а в 5 лет уже будет более-менее ясно, есть ли выраженные способности, или... (Немаловажный момент: параллельно с арифметикой надо будет стараться выявлять и другие способности (к чтению-языкам, рисованию, музыке, спорту, да и таким вещам, как готовка, ведение дачного хозяйства и прочему)).