Если вас так уж сильно волнуют эти оценки, то выход, по-моему, один. Тренироваться дома с ребенком. Выделять на эти цели минут по 20, лучше, конечно, каждый день.
Математические диктанты обычно проводят в начальной школе, значит, можно упражняться во время прогулки или по пути куда-нибудь (в гости, на занятия в кружках и т.д.).
Если вы работающая мама и таким образом позаниматься с ребенком затруднительно из-за загруженности на работе, можно привлечь репетитора. Этот вариант более дорогостоящий, но и более результативный.
Учителю в этой ситуации говорить ничего не нужно. Педагог и так все прекрасно видит - кто тугодум, а кто лентяй. Математический диктант очень полезная тренировка для всех учеников.
Главное, чтобы ваш ребенок в этой ситуации не потерял веру в свои силы и способности. Хвалите его за любой, даже незначительный, успех в устном счете (радуйтесь даже тройке поначалу) и со временем все наладится.