Совсем наоборот (это ответ на вопрос; в разъяснениях к вопросу есть верные толкования фактов). Наилучшим образом познание языка и овладение им происходит, как говорил Корней Чуковский, "от двух до пяти" (см. его книгу с таким названием). И если в это время или чуть позже есть возможность погрузить ребенка в языковую среду - но лучше все-таки с небольшим опережением родного языка, пусть у родного будет преимущество над остальными! - воспользуйтесь этой возможностью. Даже игровое изучение языка на детских курсах или с индивидуальным репетитором в 5-7 лет даст больше, чем если начинать изучение в 5-м классе.
Пример из статьи по методике обучения языкам. Семья эмигрировала в Германию, с тех пор прошло 3 года, разговаривают брат и сестра. Брату на момент эмиграции было 5 лет и он впитывал язык, как губка, сестра несколькими годами старше, и у нее это естественное любопытство уже притупилось. Сестра: "Что в немецком убивает - запоминать, что какого рода." Брат: "Ничего тут сложного нет! Просто когда говорят der - это мужской род, die - женский, das - средний." Поняли юмор? Сестре именно то и сложно запомнить, перед какими словами говорят der, перед какими - das, а брат младше и еще может усваивать это автоматически, ему пришлось только выучить простое правило на материале хорошо знакомого языка. Примерно как мы по-русски легко усвоили столько падежей, что любой китаец прослезится, и только позже быстро выучили их названия.
Словом, сама идея о необходимости опоры именно на грамматику неверна. Как хлеб с маслом мы усваиваем, не изучив органическую химию и не зная формул, точно так же и языки! И наоборот: часто бывает - посади за стол человека, подкованного в химии и знающего, каких добавок в еду напихали, так у него кусок в рот не полезет... Точно так же и с языком: узнает 40-летний, изучавший в школе другой иностранный, как много в английском языке форм глагола, испугается и не сможет их выучить. А ребенок, создавая английские аналоги таких слов, как "идёмить" или "я намакаронился", "мы почайпили кофе" (см. Чуковского), за 2-3 года усвоит всю эту систему глаголов на всю жизнь.
Что касается забывания - я общался со стариками, у которых провалы в памяти и просто плохая память, все они говорят, что лучше всего помнят детские впечатления. Сам я быстрее забываю языки, изученные после 21 года. Но забытый язык и незнакомый язык - разные вещи. Забытый всегда можно освежить в памяти, уверенность, что сможешь употреблять его точно так же, как раньше, "не пропьешь"!