Конечно, нужно сходить еще к одному специалисту, все перепроверить.
Но и врача понять нужно, у него же есть определенные нормы для выпуска ребенка в детский сад, которые он не сам придумывает. Значит, есть нормативы, по которым ребенок который не говорит не может посещать общеобразовательное учреждение, вернее, обычную группу. Лениться ребенок или нет, здоров он или нет, но у него на данный момент особенность, которую грамотный врач не вправе пропустить и закрыть на нее глаза. Он должен все перепроверить, потому и направляет. Своей патологии он не нашел, вот и копает дальше.
Вам, вероятно, нужен логопедический сад, поэтому, это только к лучшему, пусть дефектолог даст специальное направление.
Советую не махать шашкой, а все таки, посетить посетить логопеда. И решить с этим вопрос. Даст логопед добро, вам и психиатр подпишет документы в сад.
Что касается лекарств- это личное дело каждого родителя, не хотите, не пейте. Но это тоже обычная практика, для улучшения мозговой деятельности их часто прописывают, когда речь плохая, правда, обычно неврологи. Это не препараты для психов.