Если считать антонимом грубости нежность или утонченность, то, даже по логике, да.
Дух, безусловно, тоньше материи, в противопоставлении Дух - Материя дух выступает, по крайней мере, "тонкой материей", а материальное - символом незамысловатого существования (деньги, жильё, еда и т. п.).
Другое дело, что находятся некто (материалисты), и их много, которые настаивают, что мысли или дух - это, якобы, тоже материя, только более тонкие её формы; с другой стороны, если это тонкие, утонченные, формы материи, то это также означает, что материализм, всё равно, более груб, чем идеализм. Ведь разве не найдутся и люди, которые считают, что материя - мысленна - имеет мысленную природу, то есть, материя - это, как бы, оледенелая, несклонная к большой подвижности застывшая форма мысли?
Во всяком случае, гораздо легче произнести "вульгарный материалист", чем сказать "грубый идеалист".