Издревле в деревенских кузнях существовали, помимо горизонтальных наковален, наковальни вертикальные. Которые состояли из неподвижной массивной части - наковальни. Плоскость наковальни на которой ковалось изделие была вертикальной. Вторая массивная продолговатая часть - молот, которая и называлась балдой была подвижной, подвешенной на четырех цепях, и напоминала качели, раскачивающаяся часть которых сохраняла горизонтальное положение. Эти массивные качели, при значительном раскачивании, доставали и ударяли торцем по наковальне или изделию которое ковалось. Раскачивание молота или точнее балды производилось с помощью веревок. Для избежания раскачивания молота (балды) в поперечном направлении для веревок монтировались кольцевые направляющие. Про человека (подмастерья) раскачивающего молот (балду) говорили - он балду гоняет.
Поэтому про бестолкового человека, если ещё при этом обладавшего значительной силой, так же, говорили - он больше ничего не умеет делать, ему лишь-бы балду гонять.
Подобную конструкцию имели, ранее существовавшие и применяемые при взятии крепостей, стенобитные машины. Где раскачивающаяся часть, например массивный ствол дерева, также называлась балдой.
Иногда встречается описание устройства для забивания свай, где груз падающий на сваю так же называется балдой. Такой груз так же поднимался с помощью веревок (канатов) и для поднятия требовалась большая сила.
У Александра Сергеевича Пушкина герой сказки назывался Балдой не за отсутствие ума, а за наличие у него огромной силы - «... с третьего щелчка вылетел ум ...».
Поэтому применять выражения, а тем более - балду валять (валять балду), балду пинать (пинать балду), балду бить (бить балду) я бы не советовал.
Справка из толкового словаря В. Даля
БАЛДА и БАЛДА ж. балдовина, большой, тяжелый набалдашник; шишка, нарост, большая блона; | ниж. лесная кривулина, толстое корневище, палица, дубина; | большой молот, молотища, кувалда, кулак, от 8 до 15 ф. | увесистая деревянная колотушка, разного вида; | трамбовка, ручная баба; ...