Для начала вам нужно разобраться в принципах хранения информации на носителе, тогда остальное будет в определённом смысле элементарно.
На любом диске/прочем носителе существует такой раздел как MFT (Main File Table) - таблица адресов хранения непосредственно самих данных. Все файлы - это в определённом смысле ярлыки: когда вы копируете/скачиваете содержимое файла с ДРУГОГО носителя, на данный носитель в первое попавшееся "незанятое" место побитно записывается его содержимое, а в MFT просто добавляется запись о его месте расположения. Стандартное удаление (кнопочкой Delete и даже предложенный Shift+Delete) предполагает максимум удаление записи из MFT, при этом сами данные НИКУДА не деваются, система просто "перестаёт помнить", где они хранятся.
Таким образом, если вы хотите реально избавиться от самих данных, а не "освободить" место на диске, то единственная логичная мысль - записать прямо поверх этих данных что нибудь новое (да хоть последовательность из одних нулей, непринципиально). Реализовать данную возможность позволяют, пожалуй, только шредеры файлов, предложенные в некоторых ответах. При их использовании, естественно, не стоит забывать, что вся стираемая информация реально уничтожается: это даже не аналог тряпки для доски, а аналог закрашивания всей исписанной на доске поверхности тем же мелом, которым был написан текст.
Пара слов о форматировании. Вы когда нибудь форматировали диск/его раздел? Если да, то должны были заметить, что "многогиговый" (если не многотерабайтный) диск форматируется за считанные минуты. Давайте вспомним о скорости работы диска: если у вас HDD, то скорость его работы ограничена десятками мегабайт в секунду. Значит, даже на максимальной скорости записи он не осилит за пару минут и 5 Гб. А тут форматирует сотни и тысячи. О чём это говорит? О том, что форматирование не предполагает взаимодействие с самими данными, это всё та же очистка MFT. То есть, при грамотном подходе (в смысле, при использовании достаточно серьёзных низкоуровневых программ) данные вполне реально восстановить даже после форматирования.
Таким образом, существует от силы пара способов реального уничтожения информации: это либо критическое повреждение носителя (предложенная выше микроволновка), либо принудительная запись чего-либо непосредственно поверх ваших данных (реализуется посредством шредеров). Даже дефрагментация может не помочь, потому что нет никакой гарантии, что на "освобождённое" из под ваших данных место будет что-либо записано. Такие дела.