Зависит все от того, для какой цели и какого объема флешка или жесткий диск нужны.
Что касается скоростных характеристик, несомненно жесткий диск быстрее, чем флешка.
Стоимость в принципе бывает разная, если нужна флешка среднего объема, например 32гб, то приобрести ее можно рублей за 450, а вот дисков такого объема не бывает, поэтому можно взять например на 320гб, только и стоить такой будет не менее 1.5-2тысяч(точнее не могу сказать, не приходилось приобретать этого объема).
Что касается надежности, то бывает всякое, однако флешка надежнее в плане различных видов воздействий, ведь на многое не способен жесткий диск(не выдержит падение, попадание жидкости и многое другое, а флешке от этого ничего не будет, ну я имею в виду конечно защищенную или же карту памяти, которая тоже флешка, но в некоторых случаях более быстрая).
А в плане обычного использования(по назначению), они на мой взгляд одинаково надежны и могут годами работать.
Поэтому приобретайте то, что вас больше устраивает, ведь каждая вещь нужна для своих целей.