Все буквы русского алфавита по своей сути являются письменными знаками, обозначающими определенные звуки, кроме двух знаков - мягкого и твердого, которые не звучат, но выполняют каждый свою функцию.
Мягкий знак пишется после согласных букв и смягчает их:
укрась, залезь, фасоль, плетень, пароль.
Мягкий знак разделяет гласные и согласные в середине слова, например:
пьедестал, каньон, лягушачья, девичье, соловьиный, серьёзный, бурьян.
Кроме того, мягкий знак является маркером существительных женского рода в отличие от существительных мужского рода.
Сравните:
мышь, ночь, картечь, ветошь, блажь, плешь;
нож, камыш, обруч, малыш, борщ, плащ, стеллаж, экипаж.
Так что мягкий знак - это буква (но безголосая) русского алфавита.