Действительно, люди часто путаются в этом вопросе. Если подходить строго математически, что цифры - это математические знаки: 1, 2, 3, 4, 5, 6, 7, 8, 9, 0.
А 10 - это уже число, состоящее из двух цифр: единицы и нуля. Все, что больше 9, - в любом случае, числа, а не цифры.
Знаки меньше 9 могут быть и числами, и цифрами. Например, если знак 5 не подразумевает вопрос "чего?", то это просто цифра 5. А если мы к ней добавим "яблок", получится число 5, так как оно стало обозначать количество.
Общее правило такое: числа - это количественные величины, с помощью которых ведется счет. А обозначаются они цифрами. Но это в строго математическом смысле.
В русском языке цифры ведут себя не совсем так, как в математике. Есть такие выражения: "цифры и факты", "доказать с цифрами в руках". Кто-то также может сказать: "Мои расходы составили солидную цифру". Таким образом, в современном русском языке слово "цифра" обозначает еще и некий показатель, выраженный в числах.
А в старину слово "цифирь" обозначало "арифметика, счет".