Именно провайдеру об этом и следует сообщить. По телефону, на сайт провайдера в техподдержку, можно прийти к ним в офис. Желательно с договором и паспортом.
Насчёт расторжения договора провайдера можно напугать только в большом городе, где их 10-15 и они составляют друг другу конкуренцию. А в небольшом городишке (а таких намного больше), где имеется 1-3 провайдера, расторжением договора напугать их навряд ли удастся. К тому же договоры оформляются так, что скорость они могут указывать, например, "до 100 Мбит/с". Вот на это словечко "ДО" они частенько и ссылаются.
Тем не менее, сначала надо разобраться в причине, а потом уже идти к провайдеру.
У меня, когда я заметил падение скорости, то первым делом прошёл по всей кабельной линии - от своей квартиры до оборудования провайдера в подвале нашего дома и обнаружил, что кабель уже представляет собой не целый кусок, каким он был при прокладке, а в него уже вставлены 2 разъёма-коннектора - то есть, кабель уже обрывали в двух местах. Один разъём оказался прямо на полу лестничной клетки! То есть, при мытье полов в подъезде контакты разъёма могли окислиться. Поэтому я пошёл к провайдерам и попросил заменить мне весь кабель заново, что они и сделали. Единственный вопрос с их стороны был такой: а как я всё это обнаружил? Я ответил: "Ну, ребята, я работаю связистом более 30 лет - что ж я, не увижу, целый кабель, или нет?" Больше вопросов не было, и скорость сейчас в пределах нормы.