Окружающая их материя - при условии, что она подходит к области чёрной дыры достаточно близко.
Сама по себе близость ещё не приговор. В конце концов, чёрная дыра - это обычный массивный объект, принципиально ничем не отличающейся от звезды сопоставимой массы. Вокруг звёзд могут ведь вращаться планеты, да? Вот и вокруг чёрной дыры тоже могут вращаться какие-то объекты - планеты или просто облака межзвёздного газа.
Даже если объект, материя не вращается вокруг чёрной дыры, а просто мимо пролетает (ну вот залетали же к нам недавно два межзвёздных астероида...), это всё равно не приговор. Всякий объект, приходящий издалека, из бесконечности, движется по гиперболической траектории, то есть как прилетел - та и улетит.
Но тут есть тонкость... В области сильной гравитации начинают действовать эффекты Общей теории относительности. Они и в области слабой гравитации действуют - их приходится учитывать даже для гравитационного поля Земли, совсем песчинки по космическим меркам. Так вот, для объектов, вращающихся вокруг чёрной дыры или даже просто пролетающих мимо, следствием действия ОТО будет потеря энергии на излучение гравитационных волн. То есть всё, что вращается вокруг такого массивного объекта, теряет энергию и рано или поздно на него упадёт. Причём по космическим меркам это будет таки рано, какие-то миллионы лет, скорее всего даже меньше.
И даже для гостей из бездны, которые в классическом случае двигаются по гиперболической траектории и, стало быть, должны улететь прочь, потеря энергии может привести к гравитационному захвату и в конечном случае падению такого объекта в чёрную дыру.
Но, ещё раз, всё это происходит только в достаточной близости от чёрной дыры. А то многие полагают, что они способны засосать в себя чуть не всю галактику...