Ну а как определяют массу любых других небесных тел? Массу Марса хотя бы?
Наука умеет много гитик. Наука умеет открывать законы природы и применять их. В частности, законы Кеплера и закон всемирного тяготения.
Расстояние до Марса определить не штука, вот как раз по закону Кеплера. Зная расстояние до Марса и измерив угловое расстояние от Марса до его спутника (к примеру, Фобоса), можно определить и абсолютное расстояние Фобос - Марс. И тогда по этому расстоянию, периоду обращения Фобоса и закону всемирного тяготения враз вычисляется масса Марса. Школьного уровня задачка.
И то же самое можно проделать и с любым астрономическим объектом. Для этого надо измерить, как данный объект влияет на другие.
Чёрные дыры крайне редко бывают абсолютно одинокими. Практически всегда поблизости найдется какой-нибудь другой объект. Например, другая звезда. Или межзвёздный газ. Даже свет, проходящий мимо. И по влиянию чёрной дыры на эти объекты - по тому, с какой скоростью движется газ, по параметрам движения соседних звёзд, по степени отклонения света под действием гравитации чёрной дыры... - и удаётся оценить её массу
Конечно, для получения окончательной оценки надо знать расстояние до чёрной дыры. Но астрономы научились измерять эти расстояния с приличной точностью. Правда, это уже совсем другая история...