Всё-таки, я разделила бы вопрос на два подвопроса (вы и сами это указали) - 1) "Ответ не нравится автору вопроса" и 2) "Ответ не по теме".
Если не нравится автору. Ну.. Это вообще всё субъективно. Нравится - не нравится, может и автор ответа сам, как личность, не нравится автору вопроса, или национальность автора ответа не устраивает... что ж теперь. Ну, не проголосует автор вопроса за такой ответ. Другие проголосуют. И мнение, если оно корректно высказано (не путать с враньём и ложной информацией), тоже имеет право на жизнь. Конечно, можно и минус получить, есть такие любители - ставить минусы за всё, что им не нравится. Но тут тоже не угадаешь. Разве что уже сталкивался с этим автором в похожей ситуации. А что делать? Ничего не делать, если ответ действительно по теме, но просто кто-то ним не доволен.
Если ответ не по теме. Бывает тоже по-разному. Например, человек увлёкся, у него там в голове пронеслись ассоциации и его переключило с одних слов и мыслей на другие. Наверное, нужно учитывать человеку, что с ним такое иногда приключается и впредь быть внимательнее. Если и действительно вышло совсем не то, что нужно, то можно отправить жалобу на свой ответ, выбрать п. "другое" и попросить модераторов удалить ответ по пункту правил 11.2 (удаление по личной просьбе), чтобы избежать минусов и удалений по другим пунктам, предусматривающим штрафы.
Но есть люди, которые отвечают не по теме почти всегда. Просто такие любители "поболтать" или отметиться. Что им с этим делать? Может к совести своей обратиться. Например, я получила ответ, совершенно не отвечающий на вопрос ещё и весь в красочных эмоциях - "Глупости, ерунда, такого быть не должно..", минуса не ставила. Ответ удалили, но товарищ добился его восстановления. И вот висит мой вопрос с этим ответом без ответа. Кому такой контент нужен?
Получается, что в каждом отдельном случае могут быть разные варианты решений.