Люди разные, и ситуации, при которых сказана эта фраза, тоже бывают разные.
Одно дело, если человек устал и просто не хочет продолжать этот разговор.
Дело другое, когда разговор неприятен, и сам человек неприятен, то фраза будет сказана уже в другом ключе.
Ответы тогда будут совершенно разные.
не своевременный разговор:
1 конечно, конечно, давайте не будем. Я всё понимаю;
2 давай договорим в следующий раз;
3 мы не закончили, но давай перенесём на завтра;
4 я думал, что мы сегодня закончим эту тему, ну нет, так нет;
неприятный разговор:
1 а если будем, то давайте;
2 что значит не будем. Нет уж я всё скажу, что о тебе думаю;
3 то же мне цаца. Интеллигент липовый, а ещё шляпу надел!
4 ты мне рот не затыкай. Лови ответку - сам напросился;
5 ты чё? Берега перепутал?
6 я тебя не просил меня задевать.