Обжалуйте решение суда - рассматривать будет другой судья - "вышестоящий". Полагаю, что Вас смутили правила подачи апелляционной жалобы - жалоба подается в вышестоящий суд, но через суд, принявший решение по первой инстанции. Поэтому у вас могло сложиться впечатление, что рассматривать будет тот же судья. Однако это не так. Рассматривать вашу жалобу будет другой судья, поэтому заявлять отвод на данном этапе нет оснований.
Если уж совсем на пальцах, то "первый судья" просто передаст ее "второму судье" - вышестоящему, да и то не лично, а через курьера, единственное, что делает "первый судья" - это несколько облегчает работу "второму" (например, если Вы не оплатите госпошлину за жалобу, то первый второму ее просто не передаст, а вам вернет, установив срок для оплаты пошлины.) А на доказательства ваши и аргументы "первый судья" не смотрит, это будет делать "второй судья". "Первый судья" только проверяет оплатили ли вы пошлину и поддается ли ваша жалоба прочтению. После чего, передает вашу жалобу "второму судье", который рассматривает вашу жалобу по существу. В Вашем случае, это будет даже не один "второй" судья, а коллегия из трех судей (поскольку сумма иска у вас больше 300 т.р., то первое дело рассматривал районный судья, а не мировой судья). Если жалоба на мирового, то рассматривает ее один районный судья, а если жалоба на районного, то рассматривают три судьи областных (коллегия из трех судей). Такая система в судах общей юрисдикции. В арбитражных судах, в принципе аналогично - жалобу рассмотрит коллегия из трех судей, но никак не "тот же самый" судья.
Если по существу, то кто кому звонил принципиального значения не имеет, важна только расписка. Вам необходимо было оспаривать расписку, это очень непросто: например это могла быть например, экспертиза почерковедческая за ваш счет, которая бы показала, что расписку вы писали в мягко говоря "необычном состоянии" (страх, алкогольное опьянение и тп., здесь лучше проконсультироваться у экспертов) или заявление в полицию должно было быть написано в тот же день когда из вас "выбили" эту расписку, а не через продолжительное время после ее написания. Полицию надо дожимать, для этого толковый адвокат нужен. Если ничего из этого нет, то успех маловероятен. Сейчас у вас есть и другая насущная задача - выводить свое имущество из под удара, чтобы на него не обратили взыскание. А обжалование поможет, если не установить истину, то - выиграть время. Удачи!