По-моему, нужно просто с ними поговорить.
Если родители так переживают, значит в их глазах вы еще ребенок. Они не уверены, что с вами все хорошо. Как только появляется повод - не берете трубку - они сразу думают, что с вами что-то случилось.
Покажите им на деле, своими поступками, что вы уже взрослый человек. Возможно, сам факт того, что вы не отвечаете сразу они расценивают как безответственность, рассеянность и т.д., то есть то, что характерно для ребенка.
А также, конечно, объясните причины, почему вы не смогли во время ответить.