Чтобы ответить на данный вопрос, давайте сначала разберем имеющуюся фразу на части.
В ней есть отрицание не и наречие сразу. Как понять, что сразу - это наречие? Потому что оно по смыслу относится к глаголу и описывает его, придает окраску.
Например.
Пойти когда или как? Сразу.
Покушать когда? Прямо сейчас или не сразу?
Само по себе слово сразу не имеет смысла, если к нему не прилагается глагола, качество которого оно и определяет.
Ну а теперь и сам ответ. По правилам русского языка "не" с наречиями пишется раздельно, если это наречие существует и без отрицания "не". Если есть "сразу", то есть и "не сразу".
Правильный ответ: пишем раздельно, то есть, не сразу.