Есть правило в нашем языке русском, что с наречиями на о частица не пишется то слитно, то раздельно.
Кстати здесь заметить, что это правило относится только к указанным наречиям, к наречиям на о.
Определяется же раздельное или слитное написание по некоторым признакам, например, по тому, можно ли подобрать синоним без частицы не.
Так для данного наречия такого синонима подобрать не представляется возможным.
Уже поэтому оно с частицей не пишется раздельно.
Всегда пишется раздельно. Так и только так: НЕ ОСОБО.
Например.
Анатолию не особо хотелось заниматься этим вопросом, но и отказаться было нелегко (то есть трудно).
Наречие ОСОБО образовано от прилагательного ОСОБЫЙ.
И прилагательное, и наречие считаются разговорными или просторечными вариантами.