Если это сочетание, стоит в начале предложения, на месте вводного слова, то оно выделяется запятыми, так как и является вводной конструкцией. Проверить это можно за счет того, что если вы его уберете, то по сути, ничего не изменится.
Например: Рано или поздно, но я брошу курить. (Если вы его уберете, то ничего принципиально нового, не получится и смысл, по сути, останется прежним.
Конечно, бывают такие случаи, когда эта фраза, несет в предложении, свой прямой смысл, то есть, либо рано человек что то сделает, либо поздно, тогда как вводное слова, его выделять нет необходимости по норме русского языка.
Например: От того, насколько я буду свеж, зависело от того, рано или поздно я лягу спать, сегодня вечером.