Я не физик (автор в курсе)), но могу порассуждать на эту тему. Если исходить из того, что релятивизм верен (как учение в целом, хоть и не все физики это признают), то чаще всего речь идет о разном течении времени на Земле (предположим) и на некоем объекте (космическом корабле, например). При этом рассматривают 2 возможности: время на корабле течет быстрее и время на корабле течет медленнее. Соответственно, говорят о том, что можно перемещаться в будущее или прошлое. Но в действительности это не так. Рассмотрим два примера.
ПЕРВЫЙ. Время на корабле течет медленнее, чем на Земле, в 10 раз. Соответственно, если на корабле пройдет 1 год, то на Земле пройдет 10 лет. Соответственно, экипаж после года полета переместится в "будущее" на 9 лет (один год минусуем, потому что они на год постарели))
ВТОРОЙ. Время на корабле течет быстрее, чем на Земле. В 10 раз. И если космонавты будут летать 10 лет, то на Земле пройдет всего один год. Но он пройдет, и космонавты, хоть и будут старше на 9 лет, все равно переместятся в будущее - на 1 год))
Более доходчиво об этом рассказал один физик по фамилии Катющик.
Но это еще не все точки зрения физиков на вопрос о перемещении во времени.
И о "парадоксах времени" вообще. Есть достаточно большая группа ученых, которые критически относятся к идее релятивизма в целом и к каждому из ее элементов в частности. (Почитать можно здесь). Не будем рассматривать критику каждого из парадоксов времени (принцип симметрии, наличие третьего наблюдателя и так далее), но в целом можно сказать, что с точки зрения этих ученых путешествия во времени невозможны в принципе.
И наконец, я выскажу свою точку зрения, не научную, а скорее философскую. По моему глубокому убеждению время - условность, идея, которую мы используем для удобства (в описаниях реальности и в прикладной деятельности). Оно не является ни физической величиной, ни даже мерностью в истинном смысле (ни геометрической и никакой другой). Соответственно, любые манипуляции с этой условностью возможны только на бумаге.