Отец — граф Константин Петрович Толстой, старший брат художника Ф. П. Толстого. Мать — Анна Алексеевна Перовская, воспитанница (внебрачная дочь) графа А. К. Разумовского. Она разошлась с мужем по неизвестным причинам сразу после рождения ребёнка. Вместо отца, Алексея воспитывал дядя по матери А. А. Перовский (Антон Погорельский), сочинивший для племянника сказку «Чёрная курица» о приключениях мальчика по имени Алёша.
Раннее детство Алексей провёл в Черниговской губернии, в имении дяди в селе Погорельцы Сосницкого уезда. С 10-летнего возраста мальчика возили за границу; путешествие по Италии 1831 года он описал в дневнике. Толстой принадлежал к детскому окружению наследника престола, будущего императора Александра II, вместе с которым в 1838 году ездил на озеро Комо. Впечатления этой поездки были использованы при работе над повестью «Упырь».
В 1834 году Толстого определили «студентом» в московский архив Министерства иностранных дел. С 1837 года он служил в русской миссии при германском сейме во Франкфурте-на-Майне, в 1840 году получил службу в Петербурге при царском дворе, в 1843-м — придворное звание камер-юнкера. В дальнейшем был пожалован придворными званиями «в должности церемониймейстера» (1851) и «в должности егермейстера» (1861).
В конце 1830-х — начале 1840-х годов написаны (на французском языке) два фантастических рассказа — «Семья вурдалака» и «Встреча через триста лет». В мае 1841 года Толстой впервые выступил в печати, издав отдельной книгой, под псевдонимом «Краснорогский» (от названия имения Красный Рог), фантастическую повесть «Упырь». Весьма благожелательно отозвался о повести В. Г. Белинский, увидевший в ней «все признаки ещё слишком молодого, но, тем не менее, замечательного дарования».
Зимой 1850—1851 года Толстой влюбился в жену конногвардейского полковника Софью Андреевну Миллер (урождённая Бахметева, 1827—1892) и вступил с ней во внебрачную связь. Брак их был официально оформлен только через 12 лет, в 1863 году, так как ему препятствовали, с одной стороны, муж Софьи Андреевны, не дававший ей развода, а с другой — мать Толстого, недоброжелательно относившаяся к ней.
После отставки со службы в 1861 году действительный статский советник Толстой только изредка наезжал в столицу. Жил в усадьбе «Пустынька» на берегу реки Тосны под Санкт-Петербургом (не сохранилась) или в ещё более далёком от столицы Красном Роге (Черниговской губернии, Мглинского уезда).
В 1860—1870 годах много времени проводил в Европе (Италия, Германия, Франция, Англия). Печатался в журналах «Современник», «Русский вестник», «Вестник Европы» и др. Сборник стихотворений вышел в 1867 году. За два года до смерти был избран членом-корреспондентом Петербургской академии наук.
28 сентября 1875 года, во время очередного приступа головной боли, Толстой ввёл себе слишком большую дозу морфия (который принимал по предписанию врача), что привело к смерти писателя.
Дом-музей А. К. Толстого в имении Красный Рог
Музей-усадьба Алексея Толстого расположена в Красном Роге. Здесь граф провёл детские годы, неоднократно возвращался в эти места в зрелом возрасте, здесь же и был похоронен. Детей не оставил
