В 1903—1915 годах обучался в МУЖВЗ у К. А. Коровина, А. Е. Архипова и В. А. Серова. В 1915 году был мобилизован в армию и до 1917 года находился на фронтах Первой мировой войны. Как нестроевой солдат, служил в санитарном поезде на южном (галицийском) фронте. После демобилизации, в 1918—1925 годах, жил и работал в Козлове.
В 1925 году переехал в Москву, вступил в АХРР, преподавал в Училище памяти 1905 года. Летом 1934 года получил творческую командировку на три месяца в Германию, Францию, Италию и Турцию. В 1939—1954 годах был председателем оргкомитета СХ СССР. В 1943 году передал свои личные сбережения, 50 000 рублей, в Фонд обороны. Один из первых кавалеров почётного звания «Народный художник СССР», учреждённого 26 июля 1943 года, наряду с художником Борисом Иогансоном, скульпторами Сергеем Меркуровым и Верой Мухиной. С 1947 года — действительный член, в 1947—1957 годах — первый президент Академии художеств СССР.
В 1951 году стал доктором искусствоведения. Один из крупнейших советских художников 1930-х — 1950-х годов. Увлекавшийся в молодости импрессионизмом, он в 1920-е годы начинает писать картины в жанре социалистического реализма. Картины А. М. Герасимова написаны яркими, насыщенными красками и часто посвящены советской и партийной истории.
Был любимым художником И. В. Сталина. Его портреты работы А. М. Герасимова при жизни вождя считались каноническими. Дружил с Ворошиловым, который бывал у А. М. Герасимова в гостях в Мичуринске. Герасимов написал много портретов К. Е. Ворошилова.
Был также книжным иллюстратором («Тарас Бульба» Н. В. Гоголя).
В мае 1949 год журнал «Огонек» поместил фоторепродукции картин и скульптур крупнейших западных модернистов, в том числе Сальвадора Дали с комментариями президента Академии художеств Александра Герасимова. Последний сообщал, что в полотнах ведущих буржуазных живописцев отражаются «идеи воинствующего империализма с его расовой ненавистью, жаждой мирового господства, космополитизмом, зоологическим человеконенавистничеством, отрицанием культуры, науки и подлинного реалистического искусства».
С началом правления Н. С. Хрущёва Герасимов был постепенно освобождён от всех постов, а картины художника были удалены из музейных экспозиций.
Александр Герасимов умер 23 июля 1963 года. Похоронен в Москве на Новодевичьем кладбище
