В принципе, не только Африка - и белых рабов было много, и других. Однако "белое рабство" не могло стать сколько-нибудь популярным, ведь применялось к людям, похожим на тебя самого и твоих подданных. Само по себе это правителей и купцов не остановило бы, но ведь тогда требовалось соблюдать некую видимость законности - осуждать на продажу за какие-то преступления, либо пленных - как, кстати, было в Османской империи, там разделение шло по признаку религии, и чуть раньше. Но чем больше отличий - тем лучше. Набеги на соседа - это опасно, особенно, если "достать" всех соседей, а преступники просто не дадут нужного количества рабов. Использовать же людей из менее развитых стран оказалось намного проще.
В Африке как раз тогда была эпоха войн всех со всеми, которую Европа и Азия пережили чуть раньше. Пленных было множество, девать их было некуда, и когда они стали приносить хоть какой-то доход, местные вожди восприняли это с радостью. Да с такой, что вскоре и своих подданных стали продавать. Индейцы, жители островов, австралийцы не могли стать хорошим источником рабов - кто в силу малочисленности, кто - в силу характера (умирали, но работать не хотели), кто - в силу воинственности и др. Порабощение африканцев оказалось наименее рискованным и наиболее прибыльным занятием.