Эти титулы возникли в раннее Средневековье, в период завоевания Западной Римской империи "германскими варварами", поэтому объединяют "германскую" и "романскую" компоненты.
После короля высшим титулом является герцог. Изначально это племенной вождь. Германское Herzog происходит от Heer Zlehen ("впереди войска"). Римляне называли варварских вождей Duce (отсюда, кстати, титул Бенито Муссолини - дуче, т.е. буквально "вождь" и старинная золотая монета "дукат", т.е. дословно "отчеканенный герцогом"), поэтому во Франции титул герцог - duc ("дюк", напр. Дюк де Ришелье, первый одесский градоначальник).
Первоначально аристократический титул герцога появляется как замена королевского после подчинения прежнего короля другому владетелю. По этой причине титул герцога предполагает не просто географическую привязку, а некую "этничность", т.е. владения герцога - это историческая область расселенеия того или иного народа (племени), вошедшая в состав более крупного государства.
Далее "князь". Этот титул встречается только в Священной Римской империи и в оригинале выглядит как Fuerst (фюрст), т.е. дословно "первый (после императора)". В этом плане фюрст это скорее не титул, а статус, дающий право заседать в Рейхстаге и участвовать в выборах императора (отсюда "курфюрст" - "князь-выборщик"). К "фюрстам-князьям" относились: герцоги, ландграфы, пфальцграфы, а также архиепископы и епископы, также участвовавшие в процедуре выборов императора.
Далее следуют графы, в немецком это Graf, у скандинавов и британцев ярл/эрл, у наследников Римской империи - Comes/Conte. Суть примерно одна - это назначенный королем администратор территории, типа нынешнего главы районной администрации. Изначально это была должность, которая со временем превратилась в наследуемый титул. В романских странах и Англии есть титул виконта, буквально это vice-conte, т.е. "заместитель графа". Изначально это так и было, но со временем титул виконта автоматически получали дети графа, а после смерти родителя старший из них становился новым графом, остальные по-прежнему были виконтами.
Наконец, самая низшая ступень - это барон (в Священной Римской империи Freiherr - "свободный господин"). Изначально это рыцарь, получивший за службу феодальное владение непосредственно от короля. Поскольку "свободные земли" появлялись в местах активной колонизации, например во время завоевания славянских и прибалтийских земель немцами , то именно в Пруссии и Прибалтике было особенно много баронов.
Остался ещё титул маркиза (Marquise), это романский аналог немецкого титула маркграф, т.е. "граф марки" - назначенный императором администратор вновь завоеванной пограничной территории с широкими полномочиями, в каком-то смысле аналог герцога с тем отличием, что герцог изначально был прежний владыка, присягнувший на верность королю, захватившему его земли, а маркграф/маркиз назначался королем, если представитель прежней династии отказывался подчиняться или был убит.