Корень-то у них общий - "двор". Дворник этот двор убирает, а дворянин изначально прислуживал монарху при его дворе, то бишь хозяйстве. Даже должности были соответствующие: кравчий (подливал вино на пирах), конюший, постельничий, оружейничий, дворецкий, казначей, печатник и т.д. Естественно, прислуживать брали не абы кого, а людей из ближнего окружения, аристократов. Со временем утилитарные прежде должности стали чинами в государственной иерархии. Например, конюший, некогда ведавший конями правителя, стал высшим чином - аналогом премьер-министра, казначей, считавший в сундуках княжеские богатства, стал министром финансов и т.д.
А человек, допущенный до ближайшего круга правителя - его двора - стал официально именоваться дворянином. Кстати, до 18 века так называли только тех, кто проживал непосредственно в столице, при дворе. Остальные были помещиками, воеводами, дьяками, городовыми чинами - в целом провинциальной знатью, но не дворянами. Лишь после петровских реформ дворянство было распространено на всю аристократию, включая элиту народов, вошедших в состав России, например, татарские мурзы получили русское дворянство.