Всего 10 способами:
одну книгу на первую полку а вторую можно положить на 2,3,4 и 5 полки
одну книгу на вторую полку а вторую на 3,4 и 5 полки.
Аналогично для первой книги на 3 и 4 полках