Начну, пожалуй, сразу со второй части вопроса. Полагаю, что объяснить верный ответ применением какого-либо грамматического правила нашего родного языка вряд ли получится. Сочетаемость слов формируется исторически. Носители языка, как правило, чувствуют этот момент интуитивно. Речь о достаточно взрослых людях. А вот малыши частенько ошибаются, сочетая слова, употребляя неправильные падежные формы и так далее, потому что у них еще мало опыта.
Имя существительное инструкция сочетается как с предлогом по, так и с предлогом к. Все зависит от того, какое слово идет после предлога.
Инструкция может быть по применению, выживанию, охране труда, эксплуатации, технике безопасности, оказанию помощи и много чему другому.
В то же время инструкция к лекарству, вакцине, телефону, бытовой технике и т.д
Если говорить конкретно о словосочетании из вопроса, то правильно инструкция по применению.
