Самый простой вариант - функция деления по модулю 3
значения функции 0, если число делится нацело на 3
1, если в остатке 1
2, если в остатке 2
Более сложный вариант 2 - остаток от деления на 3
значения также 0,1,2
3x+ay=5 x=1 3*1+a*1=5 3+a=5 a=2
7x-by=6 y=1 7*1-b*1=6 7-b=6 b=1
Ответ: a=2 b=1.