Так решил.
Выделяем в каждой дроби целую часть:
Переписываем уравнение с учетом этого и решаем.
Если что то неясно - спрашивайте.
Чтобы квадратное уравнение имело 2 различных корня необходимо, чтобы D > 0
B8 = 4
b11 = 0,5
S3 - ?
b8 = b1*q^7 = 4
b11 = b1*q^10 = 0,5
b1*q^7*q^3 = 0,5
4*q^3 = 0,5
q^3 = 0,125
q = 0,5
b1 = 4/q^7 = 4/(0,5)^7 = 512
S3 = (512*(1 - 0,5^3))/(1 - 0,5) = 896