после упрощения выражение примет вид? 

используя формулы квадрата двучлена

синуса двойного угла

и основное тригонометрическое тождество, получим:

(cos a+2 sina)^2-2 sin (2a)-1=cos^2a+4sin acos a+4sin^2a=2sin(2a)-1=

=1+2sin(2a)+3sin^2 a-2sin(2a)-1=3sin^2 a

три синус в квадрате от альфа