Почему x^2-11x+24=(x-8)(x-3), а не по формуле (a-b)^2?

Здесь действует другая формула
ax²+bx+c=a(x-x₁)(x-x₂), где x₁ и x₂ корни уравнения.
Рассмотрим наш случай.
x²-11x+24, сразу заметим что коэффициент при x² равен 1.
Найдём корни уравнения x²-11x+24=0.
Найдём по теореме Виета:
x₁+x₂=11
x₁*x₂=24
Легко можно подобрать корни это 8 и 3.
Теперь разложим по вышеприведённой формуле:
x²-11x+24=(x-8)(x-3)