Разложить многочлен на множители, используя метод выделения полного квадрата двучлена:
(4a²-12ab)+5b²

преобразуем
(4a^2-12ab+9b^2)-9b^2+5b^2=
используем формулу квадрата разности (2a-3b)^2-4b^2=
используем формулу разности квадратов (2a-3b+2b)(2a-3b-2b)=
упростим
(2a-b)(2a-5b)