я перебрала все способы: алгебраическое сложение, возведение в квадрат, замена - ничего не получается. Мне кажется, нужно делать замену, но не х и у на квадраты переменных, а что-то другое заменять, заранее преобразовав уравнения системы

x+3 sqrt(y)=18
y+3 sqrt(x)=18

из 1 строки вычти  вторую, получишь
х-у+3(√у-√х)=0
х+3√у=18
2)(√х-√у)(√х+√У)-3(√х-√у)=0
3)(√х-√У)(√х+√у-3)=0
4)√х-√у=0             или √х+√у-3=0
     х+3√у=18                х+3√у=18
5)√х=√у                        √х=3-√у
     у+3√у-18=0
√у=3  √у=-6- постороний корень 
 у=9 тогда х=9

запишу решение 2 системы   √у=3-√х
                                                    х+3√у=18
                                      х+9-3√х-18=0
                                      х-3√х-9=0
 D=9+4*9=45 √х=3+3√5/2
 итак далее