найти координаты точки, симметричной точке А=(-1, 6, 5) относительно прямой, проходящей через точки В=(1, -1, 3) и С=(0, 1, 4).

Аналитическое решение довольно сложное.
Проще можно методом последовательного перехода в разные плоскости:
сначала определить в плане, а затем в вертикальных плоскостях, включающих исходную линию с точками В и С, а затем в перпендикулярной плоскости (см. приложение)