Расстояние между точками A и B равно 2. Найдите множество всех точек M , для которых AM^2+BM^2=20

Можно решить и не векторным методом, а системой уравнений.
Если точку А поместить в начало координат, а точку В на оси ОХ, то для отрезков АМ и ВМ получим систему:

Суммируем и приравниваем к².
Получаем 2х²-2ах+2у² = к²-а².
Выделяем полные квадраты и получаем уравнение окружности:

Центр окружности в точке ((а/2);0) и радиус равен √((2к²-а²)/4).
Для данной задачи центр окружности в точке (1;0) и радиус равен √((2*20-4)/4) = √(36/4) = 3.