문제에서 p는 1사분면에 있다고 하였으니 그림은 살짝 오류가 있지만 수식으론 문제가 없으니 그냥 진행하겠습니다.
일단, 산술기하를 실제로 의미있게 사용할 수 있는 경우는 두 함수의 합 또는 곱이 상수로 나올 때입니다.
즉, 산술기하의 좌변과 우변 중 하나는 상수로 나오는 경우 의미가 있습니다.
예를 들어, 치역이 양수인 두 함수 f(x), g(x)를 가정했을 때(이하, 편의상 f, g라 하겠습니다.) 산술기하의 등호가 성립하는 경우는 f=g이지만 그 때가 꼭 f+g가 최소이거나 fg가 최대인 경우는 아니거든요. 이건 그래프를 직접 그려서 확인해보셔도 좋습니다.
어느 한 쪽을 상수화 할 수 없다면 일반적으로 산술기하는 사용하지 않는 것이 좋습니다.

________________
저 문제에서 학생이 구해야 하는 값은 81/a^2 + 16/b^2 의 최솟값입니다. 첫 번째 도입했던 산술기하에서는 좌변도 우변도 상수가 아니라 변수인 상황이란 얘기죠. 이 경우 사용할 수 있는 것은 사실 고1 산술기하 처음 배울 때 나오는 테크닉입니다. 변수가 역수 관계가 있다면 곱이 상수가 나오는 것을 이용하는거죠.
1x(81/a^2+16/b^2) = (a^2 / 9 + b^2 / 4)(81/a^2+16/b^2) = 13+(16/9)(a^2/b^2)+(81/4)(b^2/a^2) 입니다. 여기서 뒤에 식에서 변수가 역수관계이니 산술기하를 써서 정리하면 최종적으로
1x(81/a^2+16/b^2) ≥25 로 한 쪽을 상수화 할 수 있으므로 답이 나옵니다.

____

추가로, 학생의 풀이가 왜 틀렸는지 보겠습니다.
산술기하를 두 개 쓰고 모두 등호를 성립시킨 상황이예요. 즉, 아래쪽에서 구한 (a^2 / 9 + b^2 / 4)≥ab/3 에서 등호를 성립시켰으니 2a=3b여야 하고, 위의 (81/a^2+16/b^2) ≥72/ab에서도 등호를 성립시켰으니 4a=9b여야 합니다. 이 둘을 동시에 만족해야해요. 불가능하죠? 그래서 실제로 불가능한 상황입니다.

실제로 ab=3 조건을 통해 2a=3b를 구하고, 이를 처음 점 p에 도입하면 p((2/3)b, b)인데 이걸 다시 포물선에 대입해서 값을 구하면 b=sqrt{2}이고 다시 이를 x, y절편 값에 도입하여 절편끼리의 길이를 구해보면 학생이 구한 sqrt{26}이 안나옵니다.

____________

결론 – 산술기하를 두 번 쓰는게 문제가 아니라, 산술기하를 두 번 쓴다면 등호성립조건을 두 번 다 만족해야하는데 보통이라면 a=0, b=0에나 가능할 조건. 그래서 안됨. 산술기하를 의미있게 사용하려면 내가 구해야하는 수식을 포함시키면서 부등식의 한 쪽이 상수로 나오게 만들어야 함.

학습에 도움이 되었기를.
감사합니다