Здравствуйте, Kill_me_baby!
Вы двигались в верном направлении, неверно только вычислена вторая производная от y (в знаменателе должна быть вторая производная по x)

правда, формулу Тейлора можно переписать в следующем виде:
пусть F(x,y)=4*sqrt(y\x) + sqrt(x\y) - 5x^3*y^4; F(1,1)=F(x0,y0)=0
тогда формула Тейлора будет иметь вид
F(x,y)=F(x0,y0)+(x-x0)*dF(x0,y0)/dx+(y-y0)*dF(x0,y0)/dy+
((x-x0)^2)*ddF(x0,y0)/dxdx+2(x-x0)(y-y0)*ddF(x0,y0)/dxdy+((y-y0)^2)*ddF(x0,y0)/dydy+o(((x-x0)^2)+((y-y0)^2))
где
dF/dx=4*(-1/2)*sqrt(y)/sqrt(x^3)+(1/2)/sqrt(xy)-15(x^2)*y^4
dF(x0,y0)/dx=-2+1/2-15=-33/2
dF/dy=4*(1/2)/sqrt(xy)+(-1/2)sqrt(x)/sqrt(y^3)-5*4*(x^3)*(y^3)
dF(x0,y0)/dy=2-1/2-20=-37/2
ddF/dxdx=d(4*(-1/2)*sqrt(y)/sqrt(x^3)+(1/2)/sqrt(xy)-15(x^2)*y^4)/dx=
4*(-1/2)*(-3/2)*sqrt(y)/sqrt(x^5)+(1/2)*(-1/2)/sqrt(y*(x^3))-15*2*x*y^4
ddF(x0,y0)/dxdx=4*(-1/2)*(-3/2)+(1/2)(-1/2)-30=-27-1/4=-109/4
ddF/dxdy=d(4*(-1/2)*sqrt(y)/sqrt(x^3)+(1/2)/sqrt(xy)-15(x^2)*y^4)/dy=
4*(-1/2)*(1/2)/sqrt(y*x^3)+(1/2)*(-1/2)/sqrt(x*y^3)-15*4*(x^2)*(y^3)
ddF(x0,y0)/dxdy=4*(-1/2)*(1/2)+(1/2)*(-1/2)-15*4*=-1-1/4-60=-245/4
ddF/dydy=d(4*(1/2)/sqrt(xy)+(-1/2)sqrt(x)/sqrt(y^3)-5*4*(x^3)*(y^3))/dy=
4*(1/2)*(-1/2)*sqrt(xy^3)+(-1/2)*(-3/2)*sqrt(x)/sqrt(y^5)-5*4*3*(x^3)*(y^2)
ddF(x0,y0)/dydy=4*(1/2)*(-1/2)+(-1/2)*(-3/2)-5*4*3=-1+3/4-60=-241/4

F(x,y)=F(x0,y0)+(x-x0)*dF(x0,y0)/dx+(y-y0)*dF(x0,y0)/dy+
((x-x0)^2)*ddF(x0,y0)/dxdx+2(x-x0)(y-y0)*ddF(x0,y0)/dxdy+((y-y0)^2)*ddF(x0,y0)/dydy+o(((x-x0)^2)+((y-y0)^2))
=0+(x-1)*(-33/2)+(y-1)*(-37/2)+((x-1)^2)*(-109/4)+(x-1)*(y-1)*(-245/4)+((y-1)^2)*(-241/4)+o(((x-x0)^2)+((y-y0)^2))

Удачи!