Благодарю Вас за уточнение. В Вашем распоряжении есть координаты пяти точек и общее уравнение кривой второго порядка, в котором шесть коэффициентов. Разделите обе части этого уравнения на свободный член. Тогда получите новое уравнение, в котором свободный член равен 1. Дальнейшее, я думаю, Вам понятно...
Об авторе:
Facta loquuntur.