Здравствуйте, Крачков Андрей Валерьевич!
Направление индукции магнитного поля прямого проводника в любой точке пространства перпендикулярно направлению проводника и перпендикуляру, опущенному из данной точки на проводник. В результате, на участки проводника контура, образующие дуги окружностей, лежащих в плоскости, перпендикулярной прямому проводнику (в том числе, в плоскости рисунка), с центром на прямом проводнике, магнитное поле прямого проводника не воздействует, так как в каждой точке дуги направление тока совпадает (либо противоположно) с направлением индукции магнитного поля прямого проводника.
Остаются только участки контуров, перпендикулярные прямому проводнику. На каждый точечный участок (длиной dl) этих проводников действует сила ампера
dF=BIdl=[$956$]₀I₀Idl/(2[$960$]R)
При этом эта сила направлена перпендикулярно плоскости рисунка и на участке, где ток течёт от длинного проводника, направлена от нас, а на участке, где ток течёт к длинному проводнику, направлена к нам.
Теперь переходим к моменту сил. Он может рассчитываться как относительно конкретной оси, так и относительно произвольной точки, как псевдовектор (если результирующая всех сил равна нулю - это в данном случае легко доказывается через симметрию, то псевдовектор момента силы не зависит от точки приложения).
Сначала рассмотрим момент сил относительно какой-либо точки, для того чтобы определить направление интересующей нас оси (оно совпадает с направлением псевдовектора момента сил). За точку отсчёта примем лежащую в плоскости рисунка точку длинного проводника. Выберем произвольно 2 одинаковых точечных участка контура, находящихся на равном расстоянии от проводника и рассчитаем действующие на них моменты сил относительно точки отсчёта. Нас интересует только то, что модули этих моментов сил равны, а направления псевдовекторов перпендикулярны прямолинейным участкам контура и таковы, что результирующий псевдовектор коллинеарен биссектрисе угла, образованного прямыми, содержащими прямолинейные отрезки контура - это и есть искомая ось. На рисунке найденная ось горизонтальна.

Собственно, теперь находим момент силы относительно найденной оси. Если точка прямолинейного участка контура находится на расстоянии R от прямого проводника, то её расстояние до оси равно r=R[$183$]sin[$966$]
тогда момент силы, создаваемый точечным участком контура, dM=r dF=R[$183$]sin[$966$][$183$][$956$]₀I₀Idl/(2[$960$]R)=sin[$966$][$183$][$956$]₀I₀Idl/(2[$960$])
Интегрируем от a до b, учитывая, что силы Ампера, действующие на оба прямолинейных участка контура, создают равные моменты силы.

Подставляем значения:
I₀=3 A
I=2 A
a=0.4 м
b=1.2 м
[$966$]=30 [$176$]
Получаем
M=9.6[$183$]10^-7 Н[$183$]м