Но ведь вероятность, что x^2=1/4, 1/16 и др. одинакова, потому что одинакова вероятность х=1/2 и x=1/4 ...?

1 Куда делся квадрат в числителе и знаменателе окончательной формулы?
2 Для случайной величины ξ функция распределения определяется как Fξ(x), равная вероятности, что ξ <x
3 r - не константа, не известная величина, а случайная величина. С самого начала R было выражено через r и R_0, то есть является функцией от r. Задача - найти плотность распределения этой величины, зная распределение r.

найти плотность случайной величины R

Функцией распределения (ФР) (или интегральным законом распределения) СВ X называется числовая функция F(x) = P{X < x}, определенная для любых x [$8712$]R.
Плотностью распределения (ПР) (или дифференциальным законом распределения) СВ X называется числовая функция f(x), равная производной от ФР, если такая производная существует: f(x) = F'(x).

Ваше решение в отношении плотности вероятности величины R будет правильным, если удастся доказать, что интеграл от минимального до максимального значения R от произведения плотности вероятности R на дифференциал величины R равен 1. Это - необходимая проверка...

С уважением.