Уважаемый Olimjon.
Из изложенного в вопросе смею заключить, что Вы изначально выбрали неверный путь, взяв за основу способ формирования выделения по инструменту «Прямоугольная область» с растушёвкой границ.

В своём ответе я буду ориентироваться на русскую редакцию PhotoShop CS2, поскольку Вы не указали версию, которой пользуетесь Вы.

В редакторе есть замечательная возможность формировать выделение самой произвольной конфигурации на основе векторных фигур с помощью кривых Безье. А поскольку Вам необходима область выделения в виде прямоугольника с закруглёнными углами, сам Бог велел обратить внимание на инструмент «Прямоугольник со скруглёнными углами». Это векторная фигура и находится в подгруппе инструментов «Произвольная фигура» («Пользовательская фигура», «U») на панели инструментов.
Для того, чтобы «добраться» до искомого инструмента Вам необходимо поставить курсор на панели инструментов на пиктограмму «Произвольная фигура» (под инструментом «Текст»), нажать левую мышь и задержать клик одну-две секунды. В результате подгруппа раскроется в виде выпадающего окошка, из которого Вы и будете в состоянии выбрать искомый инструмент.

1. Откройте в редакторе исходник, возьмите на панели инструментов «Прямоугольник со скруглёнными углами» (описанный выше). Теперь обратите внимание на панель параметров (под строкой меню). Для данного инструмента рационально выбрать режим «Контуры» (средняя из трёх пиктограмма в виде квадратика с пёрышком внутри). Далее в этой же панели параметров правее вы имеете возможность лицезреть ещё один определяющий параметр «Радиус».
Это как раз и есть радиус скругления углов, выраженный в пикселях.

2. Задайте (опционально) необходимый радиус, введя его от руки в соответствующее поле, или, поставив курсор на слово «радиус» и нажав ЛКМ, подвигайте мышь влево и вправо (курсор примет вид горизонтальной двунаправленной стрелки), наблюдая за тем, какое значение в численном поле при этом отображается. Остановитесь на необходимом, отжав мышь.

3. Теперь перейдите к Вашему исходнику. Поставьте курсор в то место на холсте, которое по Вашему замыслу будет соответствовать левому верхнему углу создаваемого выделения. Нажмите ЛКМ и ведите диагонально инструмент по холсту по направлению к нижнему правому углу изображения. Как только Вы поймёте, что формируемая Вами фигура соответствует задуманному, отпустите мышь.

Собственно, если Вы не добьётесь с первого раза желаемого результата, впоследствии не составит труда трансформировать полученное выделение.

4. Итак Вы получили некую фигуру на изображении в виде прямоугольника со скругленными углами.

5. В палитре слоёв перейдите на вкладку «Контуры». Обратите внимание на нижнюю часть палитры (строка управления). Среди «всего прочего» там имеет место быть некая пиктограмма (третья слева) в виде кружка, состоящего из отдельных точек – «Загрузить контур как выделенную область».
Кликните по ней один раз ЛКМ. Ваш контур превратился в область выделения.

6. На панели инструментов активируйте любой (неважно какой) инструмент выделения, например «Прямоугольную область». Поставьте курсор внутрь выделенной области и нажмите правую мышь. Из открывшегося контекстного меню выберите «Скопировать (вырезать) на новый слой».

7. В палитре слоёв перейдите вновь на вкладку «Слои», где Вы и наблюдаете, что Ваша выделенная область «перешла» на новый слой, при чём её границы абсолютно резкие.

8. На основе описанного подхода, думаю, несложно догадаться, как создать рамку с чёткими краями.
Например так.

На шестом шаге приведённого алгоритма из контекстного меню (вместо «Скопировать на новый слой») выберите «Выполнить обводку». В открывшемся окне задайте параметры команды и цвет обводки, подтвердите. Нажмите «Ctrl»+«D», чтобы снять выделение.

9. Теперь, поскольку Вы задавали цвет обводки, в палите инструментов у Вас данный цвет загрузился в качестве основного. Если по каким-либо причинам этого не произошло, с помощью пипетки возьмите цветопробу, кликнув пипеткой по рамке обводки.

10. Пройдите «Выделение» – «Цветовой диапазон». В открывшемся окне задайте выделение «По образцам», небольшой разброс (порядка 20) и подтвердите. Ваша рамка выделится. Скопируйте выделение на новый слой...

Посмотреть иллюстрации (ссылки на изображения):
Исходник,
Палитра инструментов с активным «Прямоугольником со скруглёнными углами»,
Панель параметров
Образованный контур с радиусом скругления углов 70 пикселей,
Вкладка «Контуры» палитры слоёв
Выделение на основе контура,
Выделенная область на новом слое,
Обводка выделения синим цветом шириной 30 пикселей,
Выделение обводки (рамки),
Окно команды «Выделение по цветовому диапазону»,
Полученная рамка с резкими краями

Справедливости ради следует отметить, что описанный выше способ не единственный.

Успехов...