何らかの画像を任意の選択範囲で切り取った形状の境界部分をぼかしたいときの処理を整理してみました。結果として後からぼかすのは難しそうです。
上図は実験用に用意した元データの状態です。背景レイヤから鍵穴のような形状を選択後に複製コピーしてレイヤー1としました。識別化させるために元の背景レイヤーの階調を反転しています。なお、解説用の元データは800pixel×600pixelです。
元データのレイヤー状況です。
実験1として・・・レイヤー1のサムネールをcontrol（macの場合はcommand）キーを併用してクリックして選択し、そのまま選択範囲メニューの［選択範囲を変更＞選択範囲をぼかす］にて半径20pixelを実行します。続けてレイヤーマスクを作成すると上図のような状態になります。形状のエッジ部分は若干残ってしまいます。
実験1のレイヤー状況です。
実験2として・・・レイヤー1のレイヤーマスクを作成してから、レイヤーのサムネールをcontrol（macの場合はcommand）キーを併用してクリックして選択し、そのままパスパレットにて［作業用パスを作成］にてパスを作成します。
続けて塗りを黒としてからブラシツールで、硬さ0%、80pixel（20pixelだと結果が物足りない）の設定をします。このままパスパレットのオプションにて［パスの境界線を描く］にて［ツール：ブラシ］を指定して［OK］を実行すると形状のエッジ部分は消えて綺麗なボケ足になりますが、ボケ足がシャープ過ぎる感じがします。
実験2のレイヤー状況です。
実験3として・・・レイヤー1のサムネールをcontrol（macの場合はcommand）キーを併用してクリックして選択し、そのまま選択範囲メニューの［選択範囲を変更＞選択範囲をぼかす］にて半径20pixelを実行します。続けて背景レイヤーにてcontrol（macの場合はcommand）Jにて選択範囲をコピーし、そのまま階調を反転させると上図のような状態になります。形状の輪郭部分をぼかす場合は、この方法が適切のようです。
実験3のレイヤー状況です。一度切り取ってしまった状態の綺麗な処理は今後も試行錯誤してみたいと思います。
Photoshop CC2018
