Для этого возьмём любой исходник любого размера я  выберу такой:

Затем кликнем 2 раза по замочку, чтобы разблокировать изображение. Затем создадим дубликат нашего слоя.
Возьмём инструмент прямоугольник со скруленными углами
И выделим часть которую хотите сделать скруглённой. Затем нажимаете CTRL+ENTER. Оно выделяет область. Затем нажимаем CTRL+X. И изображение уберается затем убираем 2 глазика и выходит так:

Затем нажимаем CTRL+V.
Затем сохраняем  в формате gif.Файл-Сохранить для Web устройств (CTRL+ALT+SHIFT+S) вылезает окно и нажимаем ок
У меня получилось так: