こんにちは。

無理にとる必要はないかと思います。
自然にキレイになる場合もあります。

雛の羽は撥水が弱く濡れるとベタッとなり、乾くのに成鳥より時間がかかります。体温が下がる原因にもなるので濡らすのは極力避けてあげる方が良いと思います。

どうしても気になるのであれば太めの綿棒をぬるま湯で濡らして少しずつ拭き取り、乾いた綿棒で早く乾くように水分を吸い取ってあげてください。
一度にキレイにせず、少しずつキレイにするのも１つの方法です。

布やキッチンペーパーより綿棒の方が羽の中に入れやすいですし、細目の綿棒だと口の周りや細かい部分の汚れも取りやすいです。
綿棒は種類があるので用途にあったのを選ぶといいと思います。