On peut passer plusieurs regexp en Sed :
echo $ip | sed -e "s/.*\[//" -e "s/\].*//"

Cet exemple fonctionne sur
UDP: [17.13.3.24]:52119
et sort 17.13.3.24