En principio para tener la última versión bastaria con actualizar la lista de repositorios:
$ sudo apt-get update
E instalar Gimp:
$ sudo aptitude install gimp
Pero a mi en Lucid (en este caso) no me ha instalado nada nuevo, asi que he hecho lo siguiente. Añado el siguiente repositorio PPA de Gimp:
$ sudo add-apt-repository ppa:matthaeus123/mrw-gimp-svn
Actualizo e instalo:
$ sudo apt-get update && sudo apt-get install gimp
Si al iniciar Gimp te da algun problema, ejecuta:
$ sudo apt-get install libgegl-0.0-0
Una vez ya iniciado y si quieres tener Gimp en modo una-sola-ventana, ejecutas
Ventanas > Single Window-Mode