Usaremos dos comandos:
sudo dpkg -l |grep linux-image
Este comando nos permite ver cuales y cuantas versiones de kernel tenemos en el sistema
sudo apt-get remove --purge linux-image-2.6.32-22-generic
Comando que nos permite remover (remove) los paquetes y purgarlos (los archivos de configuración son borrados también)
Veamos como :
Primero hay que ver cuantos y cuales kernel hay que borrar, solo hay que prestar atención de no borrar el últimno(nuevo)

Pueden ver que hay 3 kernel de forma linux-image-2.6.32-XX-generic donde XX es el número que nos ayudara a seleccionar el o los kernel a eliminar y linux-image-generic este no lo toquen (necesario para actualizaciones del kernel.).

Usando el comando sudo apt-get remove --purge linux-image-2.6.32-XX-generic
Se borrara el kernel linux-image-2.6.32-21-generic y despues el linux-image-2.6.32-22-generic. Nos pregunta si deseamos continuar [S/n]? S y enter

Remueve el kernel y configuraciones(purge) ademas actualiza el GRUB

y listo
