Bórralo.
Si aún tienes disponible el Makefile, prueba a hacer un make clean. Pero no funcionará en todas las ocasiones. Sólo borrará los ficheros objero resultado de alguna compilación, pero no los ficheros resultado de la instalación.
Si en el paquete de instalación viene un fichero llamado MANIFEST, ahí estará el listado de los ficheros que componen toda la instalación. Te puede servir de guía para borrarles. Lo normal es que sólo vengan los ficheros que componen el paquete original, no los que resultan de la instalación.
Algunos paquetes importantes (como el Tk, por ejemplo), trae un pequeño script para desinstalarlo.
Si utilizaste un gestor de paquetes de tu distribución de Linux, usálo para quitarlo.
Y finalmente, si los módulos los instalaste con alguna utiilidad del CPAN, mira aquí:
CPAN FAQ: How delete Perl modules.
En la página del módulo ExtUtils::Packlist hay un ejemplo de un script, el
modrm, que sirve justo para eso.