Jag googlade lite igår på smargo och udev och hittade några trådar som menade att man kunde använda device-pathen typ "pci-0000:00:1d.7-usb-0:2.3:1.0 port0" för att göra udev-regler.

Jag har inte kollat eller testat nåt själv, men det kan kanske vara ett uppslag att jobba vidare på. Om det funkar så blir det så att man knyter en viss USB-port till ett visst udev-alias.