Точно не знаю, но есть предположение.
Может быть протокол устройства указан как auto. В течении этих двух минут система пытается решить, что же за устройство подключено.
Решение - указать протокол явно.
Речь об /etc/X11/xorg.conf
Поищи раздел "Section "InputDevice"", и если есть такая строчка
Option "Protocol" "auto"
то надо auto заменить на реальный протокол. Дальше гугл в помощь.