חבר כנסת מטעם הליכוד מאז שנת 1984. שר לביטחון הפנים בין השנים 2003-2001 בממשלת שרון, ב-2003 כיהן כשר בלי תיק במשרד ראש הממשלה, פוטר על ידי שרון בשל התנגדותו לתכנית ההתנתקות מרצועת עזה. כיהן בכנסת כיו"ר ועדת המשנה לתקציב הביטחון, יו"ר ועדה לענייני ביקורת המדינה ויו"ר ועדת החוץ והביטחון. בנובמבר 2008 הודיע כי יתמודד בבחירות לכנסת ה-18 מטעם רשימת ישראל ביתנו, ודורג שני ברשימה.