בשנת 2001 מינהו אריאל שרון לתפקיד שר לביטחון הפנים, תפקיד אותו החזיק עד 2003. בתקופת כהונתו נאלצה המשטרה להתמודד עם פיגועי הטרור הקשים שהתחוללו בארץ במסגרת אינתיפאדת אל אקצה ובמחסור של כוח אדם במשטרה. ב-2003 מונה לתפקיד שר ללא תיק במשרד ראש הממשלה. באותה השנה, כשהתפרסמה תכנית ההתנתקות. לנדאו נמנה עם ראשי מתנגדיה, שכונו "המורדים", ויצר חזית משותפת עם עוד ח"כים מהליכוד, למניעת מימושה, כולל הצבעה כנגדה בכנסת. בתגובה, שרון פיטר אותו מהממשלה ב-26 באוקטובר 2004.