במארס 2001 מונה ריבלין לשר התקשורת בממשלת שרון. הוא נאלץ לוותר על תיק המשפטים כיוון שהתנהלה נגדו חקירה. התיק נסגר מאוחר יותר מפאת חוסר אשמה. ב-19 בפברואר 2003 נבחר לכהן כיושב ראש הכנסת ה-16. בזמן כהונתו כיו"ר הכנסת קרא לאחדות וציות לחוק, אף שהתנגד לתכנית ההתנתקות של אריאל שרון.
בכנסת ה-17 הוא חבר בוועדות הכספים, העלייה, הקליטה והתפוצות, בוועדה לזכויות הילד, בשדולה למען ירושלים ובשדולה למען הדרוזים והצ'רקסים.
באפריל 2007 הכריז ריבלין כי בכוונתו להתמודד על תפקיד נשיא מדינת ישראל, לאחר סיום כהונתו של משה קצב. בסיבוב הראשון של ההצבעה לנשיאות בכנסת, שהתקיימה ב-13 ביוני 2007, הגיע למקום השני (37 קולות לעומת 58 קולות לשמעון פרס). ריבלין החליט לפרוש ולא להתמודד סיבוב נוסף, וקרא לחבריו בכנסת לתמוך פה אחד בשמעון פרס.
בכנסת ה-17 ריבלין היה חבר בוועדות הכספים, העלייה, הקליטה והתפוצות, בוועדה לזכויות הילד, בשדולה למען ירושלים ובשדולה למען הדרוזים והצ'רקסים. בדצמבר 2008 נערכו בחירות פנימיות בליכוד, וריבלין נבחר במקום הרביעי ברשימת המפלגה לכנסת ה-18.