עם פרישתו של נתניהו מהנהגת הליכוד, לאחר שהובס בבחירות במאי 1999, הפך שרון למנהיג זמני של התנועה. בבחירות הפנימיות שנערכו בספטמבר 1999 נבחר ליו"ר המפלגה.
בתפקידו כמנהיג האופוזיציה הרבה לבקר בחריפות את מהלכי ברק במשא המתן עם הפלסטינים.
כמו כן חבר שרון בכנסת בוועדת חוץ וביטחון.
בספטמבר 2000 עורר שרון זעם רב בקרב הפלסטינים כשביקר, ערב ראש השנה, בהר הבית. לאחר ביקור זה, גם אם לא הושפעו ממנו ישירות, החלו מהומות "אינתיפאדת אל-אקצה". לאחר המהומות ניהלו ברק ושרון מגעים מתמשכים ועקרים על הקמת ממשלת חירום, שהתרוקנו מתוכן לאחר ההחלטה בנובמבר 2000 על הקדמת הבחירות.