לוי התפטר מתפקידו בינואר 1998 עקב חילוקי דעות עם ראש הממשלה נתניהו על התנהלותו ומדיניותו החברתית.
לקראת בחירות 1999 השתלב עם תנועתו ברשימת "ישראל אחת" שהקים אהוד ברק, תמורת ההבטחה לכהן כשר החוץ בממשלתו של ברק. אחרי נצחונו של ברק בבחירות 1999 מונה לוי לתפקיד.
באוגוסט 2000 התפטר לוי מהממשלה במחאה על מהלכיו המדיניים של ראש הממשלה ברק.
עם כינון ממשלתו במרץ 2001 בחר אריאל שרון בצעד מפתיע לא למנות את לוי לשר בממשלתו אך בהמשך מונה לשר בלי תיק.
ביולי 2002 התפטר לוי ממשלת שרון בעקבות קיצוצים בתקציב 2003ואי הסכמה עם מדיניות הממשלה.
בנובמבר של אותה שנה, נענה דוד לוי לבקשת שרון ומתמודד על מקום ברשימת הליכוד לכנסת.