בשנת 2003, לקראת הבחירות לכנסת ה-16, נבחר וילנאי במקום הראשון בבחירות המקדימות של מפלגת העבודה. בשנת 2005 התמודד על ראשות מפלגת העבודה, אך כשבוע לפני הבחירות ויתר על התמודדותו ותמך במועמדותו של שמעון פרס מול עמיר פרץ ובנימין בן אליעזר. בבחירות המקדימות של מפלגת העבודה לכנסת ה-17 נבחר וילנאי במקום ה-7. בכנסת ה-17 כיהן וילנאי כחבר בועדת החוץ והביטחון, יו"ר ועדת משנה לנושאי כוח אדם וחבר בועדת חוקה, חוק ומשפט. ב-2 ביולי 2007 מונה לתפקיד סגן שר הביטחון בממשלת אולמרט.
בפריימריז של מפלגת העבודה בדצמבר 2008, הגיע וילנאי למקום החמישי בין המתמודדים ברשימה הארצית. בהתאם לכך, מוקם במקום השישי ברשימת המפלגה לכנסת ה-18.