ב-1984 התמודדה ש"ס בבחירות לכנסת וקיבלה 4 מנדטים. בראש הרשימה עמד הרב יצחק פרץ, רבה של רעננה ובן טיפוחיו של הרב שך. פרץ מונה לשר הדתות וסומן כקוריוז תקשורתי, בשל דיעותיו הפוליטיות שהשתנו תכופות. ש"ס היתה המפלגה החרדית הראשונה שהשתתפה בתעמולת הבחירות בטלוויזיה, תעמולה שהיתה עד כה מוחרמת על ידי המפלגות החרדיות.
במקביל לפעילותה בכנסת, הקימה המפלגה את רשת החינוך העצמאית "אל המעיין" במסגרתה הוקמו גני ילדים, בתי ספר וישיבות. ב-1985 מונה אריה דרעי, מקורבו של הרב יוסף, למזכ"ל התנועה. באותה שנה נוצר קרע בין ש"ס הירושלמית לש"ס הארצית, ושמה של המפלגה הארצית שונה לש"ס - התאחדות הספרדים העולמית שומרי תורה.