בשנת 1988 נבחר גפני לכנסת מטעם דגל התורה. משנת 1988 מכהן גפני כחבר בוועדת הכנסת. מ-1996 מכהן גפני כחבר בוועדה לעניני ביקורת המדינה. בשנים 1988-1996 כיהן גפני כחבר בוועדת העבודה ורווחה. בשנים 1992-1996 כיהן כחבר בוועדה למאבק בנגע הסמים. בשנים 1996-1999 כיהן כחבר בוועדת חוקה, חוק ומשפט. מאז 1999 מכהן בנוסף כחבר בוועדת הכספים וועדה מיוחדת לנושא בעיית העובדים הזרים.