През 1985 година Вяхирев беше назначен за първи заместник-министър на газовата промишленост. По това време начело на министерството беше Виктор Черномирдин и двамата успяха да убедят министерския съвет на СССР да бъде създадена газовата компания Газпром на основата на Мингазпром. Отначало Вяхирев беше заместник на Черномирдин, който стана първият ръководител на газовия монополист.

През 1992 година Рем Иванович оглави Газпром, след като Черномирдин стана премиер на Руската федерация.

През 2001 година Вяхирев напусна компанията, след като държавата като основен акционер предложи Алексей Милер за поста председател на управителния съвет на Газпром.