14 мая 1968 года в звании генерал-лейтенанта танковых войск был назначен на должность начальника Главного управления внутренних войск, внутренней и конвойной охраны Министерства охраны общественного порядка СССР. Впоследствии после реорганизации министерства, с 11 февраля 1969 года должность именовалась: начальник Главного управления Внутренних войск МВД СССР — начальник внутренних войск. По воспоминаниям самого И.К. Яковлева, его назначению уделялось большое внимание и перед назначением его принимал лично Л. И. Брежнев[1].
Эту должность занимал в течение восемнадцати лет. За это время полностью изменил облик внутренних войск, превратив их из территориальных военизированных формирований в мобильные мощные современные войска, способные выполнять самые сложные правоохранительные задачи. Произвёл реорганизацию управления войсками, создав региональные Управления Внутренних войск (аналог военных округов в Вооружённых Силах, ранее дивизии ВВ подчинялись непосредственно начальнику войск). При Яковлеве во внутренних войсках появились авиационные и морские части, резко выросла боеспособность войск. В 1969 году утверждён Устав боевой службы внутренних войск. Следует признать, что благодаря его работе Внутренние войска встретили период многочисленных межнациональных конфликтов и обострения террористической угрозы в готовности отражать эти новые угрозы. Воинское звание генерал армииему присвоено указом Президиума Верховного Совета СССР от 7 мая 1980 года.
Активно участвовал в ликвидации последствий аварии на Чернобыльской АЭС. Тогда для действий в зараженной зоне было направлено свыше 15 тысяч военнослужащих Внутренних войск. Яковлев лично долгое время находился в районе аварии, решая на месте организацию службы, быта, дезактивационной обработки людей и техники.
24 декабря 1986 года освобождён от занимаемой должности после захвата пассажирского самолёта в Уфе военнослужащими Уфимского конвойного полка внутренних войск МВД Мацневым и Ягмуржи и убийства ими нескольких человек, а также ряда конфликтов на этой почве с новым Министром внутренних дел СССР А. В. Власовым. Назначен военным инспектором-советником Группы генеральных инспекторов Министерства обороны СССР. С 1992 года — в отставке. В июле 1996 года был назначен консультантом Главнокомандующего Внутренних войск МВД России, активно работая на этом посту до конца жизни. Также активно работал в Совете ветеранов ВВ МВД России.
Жил в Москве, скончался 13 сентября 2002 года, похоронен на Троекуровском кладбище.
Член КПСС с 1942 года. Депутат Верховного Совета СССР 8-10 созывов. Ранее избирался депутатом Верховного Совета РСФС | 
