Когда в 1930 г. вместо существовавшего до этого Геологического комитета было создано Главное геологическое управление, переименованное затем в Комитет по делам геологии при СНК СССР с новыми, более грандиозными задачами, во главе этого учреждения был поставлен И. М. Губкин, который и возглавлял это учреждение до самой своей смерти. Деятельность геологического управления далеко выходила за рамки геологии нефти. И. М. Губкину пришлось детально и много заниматься вопросами составления и издания геологических карт Союза, вопросами составления и издания сводных работ как по геологии СССР в целом, так и по отдельным проблемам, вопросами подсчёта запасов разнообразных полезных ископаемых, организовывать и проводить многочисленные и разнообразные конференции, создавать опорные базы на местах и т. д.
В 1934 г. в США состоялась XVI сессия Международного геологического конгресса. Главой правительственной делегации и генеральным докладчиком от СССР был И. М. Губкин. В 1937 г. в Москве состоялась XVII сессия Международного геологического конгресса. Президентом этой сессии был единогласно выбран И. М. Губкин.
Действительным членом Академии наук СССР И. М. Губкин был избран в 1928 г., вскоре после чего он привлекается на руководящую работу в Президиум Академии наук в должности вице-президента Академии.
Многогранная и напряжённая деятельность И. М. Губкина отразилась на его здоровье. Последние годы своей жизни он стал часто и тяжело болеть; 21 апреля 1939 г. Иван Михайлович Губкин скончался.
За время своей тридцатилетней научной деятельности И. М. Губкин опубликовал более 200 научных работ. Нет возможности охарактеризовать в этом очерке даже и главнейшие из его научных работ - так велико и многогранно его творчество.
Что позволяло И. М. Губкину столь активно и плодотворно работать на пользу родине? Это прежде всего исключительная личная одарённость, которую учёный подкреплял огромным трудолюбием. Автор этих строк, много лет бывший ассистентом И. М. Губкина, наблюдал, например, его подготовку к лекциям в Горной академии. К этому периоду (1922-1929 гг.) и И. М. Губкин был уже почтенным геологом-нефтяником, прекрасно знавшим нефтяные месторождения СССР не только по литературе, но и по личным наблюдениям. Но и при такой фундаментальной подготовке И. М. Губкин готовился к двухчасовой лекции студентам по 5-6 часов! И так было каждый год и по каждому читаемому им курсу лекций.
И. М. Губкин глубоко знал литературу, первоисточники. Однако, изучая работы своих предшественников, высоко ценя их глубокие исследования и уважая самих авторов, И. М. Губкин никогда слепо не преклонялся перед авторитетами, как бы они велики ни были. Он всегда мог освободиться от их влияния, взглянуть на дело по-своему и высказать своё независимое суждение. Так, Иван Михайлович глубоко уважал акад. Андрусова за его выдающиеся работы по стратиграфии и палеонтологии третичных отложений. Он скрупулёзно изучил эти работы, но, уходя в поле, на разрезы, он никогда работ Андрусова с собою не брал - "чтобы не оказывали своё влияние" - говорил И. М. Губкин.