Одновременно с работой в нефтяной промышленности И. М.Губкин принимает активное участие в разрешении важнейших проблем сланцевой промышленности. В 1918 г. он возглавляет Главсланец, перед которым была поставлена задача получать бензин, керосин и масла из сланцев. Для того времени это была задача огромной практической значимости. В этот же период И. М. Губкин организует журнал «Нефтяное и сланцевое хозяйство», бессменным редактором которого он был долгие годы. В период 1919—1924 гг. И. М. Губкин занимает пост председателя Главного сланцевого комитета и директора Правления сланцевой промышленности.
В 1920 г. И. М. Губкин избирается профессором Горной академии в Москве, а с 1921 г. становится ее ректором. В этом же году он создает при Горной академии первую нефтяную кафедру, переросшую затем в нефтяной факультет, на базе которого в 1929 г. был создан Московский нефтяной институт имени И. М. Губкина, ныне Институт нефтехимической и газовой промышленности (МИНХиГП). Для научной разработки вопросов нефтяного дела по инициативе И. М. Губкина в 1924 г. создается комитет по нефтяным розыскам, на базе которого через пару лет вырос Государственный исследовательский нефтяной институт (ГИНИ), переросший затем в свою очередь в Институт горючих ископаемых Академии наук СССР (ИГИ). И. М. Губкин был бессменным руководителем этого института. На базе ИГИ в 1949 г. создано два института: Институт твердых горючих ископаемых (ИГИ) и Институт нефти, а в 1958 г. Институт нефти был разделен на два самостоятельных крупных научных института Академии наук СССР – Институт нефтехимического синтеза и Институт геологии и разработки горючих ископаемых.
В лице И. М. Губкина блестяще сочетался мировой ученый и крупный государственный и общественный деятель.
В 1930 г. вместо существовавшего до этого Геологического комитета было создано Главное геологическое управление, переименованное затем в Комитет по делам геологии при СНК СССР, преобразованный впоследствии в Министерство геологии СССР, с новыми, более грандиозными задачами. Во главе Главного геологического управления, впоследствии Комитета по делам геологии, был поставлен И. М. Губкин, который и руководил этим учреждением до самой своей смерти. Деятельность геологического управления далеко выходила за рамки геологии нефти. И. М. Губкину пришлось детально и много заниматься вопросами составления и издания геологических карт Союза ССР, вопросами составления и издания сводных работ как по геологии СССР в целом, так и по отдельным проблемам, вопросами подсчета запасов разнообразных полезных ископаемых, организовывать и проводить многочисленные и разнообразные конференции, создавать опорные базы на местах и т. д.