В 1867 г. был приглашен в Горный институт, чтобы заняться научной и преподавательской деятельностью. В 1869 г. защитил в институте диссертацию по петрографии «Авгитовые породы деревни Мулдакаевой и горы Качканар на Урале» и был утвержден адъюнктом кафедры геологии, геогнозии и рудных месторождений. В 1877—96 гг. профессор института. Активно участвовал в организации Геологического комитета (1882), в котором вначале работал старшим геологом, в 1885—1903 был его директором, а в 1903—29 — почётным директором. С 1899 по 1936гг. - президент Минералогического общества России.
Карпинский считается одним из основателей русской геологической школы, Карпинский еще при жизни носил почетный титул «отца русской геологии». Он участвовал в составлении геологической карты Европы и в унификации графических изображений в геологии. Научная деятельность А.П. Карпинского отличалась разносторонностью. Им были составлены сводные геологические карты Урала и Европейской части СССР. Особенно известны работы А.П. Карпинского по тектонике, палеогеографии и палеонтологии. Он впервые раскрыл основные черты тектонического строения Русской платформы, указав (в 1880) на наличие в её структуре кристаллического складчатого основания и осадочного покрова, выделив (в 1883) полосу дислоцированных осадочных пород юга России.
В 1869г. А. П. Карпинский одним из первых в России применил микроскоп для изучения горных пород. На Международном геологическом конгрессе в 1900г. в Париже он выступил с докладом о принципах классификации и номенклатуры горных пород, указав, что в классификации изверженных пород должны иметь первоочередное значение их минералогический состав и структура. Геологические и петрографические исследования А.П Карпинского тесно связаны с практической геологией. Общегеологические работы А.П Карпинского, в частности его геологические и палеогеографические карты, послужили основой широких практических прогнозов для поисков полезных ископаемых. За совокупность работ А.П Карпинскому присуждены Константиновская медаль Русского географического общества (1892) и премия им. Кювье АН Франции (1921). А.П. Карпинский был постоянным представителем русской геологической науки на международных геологических конгрессах (начиная со 2-й сессии конгресса в Болонье в 1881); участвовал в составлении геологической карты Европы и в унификации графических изображений в геологии. Был председателем Организационного комитета и президентом 7-й сессии Международного геологического конгресса (1897, Петербург). С 1899 г. по 1936 г. президент Минералогического общества. Избран почетным членом многих иностранных академий наук.
А. П. Карпинский с увлечением занимался так называемыми проблематичными органическими остатками, таксономическое положение или морфология которых не позволяла дать им точное положение в иерархии органического мира. К числу таких разгаданных им организмов относятся зубные аппараты акул — Helicoprion, природа некоторых растительных организмов — трохилисков и мицций и т.д. Самостоятельную серию работ составляют исследования А. П. Карпинского по истории развития обширной территории Русской платформы, очертания древних морей, некогда заливавших почти всю ее территорию. Они позволили А. П. предсказать восточное продолжение Донецкого кряжа на территорию Прикаспия. Этот погребенный горный хребет получил название кряжа Карпинского.
Труды А.П. Карпинского: Собрание сочинений: В 4 т. М.; Л.: Изд-во Акад. наук СССР, 1939—1949. Литература об А.П. Карпинском: Александр Петрович Карпинский: 1847–1936: Указатель основных трудов. Л.; М.: Изд-во Акад. наук СССР, 1936. А.П. Карпинский: О жизни и деятельности основоположника советской геологии. М.: Молодая гвардия, 1937. Кумок Я.Н. Карпинский. М.: Молодая гвардия, 1978. (ЖЗЛ). Романовский С.И. Александр Петрович Карпинский: 1847—1936. Л.: Наука, 1981. Карпинский Александр Петрович. М., 2000. (Материалы к биобиблиографии ученых: Геол. науки: Вып. 50). Соловьев Ю.Я., Бессуднова З.А., Пржедецкая Л.Т. Отечественные действительные и почетные члены Российской академии наук: XVIII–XXвв.: Геология и горные науки. М.: Научный мир, 2000.