По возвращению Шухов начал работать в Петербурге начальником чертежного бюро Варшавско-Венской железной дороги. Здесь он изобрел оригинальную конструкцию для оборудования кессонов. Спустя два года (1878 г.) Шухов перешёл на работу в фирму инженера-предпринимателя Александра Бари, с которым познакомился во время поездки в США. Шухов переехал в Баку, где фирма Бари вела строительные и инженерные работы на нефтяных месторождениях. Здесь проявилась его удивительная творческая энергия. Шухов стал автором проекта и главным инженером строительства первого нефтепровода в России длиной в 10 км. Заказчиком был финансовый гигант — фирма «Братья Нобель». Второй нефтепровод он спроектировал в следующем году, а первый в мире трубопровод для предварительно подогретого мазута был построен им немного позже. Наряду с большими работами по проектированию и строительству упомянутых здесь и последующих нефтепроводов Шухову приходилось решать задачи, возникавшие при добыче, транспортировке и переработке нефти.
В 1878 году Шухов разработал оригинальную конструкцию цилиндрического металлического резервуара для хранения нефти. Через год нефть перестали хранить в котлованах. В 1879 году он запатентовал форсунку для сжигания мазута. После внедрения форсунки Шухова мазут стали использовать как топливо. В последующие годы были сделаны многочисленные новые разработки, в том числе созданы различные насосы для подъема нефти из скважин, изобретён эрлифт (газлифт), выполнено проектирование и строительство нефтеналивных судов и установок для дробной перегонки нефти.
В 1880 техническая контора Бари переехала из Петербурга в Москву, Шухов стал ее главным инженером и создал проектно-конструкторское бюро и монтажную группу, по сборке металлических конструкций. В то время в промышленности возникла необходимость в простых рациональных конструкциях для хранения и перевозки нефти. В результате углубленных исследований в 1883 в журнале «Инженер» появилась статья Шухова Механические сооружения нефтяной промышленности, в которой был представлен новый метод расчета цилиндрических резервуаров. В дополнение к своему бюро Бари открывает в Москве завод по производству паровых котлов, а в скором времени возникают филиалы фирмы в крупнейших городах, так что фирма охватила своей деятельностью значительную территорию России. Шухов изобрел новый водотрубный котел в горизонтальном и вертикальном исполнении Шухов примерно с 1885 г. начал строить первые русские танкеры. Важный вклад Шухов внес и в развитие нефтяной гидравлики и по праву считается ее основоположником.
На основе обширных геологических исследований Шухов вместе со своими сотрудниками в течение трех лет составил проект новой системы водоснабжения Москвы. В 1892 году Шухов построил свои первые железнодорожные мосты. В последующие годы по его проектам было сооружено 417 мостов на различных железнодорожных линиях.
В последнее десятилетие 20 в. техническая контора начала разработку конструкции металлических стропил для зданий различного назначения. Для Всероссийской промышленной и художественной выставки 1896 в Нижнем Новгороде Шухову предложили построить комплекс павильонов. Применявшиеся в то время формы строительных конструкций – традиционные фермы, своды, арки – не соответствовали представлениям Шухова о современных требованиях. Он применил совершенно новые конструктивные формы. Оригинальные сетчатые и сводчатые металлические конструкции покрытий четырех павильонов Шухова (перекрытие круглого павильона диаметром 68 м: верхнее кольцо диаметром 25 м из листовой стали и боковая сетчатая поверхность с ромбической формы плитами в ячейках сетки), водонапорная башня (в форме гиперболоида) со смотровой площадкой на высоте 30 м, а также его паровые котлы и резервуары привлекали на Нижегородской выставке всеобщее внимание. Особенно ярко проявление инженерного творчества Шухова видно в московских зданиях с великолепными формами перекрытий: корпус завода «Динамо», Музей изобразительных искусств (вместе с системой отопления музея) (1898 –1 912), дебаркадер Киевского (1912 –1917) и покрытие Казанского вокзалов, Верхние торговые ряды (ГУМ) (1889 –1894), магазин «Мюр и Мерилиз» (ЦУМ) (1906 –1908), Петровский пассаж (1903 –1906), городской конно-железный парк (Миусский трамвайный парк) (1908), ресторан «Метрополь» (1905), Московский почтамт (1911 –1912). В сводах ГУМа был использован метод предварительного напряжения конструкций, позволивший существенно снизить вес конструкций до (50%). Шухов разработал и оборудовал первую в стране вращающуюся сцену Московском Художественном театре.
По проектам Шухова изготавливались паровые насосы, строились мосты Средне-Сибирской железной дороги, в т.ч. через Оку и Енисей (1894–1899), мостовые электрические краны (1900–1908). В период промышленного подъема в начале 20 в. Шухов проектировал доменные, мартеновские и прокатные цехи металлургических заводов. В годы первой мировой войны Шухов изобрел конструкции нескольких серий плавучих мин, ворота для сухих доков (батопорты), конструкции платформ под тяжелые артиллерийские орудия.
Один из самых главных строительных заказов Шухов получил вскоре после образования Советской России: сооружение башни для радиостанции на Шаболовке в Москве. Уже в феврале 1919 года Шухов представил первоначальный проект и расчет башни высотой 350 метров. Башня явилась дальнейшей модификацией сетчатых гиперболоидных конструкций и состояла из шести блоков соответствующей формы. Этот тип конструкции позволил осуществить строительство башни оригинальным, удивительно простым «телескопическим» методом монтажа. Внутри нижней опорной секции башни на земле монтировались элементы последующих блоков. С помощью пяти простых деревянных кранов, которые в процессе строительства башни всегда находились на верхней секции, блоки один за другим поднимались наверх.
Шухов принимал также участие в проектировании и создании крупных строек по плану ГОЭЛРО (Шатурская ГРЭС) и гигантов первых пятилеток: здания мартеновского цеха Кузнецкого металлургического комбината (1928), цехов Челябинского тракторного (1928), Харьковского паровозостроительного заводов (1926–1928), только за 1927 завод «Паро-строй» выпустил 351 котел Шухова. Он проектировал и руководил строительством сетчатых гиперболоидных опор линий электропередач НИГРЭС через Оку (1929). В 1930-х Шухов руководил проектированием мартеновских цехов Ижевского завода, «Азовстали», Таганрогского, Верхисетского, Пермского металлургических заводов. В объединении «Грознефть» Шуховым построил нефтепроводы Баку – Батуми (883 км), Грозный – Туапсе (618 км). В 1929–1934 совместно с М.А.Капелюшниковым он проектировал, а затем консультировал строительство установок завода «Советский крекинг» в Баку. В те же годы были реализованы разработанные 40 лет назад предложения Шухова по подъему нефти из скважин сжатым воздухом, созданы типовые проекты газгольдеров емкостью до 100 000 куб. м.
Умер Шухов 2 февраля 1939.