Николай Иванович Харламов родился 17 мая 1924 года в селе Просечье в крестьянской семье. Русский.
До 1942 года работал в колхозе в селе Александро-Невское Новодеревенского района (ныне Александро-Невский район) Рязанской области.
В РККА с 1942 года.
В 1947 году окончил Военно-парашютное училище воздушно-десантных войск. В 1962 году закончил Московскую Военно-воздушную академию имени Жуковского.
В 1956 году командир 3-й роты 108-го гвардейского парашютно-десантного полка, 7-й гвардейской воздушно-десантной дивизии.
Гвардии капитан Харламов Н. И. осенью 1956 года принимал участие в венгерских событиях, официально именовавшихся как "подавоение контрреволюционного мятежа".
В уличных боях в Будапеште, рота, возглавляемая Н. И. Харламовым, успешно выполнила поставленную перед ней боевую задачу.
В 1956 году ему присвоено звание Героя Советского Союза.
Жил в Санкт-Петербурге, где служил в должности старшего преподавателя в Военной академии тыла и транспорта.
Умер 25 марта 1982 года. Похоронен в Санкт-Петербурге.
Был женат, имел двух дочерей.
Член ВКП(б)-КПСС с 1947 г.
Полковник
Награждён орденом Ленина, орденом "За службу Родине в Вооружённых Силах СССР" 3-й степени, медалями.