Родился в Курской губернии, в дворянской семье. После окончания гимназии поступил на физико-математический факультет в МГУ. В 1919 году бросил обучение и записался добровольцем в армию. После службы не вернулся в университет, а поступил в театральный техникум. На сцене с 1920 года. В 1925 году окончил Московский театральный техникум имени А. В. Луначарского и до 1932 года был актёром в различных домах самодеятельности. В 1932—36 годах служил в Театре ВЦСПС, в 1936—1959 годах — в Центральном театре Советской Армии. Хотя в кино Николай Сергеев впервые снялся в 1937 году, дебютировав ролью командира фашистской эскадрильи в фильме «Глубокий рейд», известность ему принесли роли возрастные. Этапной в этом отношении для него стала роль старого рабочего Басманова в картине Иосифа Хейфеца «Большая семья» (1954). В этой картине актёра заметил Михаил Швейцер и дал ему создать совершенно противоположный образ — скупого крестьянина Силантия Ряшкина в «Чужой родне» (1955). С этого момента Николая Сергеева стали приглашать ведущие советские режиссёры, и вскоре он оставил театр ради кинематографа. В 1960 году сыграл в ещё одном известном фильм Швейцера «Мичман Панин», где исполнил роль капитана корабля по имени Николай Васильевич Сергеев.
Умер 8 января 1988 года в Москве. Похоронен на 26 участке Ваганьковского кладбища.
