哈尔滨站始建于1899年10月，是原中俄共同修筑的东清铁路（中东铁路前身）的中心枢纽站，先后经历四次站房改造。
第一代站房
清光绪二十五年（1899年）10月，在东清铁路（中东铁路前身）上设秦家岗站，位于原哈尔滨站行李房，仅有临时搭起的一排矮房，只用于站长办公室、电报室及行车人员休息室。
第二代站房
1955年，哈尔滨站站舍第一次扩建，将原有行李房旧仓库拆除，修建了一座736平方米的售票厅，并将原小售票厅改为候车厅，改善了候车室条件。
三代站房
哈尔滨站的第三代站房在原有站房的基础上新建了高架候车室，站房设有4个主候车大厅，6个辅助候车厅，总建筑面积42122平方米，大于1904年的老站舍近16倍，且现代化设施齐备。
第四代站房
2015年哈尔滨站开始改造。改造工程包括哈尔滨站南、北广场，以及周边14条市政道路。根据工程的施工时序，先进行北广场及地工街、地德里街和安宁街道路工程的施工，北广场及周边道路通车后再进行南广场及其他道路工程的施工。 截至2017年9月，哈尔滨站第四代站房北站房整体面积10844平方米，长114米，宽40米，地上3层，地下1层。[5][7]南站房建筑面积29030平米，长214米，宽44米，地上4层，地下1层；高架站房建筑面积33750平米，长185米，宽114米，分为高架层及旅服夹层，新建哈尔滨站站房2018年末投入使用。