有书记载，咸丰不顾兵败割地赔款，国家陷于危难之中，躲在热河行宫寄情于声色，聊以自娱，自我麻醉。他有所谓汉女四春：牡丹春、海棠春、杏花春、陀罗春，整天一起在园中游玩嬉闹。此外更有他十分眷爱的天地一家春，就是慈禧。
原来，慈禧见他整日和四春在一起，醋意大生，和咸丰吵闹不休。宠爱慈禧的咸丰没办法，遂赠慈禧天地一家春意思是说天地之间你是最大的春意！慈禧这才满意。
还有野史说咸丰养着一位民间寡妇。《野史叟闻》记载：咸丰钟情于一位寡妇曹氏，山西人，长得秀美妖艳，妩媚动人。入宫以后，咸丰最为眷恋。野史类似的记载还有：山西籍孀妇曹氏，风流姝丽，脚纤小，喜欢在鞋履上缀以明珠。咸丰帝召入宫中，最为眷爱。
咸丰年间太平军、捻军战事连年，咸丰帝不得不关注朝事。且看他询问民情军情的话：
问张集馨：湖广白莲教齐二寡妇长的什么样子？为何能以一个妇人聚众闹出那么大事?
听说福建民间家族械斗，不知道打得如何热闹？死了多少人？丧命的人赔偿多少钱呢？
召见段光清时，恰值浙江巡抚奏报余姚佃农抗租，聚众进城，焚烧恶霸邵五住宅的事。咸丰帝问段光清是否知道此事，段光清不愿细说，只说主佃发生口角，至于打斗，不过土匪之类罢了。咸丰帝一听到土匪就紧张了，急忙问：土匪厉害不厉害？会闹大吗?知县能铲除这帮土匪吗？段光清回答说知县能平土匪，咸丰的情绪才缓和下来。
咸丰喜欢问及官员相貌与官兵是否接近女色、男色。他曾问张集馨：胜保帐篷里是否都是美女俊男？向荣知道不知道江北兵勇私养女人，不肯打仗?
