潘虹撰写的自传《潘虹独语》，于1995年由上海人民出版社出版发行，全书9.5万字，字里行间满是她对生活、情感的真实剖析，也揭开了一段被误传多年的往事。网传潘虹在拍摄电影《苦恼人的笑》时，与导演杨延晋产生感情，这一说法流传甚广，至今仍被人当作茶余饭后的谈资，可真实情况却与传言大相径庭。潘虹曾有过一段失败的婚姻，前夫是知名导演米家山，在自传中，她毫不避讳地写道：“我对米家山有愧疚……”这份直白的忏悔，藏着她心底难以言说的遗憾。
1978年初，电影《苦恼人的笑》正式开机，潘虹在片中饰演傅彬的妻子，这是她人生中第一次担任女主角。彼时的潘虹，演技尚未得到业内认可，巨大的压力让她不敢有丝毫懈怠。为了精准塑造角色，潘虹经常与该片导演、上影厂帅哥杨延晋一起探讨剧本、打磨演技，两人的交流始终围绕着工作展开，纯粹而真诚。
可剧组里总有一些无聊的人，习惯性地将男女之间的正常交往往暧昧方向揣测。有人开始在剧组内传播谣言，声称潘虹与杨延晋关系不正当，流言蜚语悄然蔓延，可所有人都刻意瞒着潘虹和杨延晋，让两人蒙在鼓里。没人知道，这场无端的流言，即将给潘虹带来灭顶之灾。
很少有人知晓，杨延晋当时早已结婚，他的妻子是上影厂的女演员洪融。《苦恼人的笑》拍摄完成后，性格泼辣强势的洪融得知了剧组的流言，怒不可遏地大闹上影厂，当众指责潘虹与杨延晋有不正当关系，强烈要求领导处分两人。更令人难堪的是，洪融还将一封所谓潘虹写给杨延晋的“情书”，贴在了上影厂的宣传栏上。
一时间，潘虹被推上风口浪尖，千夫所指，被贴上了“不道德的第三者”的标签，在上影厂处处被人另眼相看。对此，潘虹在自传中写道：“一部《苦恼人的笑》，给了我一次引起影坛关注的机会，也让我陷入一段纷飞的流言。”她坦言，自己当时不想解释，也懒得解释，坚信做人但求问心无愧。
可流言的力量太过强大，巨大的压力不仅笼罩着潘虹，还波及到了她的家人，母亲和妹妹也因此被人另眼相看，常常被难听的话语刺伤。那时的潘虹，早已与米家山相识，两人正处于恋爱阶段。当时米家山正在南京出差，途经上海转车，仅有4个小时的停留时间，他特意给潘虹的单位打电话，让她到火车站见面，语气坚定地说一定要见她一面。潘虹深知流言的影响，早已做好了心理准备，等着迎接米家山的咆哮，甚至做好了分手的打算，却未料到，这份感情，竟成了她后来愧疚的根源。
