然而，随着胡蝶事业的一路顺风，这段感情却渐渐出现了裂痕。首先是林雪怀因不够出彩退出影坛，胡蝶为了支持丈夫，便拿出一大笔钱资助他开了一家百货商店。然而，林雪怀却并没有用这笔钱好好做生意，而是花在了吃喝玩乐上，让胡蝶大失所望。

后来，胡蝶绯闻缠身，林雪怀不但不相信妻子，还叫律师给胡蝶送去了断交书。胡蝶气愤不已，一怒之下将林雪怀告上了法庭，要求他还钱。

这桩官司很快就传遍大街小巷，折腾了一年多之后，胡蝶赢得了最终官司。

胡蝶第一段感情就以这样的方式结束了，但这并没有使她受到影响。晚年胡蝶说：“那时大家都是青年人，应该说生活阅历很差，行事也欠周全的考虑……和林雪怀解除婚约，算是我青年时代生活的一个波折，但解决了一件不如意的事，也使我能更专心致志地从事电影事业。”

就如胡蝶说的一样，这件事并没有对她造成任何影响，反而由于这件事，人们对她的关注度更高了，她的人气也突然水涨船高。

就在这时，另一个男人走进了胡蝶的生活，他就是胡蝶一生最爱的丈夫——潘友生。

潘有声是个生意人，身材高大，还有一股读书人的气质和风雅。在一次舞会上，在朋友的介绍下，胡蝶认识了潘有声，被这个男人的气质所深深吸引。

1935年，胡蝶和潘有声在上海一座教堂里举行了结婚典礼。婚后，胡蝶逐渐淡出影坛，但她的“风流韵事”却还是不时出现在各大报社的头版头条上，而使她“韵事”不断地始作俑者就是军统头子戴笠。

抗日战争期间，潘有声在香港做生意，胡蝶也随之前往，生活还算平静。可是不久后，日本进入香港，为了不与日本人合作，胡蝶和潘有声决定回内地避难，他们将平生积蓄打包成30个箱子，托人运往内地。

但不幸的是，箱子运到半路却下落不明了，无奈之下，胡蝶只好托内地朋友寻找，一传十，十传百，就传到了军统头子戴笠的耳中。