而潘有声是一个踏实的人，他做事诚恳，讲信用，而且肯钻研。
虽然对于感情，潘有声比较木讷，但胡蝶对他的好感还是日益提高。
二人的关系很快暧昧了起来，但经历了上一段失败感情的胡蝶仍心有余悸，面对新的感情，她小心翼翼，尽管与潘有声确认了恋爱关系，但一直不愿结婚。
后来，胡蝶将自己的事情告诉潘有声，潘有声十分理解，不仅没有因此对胡蝶失去爱恋，反
而更加尊重她的所有决定，默默地支持着她的演艺事业。
此后，在经历了六年的恋爱长跑后，1935年，胡蝶与潘有声走入了婚姻的殿堂，并过继了两个孩子一同养育。
婚后的胡蝶热爱家庭，为了婚姻她减少了自己的电影出演频率，与潘有声开始了幸福的婚姻生活。
但在二人的婚姻中，却有一段胡蝶被戴笠幽禁的不堪往事。
被戴笠“幽禁”三年的影后胡蝶
当时的中国，可称得上是风雨飘摇。
先是经历了辛亥革命，推翻了旧日清王朝的腐朽统治，又是国内军阀林立，战乱不止，到了后来，可恶的日本又看上了中国这块肥肉，入侵中国。
而当时居住在香港的胡蝶依旧不断收到电影邀约，她都欣然答应出演。
直到1941年，胡蝶在收到一封邀约后脸色大变，谎称自己怀孕将其推脱掉，并变卖掉了所有的家产连夜离港回到了广州。
原来是日本人向胡蝶发起了邀约，希望她可以和日本合作拍一部宣扬“中日亲善”观念的电影。
但了解日本人为人的胡蝶却并没有接受邀约，她不想为了一时的利益而出卖掉自己生活了二十多年的故乡。
于是她假借自己怀孕不便，趁着日本人没反应过来将家中财产尽数变卖，准备回到广州以免收到日本人的迫害。
胡蝶自出演以来人气极高，因此获得了不少的钱财。
