潘光旦先生不是社会学科班出身,但他因家学渊源,从小就养成好读书的习惯。不独中文底子很好,外文(主要是英文)也学得特别出色。英文写作词汇丰富,文采风流,深为师友所赞许。20岁出头,他便博览群书。他对中国古典文献的钻研既广且深,经、史、子、集之外,小说、稗官野史、方志、族谱,无不涉猎。不独14岁进清华学校前如此,1913-1922年在清华学校读书期间,他还利用自习时间和寒暑假继续阅读这些线装书,赴美国留学还带有一本《十三经索引》。他从少年时代起,就对性知识感兴趣。大约在10至23岁这14年间,他读了大量中外性心理学方面的书籍,包括英国著名性心理学家霭理士(Havelock Ellis)的七卷本《性心理学》(Psychology of Sex)和弗洛伊德(Sigmund Freud)的某些著作。他这方面的阅读与他父亲的宽容甚至鼓励是分不开的。其父潘鸿鼎曾是清末翰林院编修,也曾任职于京师大学堂,思想较开明,赴日考察归来时,带有一位日本医生写的有关性卫生的书。当时光旦先生只有12岁。当他父亲了解到他阅读此书时,不仅不责怪他,还说这是一本青年应该读、童年不妨读的书。潘先生为了方便阅读,大量买书藏书。留美期间,他购买了大量西方典籍,回国时口袋里只剩下1元钱。他买书是为了认真阅读,甚至将《英汉综合大词典》背得很熟,不独能说出其中每个词的各种词义,还能说出其词源和有关掌故。