潘姓来源主要有：出自芈姓，以祖名为氏；以邑名为姓，出自姬姓；以国名为姓，潘崇被尊为潘姓的得姓始祖；外族改姓。郡望有荥阳、广宗、河南、豫章等，堂号有黄门、承志、如在、花贤等。

唐初，府兵校尉潘节随陈元光开漳，为潘姓入闽一世祖。至唐末五代，潘氏散居福、兴、泉、漳。清代潘姓迁台以漳州籍居多。乾隆初叶，潘满兴携眷从漳浦县渡台入垦桃园八块庄（厝）开基，潘宫筹迁居士林旧街，倡议开辟今旧佳里、芝山岩一带，包括士林、石牌的聚落初期街廓。清朝台湾少数民族有被赐姓潘姓。

台湾潘氏主要分布于屏东县、台北市、台北县、高雄县、花莲县等地；分布较多之乡镇市区有：屏东县内埔、万峦、南投县埔里、屏东县枋寮乡。