桃花门的背景是客家文化。
桃花门像洪门三合会、致公堂，是藏于民间的社会组织。
康熙末年明朝遗民逐渐被消灭时，当时一派富有民族主义思想的人，觉得大事去矣，专靠文人学士去维持民族主义已经不可能，因为他们已经被满清收买，因此，他们将下流社会和江湖上无家可归的人收罗起来，结成团体，把民族主义放到那种团体内去生存。这种团体的分子，因为是社会上最低下的人，他们的行动很“鄙陋“，便令人看不起，又用文人所不讲的言语，去宣传他们的主义，便令人不大注意。所以那些明朝遗老实在有真知灼见。知识分子最是易于收买、投靠、变节的，民族的精神并非保留在他们身上，也非保留在文字书本之中；国粹，国之精华，是秘藏在下流社会、在那些鄙陋不文、流离失所的底层社会之中的。下层人民才是中华民族灵魂的真正寄托者。
1924年初，在国民党改组期间，孙中山利用空闲，在广州国立高等师范学校礼堂断续做了半年多时间的演讲，此即以《三民主义》为总题的孙中山思想的总结。其中，尤其以民族主义的演讲最受欢迎，最有影响。故事的力量不可没也：下流社会的粗人能保存中国人的民族精神。
海外华侨中最多的民间组织是洪门，三合会、致公堂，他们原来的宗旨，是反清复明的。而桃花门的原宗旨是客家对抗南粤土族的。
先前桃花门一直是客家和南粤冲突的中流砥柱，他的首领和门内要员一直来源于客家有威望的地方人士。
一些闽粤土客冲突概况，来揭示桃花门的社会背景。
康熙六十年（1721）朱一贵起义，“多系潮州之三阳及漳、泉人同伙作乱，而镇平、平远、三县之人并未入伙”，牵涉人数达1万2千。故有人称这起事是“闽粤分类之所由始也”。
雍正间吴福生起事，以客家人为主，组织1万余名闽籍客家，剿灭闽人。
乾隆年间林爽文起义。凤山县粤籍民遵义民制，分设六堆，“统计义民八千余人，屡经打仗杀贼”。义民、乱民即按话系分类，“贼”指客民。
道光六年（1826）闽粤土客械斗，因失猪引发。