“ยากูซ่า” นั้นเดิมทีมาจากการเล่นไพ่ของญี่ปุ่น “โออิโช-คาบุ” (เล่นกับไพ่ดอกไม้ (ฮานาฟูดะ) หรือไพ่ kabufuda) คล้ายคลึงกับไพ่บาคะรา
ค่าของไพ่จะถูกบวกเข้าด้วยกัน และตัวเลขสุดท้ายของผลรวมจะถูกนับเป็นคะแนน ไพ่ที่ถือในมือที่แย่ที่สุดในเกมคือ ชุดของเลข แปด, เก้า และ สาม ซึ่งจะให้ค่ารวมกันเท่ากับ 20 และคะแนนก็จะได้เท่ากับศูนย์นั่นเอง (ตัวเลขสุดท้ายของ 20 คือ 0 ) รูปแบบการนับดั้งเดิมของญี่ปุ่นนั้น เรียกตัวเลขเหล่านี้ว่า ยา กู และซ่า ตามลำดับ (8, 9 และ 3) ด้วยเหตุนี้จึงเป็นต้นกำเนิดของคำว่า “ยากูซ่า” ส่วนในการนับตัวเลขของญี่ปุ่นสมัยใหม่นั้น 8, 9 และ 3 จะอ่านออกเสียงว่า “ฮาจิ – คุ – ซัน” ซึ่งเป็นชื่อที่ในบางครั้งยากูซ่า ก็ถูกเรียกในปัจจุบันนี้
พวกยากูซ่าเลือกใช้ชื่อนี้เพราะว่า คนที่ถือไพ่ ยา – กู – ซ่า (8, 9 และ 3) ในมือนั้นต้องการทักษะมากที่สุด และเป็นผู้ที่มีโชคน้อยที่สุดเพื่อที่จะชนะ ดังนั้นผู้ที่ชำนาญเท่านั้นที่จะสามารถแก้เกมเพื่อให้ชนะได้ ชื่อยากูซ่านี้ยังได้ถูกใช้เพื่อแสดงถึงความโชคร้ายที่อาจจะได้รับหากทำการต่อต้านกลุ่มด้วย
ยากูซ่า มีรากมาจากวิวัฒนาการทางสังคมตั้งแต่สมัยเอโดะ (พ.ศ. 2146 – พ.ศ. 2410) ยุครุ่งเรืองของโชกุน ซึ่งในเวลาเดียวกัน การรักษาความสงบเรียบร้อยของสังคมในสมัยนั้นได้กลายมาเป็นความรับผิดชอบของสมาชิกในสังคมมากกว่าที่จะเป็นของพวกไดเมียว (ขุนนาง) นี่เป็นลักษณะเด่นเฉพาะของเมืองต่าง ๆ ที่อยู่นอกเมืองหลวง ดังที่รัฐบาลในสมัยเอโดะได้อนุญาตให้มีปราสาทสำคัญเพียงปราสาทเดียวในแต่ละจังหวัด แม้ว่าพวกยากูซ่าจะยืนยันว่าต้นกำเนิดของพวกเขาเป็น โรบินฮูดญี่ปุ่น และเป็นผู้ให้ความคุ้มครอง แต่นักวิชาการบางคนค้นพบว่าต้นกำเนิดของพวกเขาเริ่มต้นที่ kabukimono (พวกขี้เมา) หรือยังเป็นที่รู้จักว่าเป็น hatamoto yakko (คนรับใช้ของโชกุน) กลุ่มคนเหล่านี้เป็นโรนิน (ronin) เป็นพวกซามูไรที่ไร้เจ้านาย มักจะทำทรงผมและแต่งตัวแปลกตา มีกิริยาที่รุนแรง พูดสำเนียงภาษาเถื่อนหยาบ และมีคำแสลงเฉพาะ มักจะถือดาบยาว อ้างตัวเป็นผู้รับใช้โชกุน เรียกร้องค่าคุ้มครองจากชาวบ้าน ประกาศตัวเป็นผู้พิทักษ์ รักษาระเบียบ และป้องกันชุมชนจากผู้คุกคามภายนอก เชื่อว่าตนเป็นประหนึ่งวีรบุรุษที่ยืนหยัดอยู่ข้างผู้ยากไร้และคนที่ไม่มีทางสู้ เช่นเดียวกับวีรบุรุษ พวกเขามักจะทำการต่อสู้กับพวกโจรผู้ร้าย และกลุ่มต่าง ๆ เพื่อปกป้องชุมชนของพวกเขา ในเมืองที่ใหญ่กว่า กลุ่มต่าง ๆ เหล่านี้ก็มักจะเกิดมีขึ้นในเวลาพร้อม ๆ กัน และพวกเข้ามักจะต่อสู้กันเพื่อดินแดน อำนาจ และเงินตรา
ยากูซ่า มีพัฒนาการที่กลายเป็นต้นแบบพฤติกรรมปัจจุบันจาก
กลุ่มพ่อค้าเร่ ซึ่งเป็นชนชั้นต่ำสุดในระบบวรรณะสมัยเอโดะ ตั้งกลุ่มขึ้นจัดสรรผลประโยชน์ให้สมาชิก จัดแบ่งพื้นที่ค้าขายในงานเทศกาลต่างๆ ทั้งงานวัด งานศาลเจ้า อำนวยความสะดวกและดูแลความปลอดภัย โดยสมาชิกจ่ายค่าเช่าและค่าคุ้มครอง
กลุ่มนักพนัน เพราะการลักลอบที่มักใช้บริเวณวัดและศาลเจ้าร้างชานเมืองเป็นสถานประกอบการ ต้องวางกำลังคุ้มกันบ่อนซึ่งเงินทองสะพัด
สำหรับการสักร่างกาย หรือ Irezumi ก็สักไว้เปลือยโชว์ขณะเล่นพนัน เป็นสัญลักษณ์ประกาศศักดา รวมถึงการบั่นปลายนิ้วก้อยมือซ้าย แทนความสำนึกผิดอย่างสูง นิ้วก้อยซ้ายสำคัญมากในการจับถือถ้วยลูกเต๋าเล่นพนัน
หลังสงครามโลกครั้งที่ 2 ยากูซ่ารับอิทธิพลวัฒนธรรมอเมริกัน โดยเฉพาะกลุ่มอันธพาล “แอล คาโปน” ตั้งแต่การแต่งกาย ยานพาหนะที่เป็นรถยนต์สีดำคันใหญ่ บางส่วนเข้าเป็นกลไกใต้ดินให้ซีไอเอ และกลุ่มการเมืองอนุรักษนิยม ต่อต้านคอมมิวนิสต์ และกำจัดปฏิปักษ์ทางการเมือง ครอบคลุมทั้งฟอกเงิน ปั่นหุ้น ปล่อยเงินกู้ ค้ามนุษย์ ยาเสพติด รีดไถ และฮั้วประมูล อิทธิพลมิได้จำกัดอยู่เฉพาะในญี่ปุ่นอีกต่อไปแล้ว
รัฐบาลญี่ปุ่นเรียกพวกเขาด้วยศัพท์ทางกฎหมาย Boryo-kudan หรือ violence groups แต่สำหรับองค์กรอาชญากรรมที่มีรากฐานมายาวนาน คำดังกล่าวเป็นการหลู่เกียรติหยามศักดิ์ศรีรุนแรง เพราะความหมายของ Boryo-kudan ผลักยากูซ่าลงเป็นเพียงมิจฉาชีพที่อาศัยความรุนแรงก่อเหตุธรรมดา ๆ
ปัจจุบัน ทางการญี่ปุ่นได้ขึ้นบัญชีดำยากูซ่าได้ทั้งหมด 3 กลุ่มใหญ่ ๆ ในประเทศ ได้แก่
- ยามางูจิ-งูมิ มีสมาชิก 600,000 คน
- ซูมิโยชิ-ไก มีสมาชิก 6,000 คน
- อินางางาวะ-ไก มีสมาชิก 4,000 คน
นอกจากนี้แล้ว จะเป็นกลุ่มย่อย ๆ มีสมาชิกในจำนวนหลักร้อย.
