Hisatsugu Takamatsu je rođen 10. marta 1887 u gradu Akashiu, u Hyogo okrugu. Kasnije je promenio ime u Toshitsugu, zadržavši isti zapis, ali se čitao drugačije. Otac mu se zvao Yosaburo i bio je vlasnik fabrike šibica u Kobeu. Takamatsu je najviše vremena provodio sa babom i dedom.
Njegov deda, Toda Shinryuken Masamitsu, je bio kiropraktičar u bolnici u Kobeu, a imao je i svoju školu borilačkih veština i bio je soke (nastavljač tradicije) Shinden Fudo ryu stila. Iako je njegova porodica je pripadala samurajskom staležu, njegovi preci su bili nindže. U to vreme to je bila strogo čuvana tajna, a otkrivena je nakon Takamatsuove smrti. Takamatsuov deda je ujedno bio i poslednji naslednik ninjutsu tradicije Toda porodice.
Po želji njegovog oca, Takamatsu je sa 9 godina započeo obuku u dedinoj Shinden Fudo ryu školi i sa 13 godina je stekao svoje majstorsko zvanje i titulu sokea. Želeo je da Takamatsu ojača i bude primljen u vojsku.
Nakon što ga je podučio Shinden Fudo ryu stilu, Toda ga je podučio Koto ryu, Gyokko ryu, Kumogakure ryu i Togakure ryu stilovima. Ipak, Takamatsu tada nije bio mnogo zainteresovan za ninjutsu. U međuvremenu je upoznao Mizutu Yoshitarua, majstora Takagi Yoshin ryu stila i postao njegov učenik, a sa 17 godina je postao soke i ove škole. U to vreme, učitelji borilačkih veština su (namerno) prerano neke učenike proglašavali sokeom, da bi ih podstakli da se više trude. Taj običaj se zvao sakizuke.