神戸事件
さて高山はそんな少年期を過ごし青年期に入り明治維新へと向かい岡山藩も官軍として参戦することになりました。高山も当然兵士として戊辰戦争を戦いました。そこでいわゆる神戸事件に遭遇しました。
神戸のまちでフランス水兵が岡山藩の隊列を横切り交戦となり，運悪く西洋列国の公使が近くに居合せ英国公使パークスが激怒し神戸一帯を占領しました。この事件で倒幕に向かう矢先の官軍にとって背後の外国軍を敵にしたら倒幕どころではなくなるため早急に解決する必要がありました。そのため高山の上司である砲隊長の瀧善三郎正信が責任を取らされ割腹をさせられ，青年高山は外国の脅威と理不尽さを痛感しました。
上野での彰義隊との交戦，会津戦争にも加わり多くの武功をあげ，岡山に帰る途中外国人居留地もたちより外国の文化にもふれ，国際的な感覚を感じとり凱旋しました。
英語の習得
1869年（明治2年）陸軍御用掛の岡田摂蔵が下津井海岸の測量のため岡山に2ヶ月間逗留しました。肥後藩士で1859年福沢諭吉も学んだ緒方洪庵の適塾に入り1863年には慶応義塾の塾頭になり1865年外国奉行が匿名理事官としてフランス，イギリスへ派遣された際に随行したことがあり英語および外国事情にも精通した人物でありました。優秀な藩士の子弟10名に選ばれた高山は岡山兵学館にて英語を学ぶまたとないチャンスに恵まれました。
その中でも特別優秀であった高山は岡田が藩の上層部に掛け合ったおかげで東京へ行くこととなりました。
はれて藩費にて慶応義塾に入塾しました。
当時の慶応義塾の英語の授業はすでに基礎を学んでいた高山にとっては物足りない授業でした。当初慶応義塾は築地にあり，そこで米国人宣教師のカロザスと出会い彼の開いた塾にも通い更なる実践的な英語力とアメリカをはじめとする外国の事情等を身につけました。
カロザスは後に慶応義塾の英語講師となりその妻は近代女子教育の先駆けともいえる学校を開きました。現在の名門女子校・女子学院のルーツです。
はじめ藩からの援助で留学する予定であったが，当時の明治政府は留学を禁止したためにやむをえず私費で留学を決意し1872年（明治5年）サンフランシスコへ旅立ちました。
サンフランシスコへの留学
高山の恩師 ヴァンデンボルグ
サンフランシスコではプリンス学舎に入り更なる英語力を身につけそれを生かした職業を模索していました。
そんなある日歯がいたくなり町の歯科医院にて治療を受けました。高山が知る日本の歯科治療とあまりにもかけ離れた高度な治療に驚いた高山はぜがひともこの技術と知識を日本に伝えようと確信しました。
当時のサンフランシスコは南北戦争（1861年～1865年）も終わり大陸横断鉄道（1869年）も開通し西部開拓の入り口であり，まさにゴールドラッシュに沸き返る活気のある町で，アメリカ各地からはもちろん世界から人が集まり色々な人種がいました。ちなみに1873年にあの有名なケーブルカーもできこのような状況は高山にとっても多くの刺激を受け意欲に燃えすべてを吸収して帰ろうと思ったに違いありません。アメリカでは世界最初の歯科専門学校のボルチモア歯科医学校（1839年創立）が30年以上も前に作られ最先端の歯科医療が行われていました。偶然にも高山がかかった歯科医ヴァンデンボルグは技術，知識も最高で人柄もすばらしいひとでした。
弟子として教えを願う高山も武士の精神を持ち忠義心もありおそらく指先も器用でヴァンデンボルグの信頼をつかみ取ったと思われます。