五色人の元ネタは陰陽五行説

古来より日本は中国からの影響を受けています。古代の国際語は中国語でしたし*1、老子や孫子など中国の書籍は教養とされていました。

陰陽五行説

この宇宙のすべては「木火土金水（もくかどこんすい）」の5つの要素と「陰陽」2つの要素の掛け合わせ成り立つとする考え方です。色で表すと「青赤黄白黒」となります。
五色人はおそらくここから来ています。

陰陽道は宮廷の儀式にも取り入れられ、神道や修験道に影響を与えました。
明治2年の近代に至るまで陰陽寮という国の機関がありました。

*1:国の正式な歴史書である日本書紀は、正式な漢文で書かれています