Моржи составляют одно из трех семейств отряда ластоногих, однако
систематическое положение семейства не вполне ясно установлено.

Иногда его рассматривают в качестве подсемейства семейства ушатых тюленей,
чаще они выделяются в самостоятельное семейство.
Эта точка зрения может считаться уже общепринятой. Относительная близость
семейства моржей к ушатым тюленям, однако, бесспорна. Она, в частности,
подчеркивается объединением их в одно надсемейство и противопоставлением их в
таком объединенном виде надсемейству, включающему только семейство настоящих
тюленей. По своему происхождению семейство моржей тесно связано с семейством
ушатых тюленей (Otariidae) и может считаться его производным. Так, наиболее
ранняя и наиболее примитивная известная форма семейства моржей Prorosmarus
alleni из верхнего миоцена Атлантического побережья Северной Америки несет в
строении черепа и в зубной системе некоторые черты, свойственные Otariidae. В
частности, у этой формы сохранились нижние клыки.