Какого происхождение слова "мат" науке не известно.
Есть несколько версий. Вот что об этом пишет российский немец из Петербурга Макс Фасмер:
Владимир Даль сначала рассматривает немецкое слово matt - тусклый, не блестящий (отсюда матовый). Затем шахматный мат, от него "мат" в значении гибельное положение, беда, конец:
И далее переходит к фразам:
И предлагает также смотреть немецкое слово "матрац" (и мат в значении подстилка).
Таким образом пока мы не видим связи с матершиной (нецензурной лексикой). Хотя во фразе "благим матом" ясно подразумевается "мат" = "голос" (крик).
Есть мнение, что слово "мат" в значении ругань появилось достаточно поздно. Испокон веку такая ругань на Руси называлась "лая матерна". Лая - это пёсий язык, который обладал определенной магической, защитной функцией. Было поверье, что матершина отпугивает чертей. Церкви пришлось приложить немало усилий, чтобы уменьшить количество аграрных обрядов, в которых использовалась "лая матерна". Можно предположить, что коротким и хлестким, как выстрел, словом "мат" стали обозначать термин "лая матерна". Ну, а слово "матерна" (матерная) - изначально означало принадлежность матери, женщине.
Есть и другая версия. Слово "матерный", как и "матерый" происходит от индовропейского корня "mat" с общим значением "взрослый", "сформировавшийся". То есть, "лая матерна" - это "пёсий язык взрослых".