Masjid Gede Mataram adalah masjid tertua di Daerah Istimewa Jogjakarta (DIJ). Ia menjadi salah satu masjid Kagungan Ndalem Kraton Ngayogyokarto. Pada tanggal 24 Juli 2016 oleh GKR Mangkubumi (GKR Pambayun), masjid ini diberi penanda (tetenger) sebagai masjid Kagungan Ndalem. Pemberian tetenger (penanda) bertepatan dengan pembukaan festival Sholawatan di Masjid Gede Mataram.
Menurut GKR Mangkubumi Tetenger, tetenger itu sangat penting, karena masjid-masjid Kagungan Ndalem yang berjumlah tidak kurang dari 42 (40 di DIJ dan 2 di luar DIJ), sudah ada yang berubah nama, dan tetengernya sebagian sudah banyak yang hilang. Pemasangan tetenger itu, menyiratkan pengakuan implisit bahwa telah lama, masjid-masjid Kagungan Ndalem mengalami perubahan, sehingga tidak sedikit yang hilang tetengernya.
Pemasangan tetenger itu dimaksudkan, agar pengelolaan masjid Kagungan Ndalem dekat dengan visi kraton.
Sebutan masjid Kagungan Ndalem untuk Masjid Gede Mataram, dimaksudkan bahwa masjid ini milik Raja Kraton Mataram Islam, yang berhubungan dengan asal-asul sejarah dan keislaman Kraton.
Selain istilah masjid Kagungan Ndalem ini, teryata di wilayah Kraton Mataram juga ada istilah masjid Pathok Negoro dan Masjid Agung. Masjid Agung, adalah masjid besar di pusat ibukota kerajaan, yang sekarang posisinya ada di Kauman.
Menuru Umar Priyono, kepala Dinas Kebudajaan DIJ, maksud istilah Pathok Negoro, adalah masjid sebagai batas ibukota negara Kraton Ngayogyokarto.
Masjid Pathok negoro di wilayah Mataram ada lima, yaitu Masjid Mlangi, Masjid Plosokuning, Masjid Babadan, Masjid Dongkelan, dan Masjid Wonokromo. Sedangkan masjid Kagungan Ndalem, selain Masjid Gede Mataram, juga ada Masjid Nitikan, Kuncen, Rejodani, Tawangsari, Kepatihan, Lempuyangan, Blunyah, Keris, Karangkajen, dan lain-lain yang semuanya berjumlah tidak kurang dari 42 buah.
Masjid-masjid itu, termasuk masjid Kagungan Ndalem, oleh kraton diurus oleh Kawedanan Pengulon, yang bertugas mengurusi masjid dan makam. Pengelolanya diangkat sebagai abdi dalem, yang masuk dalam Abdi Dalem Pamethakan.
Bagi kraton, fungsi masjid-masjid ini adalah sebagai pusat spiritual pertahanan rakjat untuk membentengi pengaruh-pengaruh yang tidak diinginkan bagi agama Islam dan kraton, untuk penyiaran agama Islam, untuk pengadilan besar atau pengadilan surambi, dan tempat ijab qabul dalam pernikahan yang dilakukan masyarakat kala itu.
Meski begitu, kedudukan masjid Pathok Negoro, tidak lebih tinggi dari Masjid Gede, dari sudut posisi di mata Kraton. Hal ini berkaitan dengan asal usulnya. Masjid Pathok Negoro didirikan pada masa HB I (Pangeran Mangkubumi) yang memerintah Ngayogyokarto setelah Perjanjian Giyanti Mataram dipecah 2, Surakarta dan Ngayogyokarto), untuk menopang sistem pemerintahan yang masih mempertahankan perundangan Mataram Islam, di mana bila terjadi pelanggaran terhadap hukum negera, diselesaikan di pengadilan Surambi, atau di serambi Masjid.
Sementara Masjid Gede didirikan oleh pendahulu HB I, yaitu Panembahan Senopati sebagai pusat pengembangan Islam jang meneruskan tradisi Sunan Kalijogo. Balai Pelesarian dan Cagar Budaya Jogjakarta mengatakan masjid Gede didirikan oleh Panembahan Senopati.
Informasi tersebut tampak dalam papan pengumuman besar yang dipajang di area halaman masjid yang dilapisi kaca.
Dalam kitab Babad Momana ada informasi bahwa Panembahan Senopati memerintahkan untuk membangun masjid yang penyelesaiannya dicatat pada tahun 1511 (tahun Jawa) bertepatan dengan tahun 1589 M atau 997 H.
Pada ahun 1796 masjid yang terdiri dari induk atau inti berbenuk limas an dengan atap tumpang, mengalami penambahan di bagian serambi depan sisi timur; dan pada tahun 1856 terdapat penambahan emperan dan pawudhon.
Pada tahun 1919 diceritakan masjid ini pernah terbakar dan diperbaiki sampai tahun 1923. Pada tahun 1926 dibuatlah pagar tembok oleh Pakubuwono X, raja dari Kasunanan Surakarta, yang gerbangnya menggunakan model paduraksa, seperi di candi Hindu.
Tahun 2002 dilakukan perbaikan pada bangunan masjid yang meliputi strukur atap jendela, pintu, dan perkuatan beton pada bagian dinding belakang masjid serta perkuatan pondasi di sisi belakang mihrab.
Perbaikan juga dilakukan pada pawestren (tempat untuk kaum perempuan) di selatan dan utara, serambi, jagang (kolam air), dan pawudhon (tempat wudhu).
Tahun 2001, menurut versi Balai Pelesarian dan Cagar Budaya Jogjakarta ini, perbaikan di halaman diganti dengan paving batu alam hitam, dan perbaikan-perbaikan lain seperlunya. Pendirian menara pengeras suara baru dilakukan pada tahun 2003.
Ketika terjadi gempa di Bantul tahun 2006, bangunan pemakaman banyak yang roboh, sementara masjid tidak.
Pada bulan Suro, masjid Gede ramai dikunjungi peziarah, juga pada bulan Puasa. Meski begitu, setiap hari, mereka yang hendak manepi dan ziarah, selalu ada.
Di kompleks pemakaman di barat masjid, beberapa makam yang ada di situ yang juga menjadi daya magnet mengunjungi masjid ini, di antaranya adalah pemakaman Ki Gede Pemanahan dan istri (Nj. Ageng Nis), Ki Juru Martani, Panembahan Senopati, Panembahan Jayaprana, Datuk Palembang, HB II, Pakualam I, I, III, dan IV, dan lain-lain.
Dan, dengan pemasangan kembali tetenger sebagai masjid Kagungan Ndalem pada tahun 2016, juga diadakan festival sholawat, Masjid Gede Mataram, sepertinya hendak menunjukkan kerinduannya dengan Islam yang dikembangkan para pendahulunya yang ramah dengan tradisi Islam Nusantara.
Sebuah kerinduan pribumisasi Islam yang meneruskan tradisi Sunan Kalijogo bisa hidup lagi di tengah pergeseran pengelolaan dan pemfungsian masjid-masjid Kagungan Ndalem, yang diakui GKR Mangkubumi sebagian hilang tetengernya itu.