SMK NU Ungaran didirikan pada tanggal 19 Mei 2003 oleh Ulama NU Kabupaten Semarang yang dimotori oleh K.H. Abdul Wahab (Kauman-Ungaran). Para pendiri SMK NU Ungaran di luar Kabupaten Semarang adalah Shohibul Karomah wal Fadhilah K.H. Ahmad Abdul Haq (Watucongol-Muntilan). Adapun lokasi SMK NU Ungaran adalah tepat dibawah kaki gunung Ungaran yang berhawa sejuk dan nyaman, tepatnya di JL. Kaligarang No. 9 Ungaran.
Pada tahun pertama didirikan SMK NU Ungaran menerima sekitar 72 murid dari seluruh Kabupaten Semarang, dan pada tahun ke sebelas (2013/2014) jumlah murid SMK NU Ungaran telah mencapai lebih dari 1000 siswa, yang berasal dari daerah-daerah di Jawa Barat dan Jawa Timur. Murid-murid dari luar Kabupaten Semarang, sebagian besar “nyantri/mondok” di ponpes-ponpes sekitar SMK NU Ungaran.
Saat pertama didirikan, SMK NU Ungaran hanya memiliki satu program keahlian (khusus) yaitu Teknik Komputer dan Jaringan pada Bidang Keahlian Teknologi Informasi dan Komunikasi. Dan pada tahun 2008 telah dibuka program keahlian Multimedia. Dengan hanya memfokuskan pada satu bidang keahlian yaitu Teknologi Informasi dan Komunikasi, SMK NU Ungaran berkeinginan agar ketika belajar teknologi komputer maupun jaringan komputer, tempatnya hanya di SMK NU Ungaran.
Program-program unggulan di SMK NU Ungaran pada Bidang Produktif adalah (1) Perakitan PC, (2) Pemrograman Open Source, dan (3) Desain Web. Adapun program unggulan lainnya adalah Bahasa Jepang dan English Corner. Bahasa Jepang diarahkan agar siswa memiliki bekal untuk bisa dimagangkan pada Perusahaan-perusahaan di Jepang, yang dalam hal ini SMK NU Ungaran sudah menjalin kerja sama dengan DISNAKERTRANS Provinsi Jawa Tengah. English Corner diarahkan agar anak menjadi “familiar” dengan bahasa inggris terutama conversation.
Pada tahun pertama kelulusan (2005/2006), SMK NU Ungaran berhasil meluluskan 100% dari jumlah peserta didik angkatana pertama yang berjumlah 72 anak. Dan hal ini juga berkelanjutan dengan prestasi memperoleh peringkat terbaik kedua tingkat Kabupaten Semarang.