சிவகாசி நகரம் ஏறக்குறைய 600 ஆண்டு கால வரலாற்றை கொண்டிருக்கிறது. தென் மதுரையை ஆண்ட பாண்டிய மன்னரான ஹரிகேசரி பராக்கிரம பாண்டியனின் ஆட்சிக் காலத்தில், அவருடைய ஆட்சி பகுதியின் ஒரு பகுதியாக சிவகாசி இருந்திருக்கிறது.
இந்த மன்னர், தற்போதைய வாரனாசியிலிருந்து (அந்த காலத்தில் காசி என்று அழைக்கப்பட்டது) ஒரு சிவலிங்கத்தை கொண்டு வந்து சிவகாசியில் நிறுவினார்.
காசியிலிருந்து வந்த சிவலிங்கம் இங்கு நிறுவப்பட்டதால், காசி சிவலிங்கம் பெயராலே சிவகாசி என்று அழைக்கப்படுகிறது. பிற்கால பாண்டிய மன்னர்களும் மற்றும் நாயக்க மன்னரான திருமலை நாயக்கரும் சிவலிங்கம் இருக்கும் கோயிலை மிகப் பெரிய கோயிலாக கட்டினர்.
இந்த கோயில் தற்போது காசி விஸ்வநாத சாமி கோயில் என்று அழைக்கப்படுகிறது. தற்போது இந்த கோயில் ஆன்மீக பக்தர்கள் மட்டுமல்லாது, சுற்றுலா பயணிகளும் வந்து தரிசித்துவிட்டு அருள் பெரும் முக்கிய ஆன்மீகத் ஸ்தலமாக விளங்குகிறது.