くわしくは、検索エンジンとうまく付き合うには？（その1） - Documentsの後半にやりかたが書いてあります。

そこの「FancyURLの問題とその解決」その4、のもうひとつの解法。

メインディレクトリから別ディレクトリにfancyurls.config.phpをコピー。中の$CONF['Self']を置いた場所（絶対パス）に書き換える。

例：$CONF['Self'] = 'http://datoka.jp/another'; （最後はスラッシュで閉じないこと）

別ディレクトリの無拡張子ファイル群の中に書かれたfancyurls.config.phpのインクルードパスを、メインディレクトリではなく置いた場所に向ける。

例：include('./fancyurls.config.php');

これでテンプレートの書き換えをせずにすみます。