転置インデックスを作ったり検索したりする

素振り ruby

転置インデックスによる検索システムを作ってみよう！のおさらいというか手を動かしてみる，ということをしてました．

  • 言語
    • ruby で標準ライブラリ縛り．
  • 対象データ
    • navi2ch のキャッシュにころがってたやつを加工した utf-8 テキスト
    • (なんか社内掲示板でこのフォーマットを見た覚えが...作った人に聞いてみよう)
  • スコア
    • TF-IDF

なんか後で使いたくなりそうなので，unigram と trigram を指定できるようにしてみた．
あと，複数行のテキストでも検索できるとか．

この辺に置いておく



参考になった記事たち