単語

[Sudachi]ユーザー辞書作成

Sudachiの辞書は、テキスト形式（CSV）で作成したあと、高速化のためにバイナリ形式（.dic）に変換（ビルド）して使用します。辞書ソース（CSV）の作成: ルールに従って単語を記述。バイナリへのビルド: sudachipy ubuil...

TIPSコマンド

トークンとは？

ChatGPTのような生成AIにおける「トークン」は、多くの人が直感的に考える「単語数」や「文字数」、あるいは「ファイルサイズ」とは少し異なる、AIが言語を処理するための独自の基本単位を指します。結論から言うと、トークンは「AIが文章を意味...