日本語

TIPS

[Ubuntu]ホームの日本語フォルダを英語化

Ubuntu 24.04 (Noble Numbat) をインストールした後、ターミナル(端末)で作業しようとして「デスクトップ」や「ダウンロード」といった日本語のディレクトリ名にストレスを感じる方は多いはずです。cd コマンドで日本語を入...
ツール

[Sudachi]日本語の形態素解析ツール

自然言語処理を「高精度」に行いたいなら、現在はMeCabよりもSudachiが主流です。今回は、UbuntuサーバーにSudachiを導入し、辞書エラーを回避して動かすまでの全手順をまとめます。1. 開発環境の準備(venvの作成)Pyth...
AI

トークンとは?

ChatGPTのような生成AIにおける「トークン」は、多くの人が直感的に考える「単語数」や「文字数」、あるいは「ファイルサイズ」とは少し異なる、AIが言語を処理するための独自の基本単位を指します。結論から言うと、トークンは「AIが文章を意味...