自然言語処理

[Sudachi]ユーザー辞書作成

SudachiPyでユーザー辞書を作成・登録する手順を徹底解説。CSVの書き方やコスト調整のコツから、バイナリ形式（.dic）へのビルド、sudachi.jsonへの設定方法まで、解析精度を向上させる実践的な知見を紹介します。

TIPSコマンド

[Sudachi]日本語の形態素解析ツール

Ubuntuサーバーに日本語形態素解析ツール「SudachiPy」を導入し、「辞書が見つからない」エラーを回避して動かす手順を解説。多段分割や表記揺れに強いSudachiのメリットと、Pythonでの最小実装コードを紹介します。

トークンとは？

生成AIが言語を処理する基本単位「トークン」の仕組みや、英語と日本語における消費量の違いを解説します。APIコストやコンテキストウィンドウの制限に直結するトークン特性を理解し、効率的なプロンプト設計を行うための技術的知見が得られます。