トークン

ツール

[rtk] トークン消費を80%削減

AIコーディング時のトークン消費を平均80%削減するRust製ツール「rtk」を紹介。コマンド出力の重複排除やスマートフィルタリングにより、AIの理解精度を落とさずにコストを劇的に抑える仕組みと導入手順を解説します。
TIPS

[AWS]Bedrockのトークン削減の考え方

Amazon BedrockのKnowledge Baseを用いたSQL生成において、トークン数を削減しコストと性能を最適化する手法を解説。不要なスキーマ定義の論理的・物理的削減や、2段階RAGによる段階的検索など、実践的なアプローチを紹介します。
AI

トークンをカウントする

OpenAIのトークン数をカウントする方法を解説。Linux標準コマンド(grep)を用いた手軽な近似値算出から、公式ライブラリ「tiktoken」を使った正確なPython自作コマンドの構築、APIレスポンスからの取得まで、精度と手軽さに応じた3つのアプローチを紹介します。
AI

トークンとは?

生成AIが言語を処理する基本単位「トークン」の仕組みや、英語と日本語における消費量の違いを解説します。APIコストやコンテキストウィンドウの制限に直結するトークン特性を理解し、効率的なプロンプト設計を行うための技術的知見が得られます。
AI

[AWS]Bedrockを調教!AIモデルを最強にする「学習データ」の極意

Amazon Bedrockでのモデルカスタマイズ(微調整・継続的予備訓練)における学習データの準備手法を解説。高品質なデータ要件や推奨量、前処理、過学習対策など、モデルの性能を最大化する実践的なノウハウが学べます。