AI トークンをカウントする
Linuxの標準コマンドだけでOpenAIの公式なトークン数と完全に一致させるのは困難です。なぜなら、トークナイズ（文章をトークンに分割する処理）のルールがモデルごとに複雑だからです。しかし、「近い近似値」を素早く計算する便利なコマンドと、...
モデル
AI 
ツール [AWS]Bedrockで利用可能なLLMモデル一覧
Amazon BedrockでLLMエンジンを変更する手順と、利用可能な主要モデルの詳細を解説。コンソールまたはAPIを介してモデルを選び、コンテンツに合わせて最適なAIを使い分ける方法を紹介します。Titan、Claude、Llamaなど...
ツール [AWS]Bedrockのファインチューニング手順
Amazon Bedrockでのファインチューニングは、まずJSON Lines形式のデータセットをS3にアップロードし、Bedrockコンソールでジョブを作成することから始まります。ジョブ作成時には、モデル名、ソースモデル、ハイパーパラメ...
AI [AWS]Bedrockを調教！AIモデルを最強にする「学習データ」の極意
Amazon BedrockにおけるAIモデルカスタマイズの学習方法を解説します。微調整（Fine-Tuning）と継続的予備訓練（Continued Pre-Training）の2手法を紹介し、特に「データの質」が成功の鍵となります。高品...
ツール [AWS]Amazon Bedrock互換のOSS
Amazon Bedrockは、複数の大手AI企業の基盤モデル（Foundation Models）を統合的に利用できるフルマネージドサービスです。そのため、Bedrockと完全に互換性のある単一のオープンソースソフトウェア（OSS）は存在...
TIPS バルサラの破産確率
バルサラの破産確率（Bathala's Bankruptcy Probability）は、企業の財務リスクを評価するための統計モデルとして知られています。特に、企業の財務データから破産リスクを定量化する手法で、アルトマンのZスコアと並んで信...
AI Googleの新OSSモデル『Gemma 3』がローカルAI革命を加速！
Googleが公開した新たなオープンソースAIモデル「Gemma 3」が、AI業界に衝撃を与えています。このモデルは、過去に公開されたモデルから大幅に改良され、サイズと性能のバランスが従来の常識を覆しました。最小サイズはたった1B(ビリオン...
AI DeepSeekの衝撃
DeepSeek-V3 は最大6710億パラメータという巨大な規模を誇り、数学、コーディング、翻訳、文章作成など多様なタスクに高い性能で対応可能です。DeepSeek-R1 は複雑な推論や問題解決に特化し、一部のベンチマークでは OpenA...