• 電時流⚡️
  • Posts
  • Anthropic、LLM「Claude」の思考プロセスを可視化

Anthropic、LLM「Claude」の思考プロセスを可視化

また、Qwenが視覚推論モデル「QVQ-Max」をリリース

Author

Jack Lajoie
March 28, 2025 • 読了時間3 minutes

⚡️ 見出し

🤖 AI

中国スタートアップ「Manus AI」、評価額5億ドルを目指す - 一般的なAIエージェントを開発したと主張する中国のスタートアップ、Manus AIが、AI技術への投資熱の高まりの中で5億ドルの企業評価を目指している。[The Information]

ChatGPTがすべてをジブリ風アートに──そしてすぐに奇妙な方向へ - OpenAIの「ChatGPT用画像生成」機能により、スタジオジブリ風の画像を生成できるようになり、創造的かつ物議を醸す使用例が次々と登場している。[The Verge]

ロッキード・マーチンとGoogle Cloud、国家安全保障向け生成AIで提携 - ロッキード・マーチンとGoogle Cloudは、国家安全保障関連業務の強化を目的とした生成AIソリューションの共同開発を発表。[PR Newswire]

サティア・ナデラ：「DeepSeekはマイクロソフトの新たなAI基準」 - マイクロソフトCEOのサティア・ナデラは、DeepSeekのR1モデルを同社のAI戦略における新たなベンチマークと位置づけ、効率性と革新性を強調した。[The Verge]

PwC、企業向けAIエージェントOS「agent OS」を発表 - PwCが、企業内でAIエージェント同士が連携・協働できるよう設計されたプラットフォーム「agent OS」を公開。[PwC]

🦾 新興テクノロジー

物理的AIの力を引き出す「Lenses」 - Archetype AIは、独自のNewton™モデル上に構築されたAIアプリケーション「Lenses」を発表。生データを継続的に分析し、特定用途に最適化されたインサイトへと変換する。[Archetype AI]

GameStop、ビットコイン連動型転換社債を1株29.85ドルで価格設定 - GameStopは13億ドル規模の転換社債を29.85ドルで発行し、収益をビットコイン投資に充てる方針を発表。[CoinDesk]

🤳 ソーシャルメディア

Reddit、会話広告枠を拡大しブランド適合性レポートも導入 - Redditは、会話内の広告配置枠をすべての広告主に開放し、ブランドセーフティを強化する新たなレポーティング機能も導入。[Reddit for Business]

Instagram、再投稿機能を追加しシェアのリーチ拡大へ - Instagramが、投稿の再共有をより簡単に行える「リポスト」機能を導入し、共有コンテンツの可視性向上を図っている。[Social Media Today]

🎱 ランダム

Discord、2025年IPOに向け銀行と初期協議中との報道 - ゲーミングチャットプラットフォームDiscordが、JPモルガン・チェースやゴールドマン・サックスなどの銀行とIPOに向けた協議を開始。[Ars Technica]

Google Maps、スクリーンショットから旅行計画が可能に - Google Mapsは、ユーザーのスクリーンショットに写った場所を特定・保存・マッピングすることで、旅行計画を支援する新機能を追加予定。[The Verge]

🔌 これに接続して

Anthropicは、言語モデル内部の推論経路を解釈するための新しい手法を導入し、モデルが複雑なタスクをどのように処理・分解して中間ステップへと展開するかを可視化できるようにしました。内部の活性化に対してスパース・オートエンコーダを訓練することで、チームは「思考の断片」に似た離散的かつ解釈可能な特徴を特定し始めています。

  • この手法では、Claude 2.0モデルの活性化に対して教師なしのスパース・オートエンコーダを適用し、数百万の潜在特徴を抽出。

  • 多くの特徴が、語調（例：「丁寧さ」）やタスク構造（例：「段階的な推論」）といった意味的に豊かな概念に対応。

  • これらの特徴は「除去（アブレーション）」して、モデルの後続の挙動に与える因果的影響を検証可能で、機能的な妥当性を示す。

  • 一部の能力、特に連鎖的な思考（Chain-of-thought reasoning）は、潜在次元をまたいで構成的な構造として出現する可能性が示唆されている。

  • 初期の成果は、LLM内部の特定の認知パターンに介入できる可能性を示し、より操作可能かつ監査可能なAIシステムへの道を開くかもしれない。

🧠 潜在ユニットを抽出して抽象的な推論モードに紐づけるこのアプローチは、神経科学的な特徴マッピングと並行するものであり、言語モデルの解釈性を「思考の機能地図」に近づけつつあります。しかも、正解ラベルや侵襲的な再訓練を必要としません。

AlibabaのQwenチームは、Qwen-QVQ-Maxという先進的なビジョンと言語統合モデルのアーキテクチャを発表しました。32Kのコンテキストウィンドウと洗練された画像エンコーダ・デコーダ構成を備え、文書理解、チャート解析、文脈に基づく推論など、空間的に密なタスクに最適化されています。視覚入力処理と長文脈の整合性において大幅な強化が図られています。

  • ViTベースの画像エンコーダと、量子化されたビジョン・クエリ・デコーダを組み合わせ、マルチスケールな視覚表現を強化。

  • 最大896×896解像度の画像入力をサポートし、32Kトークンのウィンドウ内で複数画像のプロンプト処理が可能。

  • “QVQ”メカニズム（Quantization-Vision-Query）を導入し、複雑なレイアウト上での視覚的基盤と領域レベルの推論を強化。

  • ChartQA、DocVQA、マルチホップ視覚的質問応答で、従来のQwen-VLモデルを大幅に上回る性能を発揮。

  • 請求書理解、スライド解析、Web UI解釈といった実用的なシナリオでも高い性能を示す。

👁️ QVQ-Maxの最大の特徴は、「視覚の量子化とクエリ構成」というアーキテクチャの重視にあります。従来の画像エンコーダを超えて、視覚領域を学習可能なトークンとして離散化し、長文脈にわたって精密で参照可能な基盤づけを可能にします。これにより、多モーダルな推論は、単なる知覚的照合から、構造的視覚抽象化へと進化します。

Databricksは、大規模言語モデルのファインチューニングにおいて、独自の検索システムと高度な合成データパイプラインを活用することで、ラベル不要のアプローチを切り拓いています。企業ユーザーを対象とした新プラットフォームは、RAG強化によるデータソーシングとオープンLLMの統合により、精度向上、幻覚（hallucination）抑制、データガバナンスの維持を実現します。

  • 「指示に従う」形式のチューニングを、ドメイン固有文書を用いて人手による注釈なしで実行。

  • DatabricksはRAGを用いて高関連性の文書を選択的に抽出し、それを元に合成された指示データセットを生成。

  • MistralやLLaMA派生モデルなどのオープンモデル上でファインチューニングを実施し、企業環境でのガバナンスを維持。

  • ラベル付きデータが不足または機密性の高い業界（例：法務、金融、バイオテック）向けの縦型アプリケーションに対応。

  • DatabricksのAI/BIスタック内に統合されており、データ、モデルカスタマイズ、可視化ツールへの一元的なアクセスを提供。

🔧 このアプローチは、高価な手作業によるラベリングを回避し、社内の検索とデータ合成を統合している点が特徴です。Databricksは、モデルのスケール競争ではなく、企業固有のデータフローに根ざした生成AI戦略を推進しています。

 🆕 更新

📽️ 毎日デモ

🗣️ 対話