2024年にLLMについて学んだこと - Simon Wilsonより

⚡️ 見出し

🤖 AI

アリババのクラウド部門、AIモデル価格を最大85%引き下げ – アリババのクラウド部門はAIモデルのコストを大幅に削減し、人工知能を企業にとってよりアクセスしやすくすることを目指しています。[CNBC]

アリペイ、WeChatと競うためAI画像検索を導入 – アリペイはAIを活用した画像検索機能を開始し、テンセントのWeChatとの競争において「スーパーアプリ」としての能力を強化しました。[South China Morning Post]

AIが雇用に与える影響、新データで明らかに – 最近のグラフにより、AIがすでに影響を与えている業界が明らかになり、労働力における自動化の役割が浮き彫りにされています。[Fast Company]

OpenAI、約束していたオプトアウトツールの期限を守れず – OpenAIは2025年までに提供を約束していたオプトアウトツールを実現できず、データプライバシーに関する懸念が高まっています。[TechCrunch]

AI、何世紀も前の絵画に新たな詳細を発見 – 人工知能がラファエロの『マドンナ・デッラ・ローザ』に関する驚くべき詳細を明らかにし、一部が別の画家によって描かれた可能性が示唆されています。[Earth.com]

🦾 新興技術

ブラックロックのビットコインファンド、史上最大のETFローンチに – ブラックロックのビットコインファンドはETF史上最大のローンチを達成し、仮想通貨に対する機関投資家の関心の高まりを反映しています。[Bloomberg]

AI技術で動物との意思疎通を目指す – 研究者たちはAIツールを開発し、動物のコミュニケーションを解読することで、人間が動物と「話す」可能性を追求しています。[Axios]

🤳 ソーシャルメディア

Meta、FacebookとInstagramにAIボットをさらに統合する計画 – Metaはユーザーエンゲージメントを向上させ、若年層を引きつけるため、AI生成キャラクターをさらにプラットフォームに導入する意向です。[New York Magazine]

判事、カリフォルニア州のソーシャルメディア子供保護法の一部をブロック – 連邦判事が、子供をソーシャルメディアの中毒性のある機能から保護することを目的としたカリフォルニア州の法律の重要な条項を、憲法修正第1条の違反の可能性を理由にブロックしました。[Courthouse News Service]

子供のインフルエンサーが保護不足の中で虐待に直面 – 調査により、子供のインフルエンサーが虐待を受けている事例が明らかになり、業界におけるより強力な保護の必要性が浮き彫りにされています。[The New York Times]

🔬 研究

AIの「幻覚」が科学研究に課題をもたらす – モデルが虚偽の情報を生成する「AIの幻覚」現象が、科学研究において懸念を引き起こしています。[The New York Times]

AI生成画像を検出する新しい手法が開発される – GANをベースとした手法を使用してAI生成画像を検出する新技術が研究者によって発表され、合成メディアの識別能力が強化されました。[IEEE Xplore]

症状が現れる前に心臓の病状を検出するAIが試験される – AIツールが患者の心房細動を症状が出る前に検出する試験が行われており、脳卒中の予防に役立つ可能性があります。[BBC News]

⚖ 法律

米国、選挙干渉でロシアとイランの組織に制裁 – 米国は2024年大統領選挙への干渉を試みたとされるロシアとイランの団体に制裁を課しました。[NBC News]

米陸軍兵士、AT&TとVerizonを脅迫したとして逮捕 – 米陸軍の兵士が、盗まれた通話記録を販売してAT&TとVerizonを脅迫するハッキング計画に関与した疑いで逮捕されました。[KrebsOnSecurity]

🎱 その他

GitHubプロジェクトに3.1百万件以上の偽スターが発見される – GitHubプロジェクトにおいて、ランキングと可視性を人工的に向上させるために使用された3.1百万件以上の偽の「スター」が発見されました。[BleepingComputer]

ポルノハブ、年齢確認法により米南部の大半でアクセスブロック – 厳しい年齢確認法の実施に伴い、ポルノハブは米南部のいくつかの州でブロックされました。[404 Media]

🔌 これに接続して

2024年にLLMについて学んだこと

Simon Willisonによる年末の振り返りでは、2024年における大規模言語モデル（LLM）の分野での重要な進展を強調しています。これらの進歩は、アクセス性、能力、そして社会的影響を再定義しました。

• ローカルでの利用可能性: 高度なモデルがコンシューマー向けハードウェアで動作可能となり、クラウドサービスへの依存を減らしつつ、広範な実験が可能に。

• マルチモーダルの革新: LLMがテキスト、画像、音声といった複数の入力を処理できるようになり、さまざまな業界で新しい応用を開拓。

• コストと効率性: 競争と技術効率の向上により、LLM利用のコストが急激に低下し、AIへのアクセスが民主化。

• 評価システム: 厳格な評価（‘evals’）の重要性が増し、モデルの性能と信頼性の向上を促進。

• 合成データの成功: トレーニングにおける合成データの効果的な利用がモデルの能力を向上させ、新しい改善手法を実証。

👀 このブログ投稿は、LLMのトレンドに関する深い分析を提供しており、最近のAI革命の核心を支える基盤技術の課題と機会について貴重な洞察を与えています。ぜひご一読を。

熟慮型整合性: 推論によるより安全な言語モデルの実現

OpenAIは昨年12月、「熟慮型整合性（deliberative alignment）」という新しいトレーニングパラダイムを導入しました。これにより、モデルはプロンプトに回答する前に、人間が書いた安全基準について明示的に推論する能力を持つよう訓練されます。このプロセスは、LLMにとどまらず多岐にわたる影響をもたらします。

• 明示的推論: モデルは、チェーンオブソート推論を用いて安全ガイドラインを「反省」する訓練を受け、より慎重で安全な応答を生成。

• 安全遵守の向上: この手法により、モデルは悪意のあるプロンプトや脱獄攻撃に対する耐性を高め、より堅牢な安全遵守を可能に。

• 性能の向上: 熟慮型整合性を使用するモデルは、さまざまな安全ベンチマークで従来モデルを上回る結果を示し、このアプローチの有効性を証明。

• データ効率: 自然言語で安全基準を直接学ぶことで、より優れた意思決定を効率的に達成。

• Oシリーズモデルへの応用: OpenAIのOシリーズモデルはこのパラダイムを採用しており、安全で信頼性の高い出力の生成において顕著な進歩を遂げています。

⚠️ AIブームを注視する人々にとって、安全性は長年の主要懸念事項です。モデルが安全規則を理解することで、動的な文脈の中で合理的な判断を下せるようになるという考え方は興味深いものです。主張通り効率的であるならば、自動運転車やヒューマノイドロボットのような人間の物理的安全が関わる分野に広範な影響を与える可能性があります。

Meta、エンゲージメント向上のためAI生成キャラクターとプロフィールに投資

Metaは人工知能の統合をさらに進め、プラットフォーム全体にAI生成キャラクターとプロフィールを導入し、ユーザーエンゲージメントとエンターテインメント性を高めることを目指しています。

• AIキャラクターの統合: Metaは、バイオやプロフィール写真を持つAI生成ユーザーをFacebookやInstagramに組み込み、これらのAIキャラクターがコンテンツを生成・共有する機能を提供。

• ユーザー体験の向上: AIキャラクターの埋め込みにより、特に若年層をターゲットにプラットフォームの魅力を高め、ユーザーベースの維持と拡大を目指します。

• 専門家の懸念: 一部の専門家は、AI生成プロフィールの普及が誤情報の拡散やコンテンツの質の低下につながる可能性を指摘しており、AI生成コンテンツの明確なラベリングと強力な安全対策の必要性を強調。

🤖 これは誰かが求めているものでしょうか？誰かが気にしているのでしょうか？Metaのプラットフォームで既に存在しているものと本質的に異なるのでしょうか？アルゴリズムが、すでに多くが自動化されたと思われるミームアカウントのコンテンツを押し出す傾向にある現在、コア製品が「友人や家族とのつながり」に焦点を当てているとは言い難い状況です…。

 🆕 更新

📽️ 毎日デモ

🗣️ 対話