オープンAIのo1推論モデルに対抗するオープンソースモデルがバークレー研究所から発表—制作費はたったの450ドル?!

⚡️ 見出し

🤖 AI

NVIDIA、小売ショッピングアシスタント向けAIブループリントを発表 - NVIDIAは、AI駆動のアシスタントを小売業に統合する包括的な計画を発表し、顧客のショッピング体験の向上を目指しています。[NVIDIA News]。

OpenAIのボット、小規模企業のウェブサイトを圧倒しDDoS攻撃のような混乱を引き起こす - 従業員7人の小規模企業が、自社ウェブサイトがOpenAIのボットにより大量トラフィックで圧倒され、DDoS攻撃に似た障害が発生したと報告。[TechCrunch]。

マーク・ザッカーバーグ、AIがエンジニアやプログラマーを置き換える可能性を示唆 - MetaのCEO、マーク・ザッカーバーグが最近のポッドキャストで、AIが従来エンジニアやプログラマーが担っていた役割を取って代わる可能性について語りました。[Business Insider]。

ウォール街でAIが役割を再定義、20万人の職が危機に - AIの進歩により、ウォール街で約20万人の職が削減される可能性があると分析されています。[Bloomberg]。

YouTuber、未使用の映像をAI企業に売却して収益化 - YouTubeのコンテンツクリエイターが、未使用の映像をAI企業に販売し、データトレーニングのための収益化を進めています。[Bloomberg]。

🔬 研究

最前線AIにおける透明性：主要研究機関が明かすこと、明かさないこと - 最前線AI研究機関の透明性の実践を分析したレポートで、効果的な監視を確保するための標準的な開示の必要性を強調しています。[Responsible Innovation]。

⚖ 法律

TikTok禁止に関する訴訟、最高裁が審理へ - 全米でのTikTok禁止の合法性を巡る訴訟が最高裁で審理されることになり、言論の自由と国家安全保障に関する議論を呼んでいます。[The Wall Street Journal]。

米国、AIチップの輸出管理を強化 - 米国政府がAIチップの国際輸出に対する規制を強化し、技術的優位性の維持と安全保障上の懸念に対応します。[Reuters]。

FTCと司法省、マスクのOpenAIとMicrosoftに対する独占禁止訴訟を支援 - 米国の独占禁止当局がイーロン・マスクによるOpenAIとMicrosoftに対する法的挑戦を支援し、AI分野における規制の厳格化を示唆しています。[The Information]。

英国、テック企業の反発に対しオンライン安全法の譲歩は不可能と主張 - 英国政府は、大手テクノロジー企業からの反発にもかかわらず、オンライン安全規制の施行に対する強い意志を表明しました。[The Guardian]。

🎱 その他

AIファイナンシャルアドバイザー、給料日までのやりくりをする若者をターゲットに - AI駆動の金融アプリが、特に限られた予算を管理する若い世代に向けた個別アドバイスを提供しています。[Wired]。

Amazon Prime Video、NFL放送をAIと次世代統計で強化 - AmazonのPrime Videoが、NFLゲーム中に視聴者により深い洞察を提供するため、AIと高度な統計を活用しています。[AP News]。

ロサンゼルスの山火事に関するデマ、ソーシャルメディアで拡散 - ロサンゼルスで山火事が発生する中、ソーシャルメディアでの誤情報が急速に拡散し、緊急対応の妨げとなっています。[The Wall Street Journal]。

🔌 これに接続して

Sky-T1：バークレー大学のNovaSkyチームが$450でo1相当の推論モデルを開発しオープンソース化

UCバークレーのNovaSkyチームは、Sky-T1-32B-Previewというオープンソース推論モデルを発表しました。このモデルは、o1-previewのようなプロプライエタリモデルに匹敵する推論およびコーディングのベンチマーク性能を誇ります。特筆すべきは、このモデルがわずか$450でトレーニングされた点で、高度なAI能力を低コストで開発できる可能性を示しています。

• オープンソースの徹底: Sky-T1-32B-Previewのデータ、コード、モデルウェイトを含むすべてがオープンソース化されており、コミュニティがモデルを再現・改善することが可能です。

• データ選定: トレーニングデータセットには、APPsとTACOのコーディング問題5000件、AIME、MATH、OlympiadのNuminaMATHサブセットからの数学問題1万件、STILL-2からの科学とパズル問題1000件が含まれています。データ品質を確保するために拒否サンプリング手法が採用されました。

• トレーニングプロセス: AlibabaのQwen2.5-32B-Instructをベースに、DeepSpeed Zero-3オフロードを用いて8つのH100 GPUで3エポックの微調整を実施。Lambda Cloudの料金を基準に、トレーニングコストは約$450で、19時間で完了しました。

• 性能指標: Math500で82.4%、AIME2024で43.3%、LiveCodeBench-Easyで86.3%を達成し、推論とコーディングの分野で競争力のある性能を示しました。

• モデルとデータの検討事項: 実験によると、32Bより小さいモデルでは改善が限られ、繰り返しの多いコンテンツを生成する傾向がありました。また、トレーニングデータのバランス調整は重要であり、数学とコーディングデータを組み合わせる際には、性能を維持するため慎重なキャリブレーションが必要でした。

🔓 オープンソースコミュニティには感服します。大手AI企業が「本当に価値のあるもの」を作り出したと思わせた矢先、それが非常に低コストで再現され、世界中に共有されるのです。

AIエージェントでソーシャルマーケティングを自動化する新興企業が登場（そしてRedditを「低品質な広告投稿」で埋め尽くしていると報告される）

Astral は、AIエージェントを活用してRedditでプロモーションコンテンツを投稿しており、プラットフォームのコンテンツの質や信頼性について懸念が広がっています。これらのAI生成投稿はしばしば「低品質な広告投稿」と呼ばれ、サブレディットを圧迫し、本来のユーザーエンゲージメントを妨げています。

• AI生成コンテンツ: スタートアップはAIを利用してさまざまなRedditコミュニティにプロモーション投稿を作成・配信し、人間の監督なしでブランドの認知度を高めることを目指しています。

• コミュニティへの影響: Redditユーザーからは、無関係で質の低い投稿が急増しているとの報告があり、議論の質が低下し、モデレーターの負担が増大しています。

• 倫理的懸念: 未承諾のマーケティングにAIエージェントを使用することは、透明性、同意、オンラインコミュニティの操作に関する倫理的な問題を提起しています。

• プラットフォームの対応: Redditの現在のポリシーでは、AI生成コンテンツが引き起こす課題に十分対応できていない可能性があり、新たなガイドラインや検出メカニズムの必要性が議論されています。

• 広範な影響: この状況は、AI生成の「低品質コンテンツ」がオンラインプラットフォームに浸透し、誤情報の拡散やデジタル空間への信頼低下を引き起こしているというトレンドを反映しています。

🚨 AIによる大規模なコンテンツ生成の増加は、プラットフォームがモデレーションを強化する必要性を浮き彫りにしています。既にボットによるコンテンツに溢れているとの指摘もありますが、AIコンテンツの配信規模が変われば、人間同士のやりとりを維持したいプラットフォームにとって状況は一変するかもしれません。それとも、もはや人間同士のやりとりを気にしている人などいないと考えているのでしょうか？

マーク・ザッカーバーグの最近の行動と発言

MetaのCEOであるマーク・ザッカーバーグが最近、コンテンツモデレーションポリシーを大幅に変更し、注目を集めています。この話題は見逃せないものですが、残念ながら、ほとんどの報道は政治的な偏りを含んでいます。

ここに事実があります：

• 第三者ファクトチェックプログラムの終了: Metaは第三者によるファクトチェックプログラムを終了し、X（旧Twitter）のCommunity Notesに似たコミュニティ駆動型モデルに移行すると発表しました。この動きは、表現の自由を促進し、検閲の印象を軽減することを目的としています。

• トランプとの交流: ザッカーバーグは、マー・ア・ラゴで次期大統領のドナルド・トランプと積極的に交流しており、ソーシャルメディアおよびウェブコンテンツの規制に関する次期政権の姿勢にMetaのポリシーを合わせる努力をしているようです。

• バイデン政権からの批判: ジョー・バイデン大統領は、Metaがファクトチェックプログラムを終了したことを「恥ずべきこと」と批判し、誤情報の拡散を許す可能性があるとしてアメリカの価値観に反すると指摘しました。

• 表現の自由に関する公的議論: 「The Joe Rogan Experience」ポッドキャストへの最近の出演で、ザッカーバーグはコンテンツモデレーションと表現の自由のバランスを取る課題について議論し、COVID-19パンデミック中に政府機関から特定のコンテンツを検閲するよう圧力を受けたことが、おそらく今回の方針転換の主要な要因であると説明しました。

🤔 これはザッカーバーグが会社の方向性を大きく転換するのを目にするのは初めてではありません。メディアからの反発の重みを評価する際には、これらの報道機関の政治的傾向を考慮すべきでしょう。しかし、内部では、企業文化の変化を強制されていることに対して個人的に不満を表明している社員もいるようです。本当の話を知りたいなら、ザッカーバーグの日記を盗むしかないかもしれませんね。

 🆕 更新

📽️ 毎日デモ

🗣️ 対話