どれほど彼らの収益に影響を与えるかは言い難いですが、AMDの新しい「Halo Strix」プロセッサーは、ローカルLLMを実行したい人にとって最良のシステムとなりました。
これらのうちの1つを128GBのRAMで約$1.5kで手に入れることができ、gpt-oss 120Bのような中/大規模モデルを完璧に実行します。
参考までに、単体のNvidia 5090 (は、他のPC)なしで2-3千ドルであり、そのフルモデルを実行することはできません。
64GBのRAMを搭載したMac miniは2,000ドルで、そのフルモデルを実行することもできません。
128GBのRAMを搭載したMac Studioはそれを実行できますが、3.7kドルかかります。
原文表示