MENU

Fun & Interesting

中国製の人工知能"DeepSeek"をRaspberry Pi 5で動かす! ChatGPTより高性能?

イチケン / ICHIKEN 44,154 lượt xem 2 days ago
Video Not Working? Fix It Now

✅ DigiKey (ディジキー) 提供ありがとうございます!
紹介しました無料で受講できるセミナーはこちらです↓↓
Beyond5G/宇宙通信のキーテクノロジ 広帯域ソフトウェア無線&フェイズトアレイANT開発 要点100
https://www.zep.co.jp/before_after_pcb/web_seminar/sdr_paa/index.html
・日時:2/28(金)10時30分~16時 ※申込締切:2月28日 16時30分まで
・受講方法:オンライン(Zoom)。 見逃し配信もあります。

今話題の大規模言語モデル(LLM)のDeepSeekをラズベリーパイ5にインストールして使ってみました。
果たして、 実用に耐える事はできるのでしょうか??

DeepSeekをDocker上で動かす際の手順はこちら(イチケン公式ブログ記事)
→ https://ichiken-engineering.com/deepseek-r1-on-pi5/

Raspberry Pi 5はDigiKeyからも購入できます(技適の有無に注意してください)
https://www.digikey.jp/ja/products/detail/raspberry-pi/SC1112/21658257

ヒートシンク
https://www.digikey.jp/ja/products/detail/raspberry-pi/SC1148/21658255

NVME拡張ボード
https://www.digikey.jp/ja/products/detail/pimoroni-ltd/PIM699/24814577
https://www.digikey.jp/ja/products/detail/seeed-technology-co-ltd/103110063/25835787

動画内で使用したモデルについて
- DeepSeek-R1-Distill-Qwen-14BおよびDeepSeek-R1-Distill-Qwen-7Bは、Qwen2.5を生徒モデルとしてDeepseek-R1を蒸留したモデルです。
- bluepen5805/DeepSeek-R1-Distill-Qwen-14B-Japanese-ggufは、サイバーエージェント社によってDeepSeek-R1-Distill-Qwen-14Bをベースに日本語ファインチューニングを施されたモデルcyberagent/DeepSeek-R1-Distill-Qwen-14B-Japaneseを量子化したモデルです。
- lightblue/DeepSeek-R1-Distill-Qwen-7B-Japaneseは、Lightblue社によってDeepSeek-R1-Distill-Qwen-7Bをベースに日本語ファインチューニングを施されたモデルです。
ファインチューニング方法についてはHuggingFaceのページをご確認ください。 https://huggingface.co/lightblue/DeepSeek-R1-Distill-Qwen-7B-Japanese
各モデルはMITライセンス下で配布されている場合があります。利用・再配布にあたってはこちらのページを確認してください。 https://opensource.org/license/mit

◤リンク◢
イチケンの電子工作製品やTシャツはここで買えます(アソシエイトリンク) https://amzn.to/3QxN8Av
公式LINE https://lin.ee/3bFpFHB
公式webページ(企業の問い合わせなど) https://bit.ly/ichiken-ad
公式ブログ https://ichiken-engineering.com/
ツイッター https://twitter.com/ichiken_make

◤パワー半導体関連動画◢
再生リスト https://www.youtube.com/playlist?list=PLsjRI4ZEczlAZgFuqD1mJLwPTyGfmIaDZ

◤使用機材◢ (amazonアソシエイトリンク含む)
オシロスコープ Teledyne LeCroy HDO6104B 1GHzモデル https://teledynelecroy.com/japan/products/scopes/hdo6k-b/default.asp

◤目次◢
00:00 今回はあのAIモデルを動かします
01:14 ウェビナーのご紹介
02:08 ラズパイでローカルLLMを実現できるのか?
03:29 計算を軽量化する方法
05:18 今回セットアップした言語モデルについて
06:59 実際に動作させてみる
09:10 DeepSeekにプログラミングをさせてみると?
11:30 今回のまとめ

◤ビジネス関係のお問い合わせ◢
イチケンのPRサービスについて詳しく知る https://bit.ly/ichiken-ad
メールアドレス inquiry@ichiken-engineering.com
スポンサー、PR等承っております。お気軽にどうぞ。

Comment