制作物一覧All projects

画像認識モデルのSigLIPまたはWD Taggerで抽出した画像特徴量を条件付けに利用し、参照音声を用意することなく声質やトーンの制御を試みる仕組みを構築しました。By extracting visual features with SigLIP or WD Tagger, the system conditions speech generation to adjust voice timbre and tone without reference audio.

イラスト画像の特徴量に基づく音声合成の実装で、PyTorchによる推論コード、モデル重み、ブラウザ上で試用できるWebデモを公開しています。An implementation of speech generation conditioned on features of character illustrations, providing PyTorch inference code, model weights, and an interactive web demo.

潜在表現への圧縮を経由せずピクセル値を直接予測する手法をイラストデータセットで検証し、U-JiTアーキテクチャによって512px付近の複数解像度生成を扱える構成としました。Rather than relying on latent compression, this project trained a model to predict raw pixel values on an illustration dataset, using U-JiT to accommodate variable resolutions around 512px.

リポジトリでは学習コードを公開し、検証結果を技術記事とWebデモでまとめています。なお提供しているモデル重みは別検証であるAnimeFace版のものです。The repository provides training code alongside an experiment article and a web demo. Note that the published model weights correspond to a separate AnimeFace experiment.

イラスト生成で広く使われるタグ形式への変換を支援するため、LLMを用いて日本語文とタグ列のペアデータを合成し、小規模言語モデルの学習を行いました。To assist prompt creation in tag format, paired datasets of Japanese descriptions and tag sequences were synthesized using an LLM to train a compact language model.

Hugging Faceにて学習済みモデル重みとデータセットを公開しているほか、既存の生成ワークフローに組み込めるComfyUIカスタムノードも配布しています。Trained model weights and datasets are published on Hugging Face, accompanied by a custom ComfyUI node for integration into image generation pipelines.

WXTフレームワークを土台に、画像認識モデルによる文字枠検出とLLMによる翻訳を組み合わせ、文字の配置や書体を考慮して吹き出しの領域に訳文を描画する処理を実装しました。Built on the WXT framework, the extension couples bounding-box text detection with LLM translation to render translated dialogue within speech balloons, accounting for text layout and typography.

生成AIなんでも展示会vol.4に出展したプロダクトで、解説スライドや技術記事を公開しています。関連コードとしてテキスト検出のサンプルリポジトリを提供しています。The project was showcased at Generative AI Exhibition vol.4, with presentation slides and technical write-ups published alongside a standalone text-detection code sample.

自身の制作物や調べた技術検証の記録をまとめる個人ブログとして、Astroを用いた静的サイトを構築しました。A personal blog built as a static site with Astro to document projects and technical research notes.

本文のMarkdownに含まれるURLをカード表示するため、Cloudflare WorkersとHonoでOG情報を取得するAPIを実装し、その仕組みを解説する技術記事を公開しています。To display URLs in Markdown as card previews, it implements an API on Cloudflare Workers and Hono to fetch Open Graph metadata, accompanied by a published article explaining the implementation.

先行研究の概念消去手法をLoRA学習として再構成し、基底モデル全体を更新することなく、特定のスタイルや対象要素の生成傾向を減衰・変更できるようにしました。Adapting prior concept-erasing techniques to LoRA training, this tool suppresses or alters the generation tendencies of specific styles and subjects without updating the entire base model.

ローカル向け学習スクリプトに加えてColabノートブック、Hugging Face上の検証用モデル重み、生成結果の比較画像を公開しており、WebUIなどでの利用が可能です。The project provides local training scripts, a Google Colab notebook, verification model weights on Hugging Face, and comparison images for testing in tools such as Stable Diffusion WebUI.

Cloudflare Workersで公開しているWeb版は、HonoとReactで実装されています。ブラウザからユーザー名の入力や対象サービスの選択ができ、検索の進捗と結果を逐次表示します。The web version, deployed on Cloudflare Workers, is built with Hono and React. It allows users to enter a username and select target services in the browser, displaying search progress and results incrementally.

BunとTypeScriptによるCLIも提供しており、対象サービスの絞り込み、JSON/JSONL形式での出力、エージェント向けSkillに対応しています。Web版とCLIは共通の検索処理を使うモノレポ構成です。A CLI built with Bun and TypeScript is also provided, supporting target service filtering, JSON/JSONL output, and an agent skill. Both the web version and the CLI share search logic in a monorepo setup.

イラスト生成で用いられるタグ列の文脈を学習した言語モデルで、入力されたタグに続く要素の補完や拡張を行います。v2ではMistral系およびMixtral系のアーキテクチャを採用しました。Trained on the context of illustration tagging sequences, this language model predicts and completes subsequent tags from input tags. Version 2 adopts Mistral and Mixtral architectures.

Hugging Faceでモデル重みとタグ埋め込みを公開しています。またStable Diffusion WebUI拡張やComfyUIカスタムノードを介して、既存の生成環境へ直接導入できます。Model weights and tag embeddings are published on Hugging Face. Integrations are provided through a Stable Diffusion WebUI extension and a custom ComfyUI node.

ローカルのsafetensorsファイルに加え、Hugging Face上のリモートモデルに対しても全体をダウンロードすることなく、ヘッダー情報からテンソル構成やModelSpecを参照できます。In addition to local safetensors files, it inspects tensor configurations and ModelSpec entries from file headers for remote Hugging Face models without downloading entire files.

総パラメータ数や層ごとのデータ型を確認できるほか、ローカルファイル内の不要なメタデータを削除する機能を備えています。CLI実行用Skillとしての導入にも対応しています。In addition to displaying total parameter counts and tensor data types, it includes a command to delete metadata from local files. It also supports installation as a CLI skill.