Software Engineer - Specialized LLM Fine-tuning for clients / クライアント向け特化LLM開発エンジニア

PFNは、多様な産業分野に属する顧客企業と共同して課題解決に取り組み、PFNにしかできない高価値なソリューションの提供を目指しています。純国産かつ日本語性能で世界トップレベルの評価を受ける大規模言語モデル（LLM）「PLaMo」や各ドメインに特化したモデル、独自の生成AIサービス群を駆使し、各業界が直面する課題の解決と新たなビジネス創出に取り組んでいます。

私たちは、このソリューションビジネスの一翼を担い、幅広い業界の企業や政府・公的機関と共同で、生成AIを活用した業務の高度化・DX推進に一緒に取り組んでいます。様々なデータの活用やデータの合成等を通じて、LLMを各社・各ドメイン・各タスクに適合させ、特定領域を深く理解した実用モデルを構築・提供することを目指します。例えば、自社サービスのPLaMo翻訳で使用しているモデルは、このような取り組みで生まれたタスク特化モデルの1つです。

特化LLM開発エンジニアは、PLaMoや、用途に応じた各種LLMを起点に、対象ドメインへの継続事前学習や、事後学習（指示学習・強化学習）などの追加学習を通じて、ドメインおよびクライアント固有の課題に適合した実用モデルを構築します。自社モデルの追加学習とドメイン適合、そしてそれによるクライアントの課題解決が中核となります。クライアントと密にコミュニケーションを取りながら、追加学習が有効な課題の見極めや、他の手法との組み合わせも含めた提案を行い、案件に応じて要件定義から学習・評価・提供までを推進します。

業務例

• 業界のデータやクライアント提供データを用いた、PLaMoをはじめとするLLMの継続事前学習・事後学習（参考: 日本語農業大規模言語モデルの構築）
• 多言語を含む、クライアントのドメインやタスクに特化した高品質かつスケールする学習データ・評価データの設計と生成
• 追加学習の効果を測るドメイン固有の評価指標・ベンチマークの設計と、それを軸にした反復的な精度向上
• クライアントへのヒアリング・要件定義、技術検証、および結果のレポーティング
• PLaMo翻訳を始めとするタスク特化モデルの構築

実際の業務はこれに限定されるものではありません。入社後に実際にご担当いただく業務内容は、専門的知識・経験を考慮のうえ決定します。

多様な産業領域におけるドメイン特化LLMの開発と社会実装に携わりたい方、熱意のある方のご応募をお待ちしています。

Preferred Networks (PFN) collaborates with client companies across a wide range of industries to solve their challenges, aiming to deliver high-value solutions that only PFN can provide. We leverage “PLaMo,” a Large Language Model (LLM) developed entirely in-house and recognized as world-class in Japanese-language performance, along with domain-specialized models and our own suite of generative AI services, to solve the challenges faced by each industry and create new business value.

As part of this solution business, we work with companies across a wide range of industries and with government and public institutions to advance their operations and promote DX through generative AI. By leveraging and synthesizing various data, we aim to adapt LLMs to each company, domain, and task, building and delivering practical models that deeply understand specific fields. For example, the model behind our own service PLaMo Translation is one such task-specialized model created through these efforts.

As a Specialized LLM Fine-tuning Engineer, you will start from PLaMo and other LLMs suited to the use case, and build practical models adapted to the target domain and to client-specific challenges through additional training such as continual pre-training on the target domain and post-training (instruction tuning, reinforcement learning). The core of this role is the additional training and domain adaptation of our own models, and solving clients’ challenges through them. You will work closely with clients, identifying the problems where additional training is effective, making proposals that may combine it with other approaches, and, depending on the project, driving the process from requirements definition through training, evaluation, and delivery.

Your responsibilities may include:

• Continual pre-training and post-training of LLMs, including PLaMo, using industry data and client-provided data (Reference: Building a Japanese large language model for agriculture)
• Building task-specialized models, such as PLaMo Translation
• Designing and generating high-quality, scalable training and evaluation data specialized for each client’s domain and task, including multilingual data
• Designing domain-specific evaluation metrics and benchmarks to measure the effectiveness of additional training, and iteratively improving model accuracy based on them
• Conducting client interviews, defining requirements, performing technical validation, and reporting results

This job description is not exhaustive, and the actual duties assigned to you may vary depending on your expertise and experience.

We look forward to receiving applications from those who are passionate about the development and real-world deployment of domain-specialized large language models across diverse industries.

必須スキル

• コンピュータサイエンスの知識を活用した課題解決の経験
  コンピューターサイエンスのすべての分野への精通を目指し、常に最先端の技術を追いかけ続けていること特に、機械学習に関する研究または実務の経験および実績
• 機械学習・深層学習モデルの学習やファインチューニングに携わった経験
• 実データに基づく問題解決の経験（業界・分野不問）
  特に、顧客を満足させ技術的に解決可能である適切なタスク定義を行う能力
• ソフトウェア開発経験(Python, Go, C, C++, Java, 等)
  コンピューターアーキテクチャーを理解し、ソフトウェアの実行効率や、計算量を意識したプログラムの作成が出来る特にPythonまたはC++によるプログラミング能力
• 顧客と協働して課題を解決した経験（顧客と議論しながら本質的な課題を整理・定義した経験を含む）
• 数学、自然科学（物理、化学など）に関する、大学卒業程度の知識（もしくは学習により習得可能なこと）
• 社内のチームメンバーと協働して課題を解決した経験
• ビジネスレベルの日本語能力（日本語非母語話者においてはJLPT試験でN1レベル相当）
• Experience in solving problems by applying knowledge of computer science
  Aim to be familiar with all areas of computer science and continually pursue the latest technologyEspecially, research or practical experience and achievements in machine learning
• Experience working on training or fine-tuning machine learning / deep learning models
• Experience in solving problems based on real-world data (any industry or field)
  In particular, the ability to define appropriate tasks that satisfy clients and are technically solvable
• Software development experience (Python, Go, C, C++, Java, etc.)
  Understand computer architecture and be able to create programs considering the actual efficiency of software and computational complexityIn particular, programming proficiency in Python or C++
• Experience in solving problems in collaboration with clients (including experience structuring and defining essential challenges through discussion with clients)
• Knowledge equivalent to that of a university graduate in mathematics and natural sciences (such as physics and chemistry), or the ability to acquire this knowledge through learning
• Experience in solving problems in collaboration with internal team members
• Business-level Japanese proficiency (equivalent to JLPT N1 for non-native speakers)

歓迎スキル

• 製造業・エネルギー・金融・公共などの産業分野または学術領域に関する専門的知識・経験または実績
• コンピューターサイエンスのすべての分野に精通していること
  ソフトウェアの開発経験リードエンジニアとして開発プロジェクトを牽引した経験OSSへのコントリビューション経験AWSやGCPなどのクラウドサービスを用いたシステムの開発経験CI/CDの構築経験その他、プログラミング能力/ハードウェア設計能力が秀でていることが証明できること
• LLMの追加学習の経験
  継続事前学習や、事後学習（指示学習・強化学習）などの実装・運用経験分散学習フレームワーク（FSDPやDeepSpeedなど）を使った開発経験データ生成、学習、評価までのパイプラインの構築経験
• データセットやベンチマークなどの作成経験
• 多言語の自然言語処理や、多言語向けのコーパス構築・モデル学習の経験
• 研究開発の経験
  自分の専門分野に関する深い知見と経験英語論文の調査・読解およびサーベイ資料作成経験英語論文執筆経験
• 開発プロジェクトにおける5名以上のチームのリーダーシップ経験
• ビジネスレベルの英語能力（CEFR C1相当以上）
• Specialized knowledge, experience, or achievements in industrial fields such as manufacturing, energy, finance, and the public sector, or in related academic areas
• Being familiar with all areas of computer science
  Software development experienceExperience leading a development project as a lead engineerExperience contributing to OSSExperience developing systems using cloud services such as AWS or GCPExperience building CI/CDOther demonstrable evidence of outstanding programming or hardware design ability
• Experience in additional training of LLMs
  Experience implementing and operating continual pre-training and post-training (instruction tuning, reinforcement learning)Development experience using distributed learning frameworks (such as FSDP or DeepSpeed)Experience in building pipelines for data generation, training, and evaluation
• Experience in creating datasets and benchmarks
• Experience in multilingual natural language processing, or in multilingual corpus construction and model training
• Research and development experience
  Deep knowledge and experience in your area of expertiseExperience surveying and reading English research papers and preparing survey materialsExperience writing English research papers
• Leadership experience in development projects with teams of 5 or more members
• Business-level English proficiency (equivalent to CEFR C1 or higher)

給与

経験、業績、能力、貢献に応じて、当社規定により優遇
※基本給及び固定残業代の金額及び内容については、オファー時に速やかに明示します

Preferential treatment in accordance with Company regulations, based on experience, performance, ability, and contributions.
note - The amounts and details of base salary and fixed overtime pay will be clearly specified promptly at the time of the offer.

雇用形態

正社員（試用期間3ヶ月、本採用と同条件）

Full-time regular employment (3 months of probation period under the same condition as regular employment)

休日

休日：土曜日、日曜日、国民の祝日、国民の休日、年末年始
当社規定による年次有給休暇制度（入社時26日付与）
育児休暇、慶弔休暇など

Holiday: Saturdays and Sundays, public holidays, Year-end and new-year
Annual paid leave based on company regulations (26 days granted upon hire)
Parental leave, congratulation / condolence leave etc.

福利厚生

社会保険完備（厚生年金保険、健康保険、雇用保険、労災保険）
確定拠出年金制度
ラップトップPC購入補助
定期健康診断実施

Various social insurance programs: pension insurance, health insurance, employment insurance, workers’ compensation
Defined contribution pension
Allowance for purchasing a laptop PC
Regular health checks

勤務形態 / Work style
専門労働型裁量労働制（みなし労働時間：8時間）もしくはフレックス制
ハイブリッド勤務（オフィス出社と在宅勤務を組み合わせての勤務）

Discretionary-work (deemed work hours: 8 hours) or Flex-time system
Hybrid work (Combination of working from the office and working from home)

昇給・賞与 / Salary increase & bonus
年2回の人事評価及び会社業績に基づいて決定

Based on the result of a individual performance review (twice a year) and company’s performance

諸手当 / Allowances
通勤手当、在宅勤務手当

Commutation allowances / teleworking allowances

Company name / 社名
Preferred Networks, Inc.

Established / 設立年月日
March 26, 2014

Job openings / 求人一覧
キャリア採用（第二新卒含む）
新卒採用
インターンシップ

Co-Founders / 共同創業者
Toru Nishikawa, Chairman / Daisuke Okanohara, CEO

Headquarters location / 本社所在地
東京都千代田区大手町１−６−１ 大手町ビル / Otemachi Bldg., 1-6-1 Otemachi, Chiyoda-ku, Tokyo, Japan 100-0004

Web site URL
https://www.preferred.jp/ja/

経験、業績、能力、貢献に応じて、当社規定により優遇
※基本給及び固定残業代の金額及び内容については、オファー時に速やかに明示します

Preferential treatment in accordance with Company regulations, based on experience, performance, ability, and contributions.
note - The amounts and details of base salary and fixed overtime pay will be clearly specified promptly at the time of the offer.