mhbashari / awesome-persian-nlp-ir

Curated List of Persian Natural Language Processing and Information Retrieval Tools and Resources

Awesome Persian NLP/IR, Tools And Resources

This repository is going to be a curation of every research and efforts on Persian NLP. We segmented this repo into five main sections, as listed below!

Contents

• Tools
• Datasets
• Models
• Repositories
• Papers and Books

Contribute

Contributions welcome! Read the contribution guidelines first.

License

awesome-persian-nlp-ir's Issues

پیشنهاد برای اضافه کردن این لیست به یک لیست محبوب

سلام.
یه مخزنی هست به اسم Awesome که در واقع لیست‌هایی مثل این لیست شما رو معرفی می‌کنه. منتهی برای اینکه بتونید لیست خودتون رو در این مخزن قرار بدید که باعث می‌شه بیشتر دیده بشید باید شیوه‌نامهٔ سفت‌وسختی رو رعایت کنید. مثلاً در بخشی از این شیوه‌نامه اومده که باید تمام مشکلات گزارش شده توسط ابزار Awesome lint برطرف بشه. من یک فورک گرفتم و بخشی از این مشکلات رو حل کردم. ولی چون حل برخی از مشکلات نیازمند تغییرات گسترده و زمان‌بر در لیست‌ها هست گفتم با شما مشورت کنم که اگر مایل به انجام این کار هستید ادامه بدم. مثلاً یکی از شروط اینه که نباید یک ابزار در چند زیردسته معرفی بشه. خب برای حل این مشکل باید تغییراتی در دسته‌بندی‌ها بدیم. همچنین به جز سه فایلی که در ریشهٔ ریپو می‌بینید نباید فایل دیگه‌ای وجود داشته باشه. شاخه پیش‌فرض باید main باشه نه master. لایسنس رو باید از طریق گیتهاب اضافه کنید. باید حتماً یک تاپیک awesome در مخزن وجود داشته باشه و یک‌سری ریزه‌کاری‌های دیگه.

Missing translation data (Mizan)

https://github.com/omidkashefi/Mizan

Persian NER

پیکره متنی NER فارسی مبتنی بر داده‌های ویکی پدیا فارسی به صورت اپن سورس منتشر شده که شامل حدود ۲۵ میلیون توکن در قالب حدود یک میلیون جمله است. لطفاً آن را به لیست مخزن awesome persian nlp اضافه کنید

مخزن گیت‌هاب پیکره

همچنین امکان مشارکت در بهبود این پیکره (که مشارکت‌ها نیز به صورت اپن سورس منتشر می‌شوند) نیز از طریق https://app.text-mining.ir فراهم است

Datasets

سلام.
در قسمت دیتاست‌ها، اگر بخوام اطلاعاتی درمورد نحوه ساخت CPG: Corpus of Persian Grammatical Errors یا اطلاعات دیگه‌ای درموردش پیدا کنم باید کجا مراجعه کنم؟

Name Entity Recognition , Document Categorizer , Sentence Detector , POS Tagger , Topic modeing ; Examlpes for Farsi

https://github.com/ehsan2022002/NER_FARSI
شاید نظری داشتین

لینک های آزمایشگاه پایگاه داده دانشگاه تهران

چند روزی هست که صفحات پیکره های دانشگاه تهران در دسترس نیستند .
لطفا اگر اطلاعی از صفحات مذکور دارید ما رو هم در جریان بگذارید خیلی ممنون

مثالی از ورد تو وک تک

سلام
قطعه کد پایین یک جمله رو میگیره ورد تو وک تک تک تک کلمات رو برمیگردنه. برای انگلیسی کار میکنه ولی برای فارسی کار نمیکنه .میشه لطف کنید از این کتابخونتون یک مثال مثل این کد بیارید که بشه ورد تو وک تک کلمات جلمه رو برگردونه

from gensim.models import Word2Vec as wv
for sentence in sentences:
    tokens = sentence.strip().lower().split(" ")
    tokenized.append(tokens)
model = wv(tokenized
    ,size=5,
          min_count=1)
print('done2')
model.save('F:/text8/text8-phrases1')
print('done3')
print(model)
model = wv.load('F:/text8/text8-phrases1')

print(model.wv.vocab)

با تشکر

Maryam Tavafi POS Tagger link is broken

Running guidance

Hi
How we can run it ?

Translation of text body to another languages

What are conventions to contribute translation of the body text in the Persian Language?
Should we create something like README-fa.mk and put the content there?