ahmadafsharinejad / orleans.streamprocessing

A .NET stream processing

Orleans.StreamProcessing

This project is a .NET application that utilizes Orleans framework for stream processing. It provides a scalable and distributed architecture for processing real-time data streams.

Running the StreamProcessing.Sample

1. Go to src\Services\StreamProcessing and build solution.
2. Go to StreamProcessing output folder and run following command:

dotnet StreamProcessing.dll --InstanceId 1

3. Go to StreamProcessing.Sample output folder and run following command:

dotnet StreamProcessing.Sample.dll --HostGatewayInstanceId 1

---

Note

Run StreamProcessing.dll with different InstanceId in different terminals to have multiple silos.

---

Running the Workflow.Api.Sample

1. Go to src\Services\StreamProcessing and build solution.
2. Run StreamProcessing project.
3. Run StreamProcessing.Api project;
4. Go to src\Services\Workflow and build solution.
5. Run Workflow.Api project.
6. Run Workflow.Api.Sample project.

orleans.streamprocessing's Issues

اضافه کردن TimeOut به پلاگین‌های مشمول IO

Rest
SQLExecutor
Kafka

اختیاری بودن کلید در سینک کافکا

سلام.
در وضعیت فعلی انتخاب فیلد برای کلید کافکا اجباری است.
لطفا تغییراتی صورت پذیرد که این مورد اختیاری باشد.

دم شما گرم.

عدم تشخیص صحیح پلاگین‌های سورس

با سلام
زمانی که پلاگین‌هایی در کانفیگ سناریو تعریف شوند اما به جایی وصل نشوند، در تابع FindSourcePlugins پلاگین‌های سورس به صورت داپلیکیت تشخیص داده می شوند و این ایجاد مشکل می‌کند.
برای مثال، سه پلاگین
httpListener
Map
httpResponse
درست کنید اما Map را به هیچ کدام وصل نکنید
مشاهده می شود که برای یک نود، چند سورس http تشکیل می‌شود.

استفاده از HttpListenerResponse.Close

سلام.
طبق بررسی صورت گرفته، بزرگترین گلوگاه عملکردی سرور http، استفاده از OutputStream در بازگرداندن داده به کلاینت است.
در این لینک هم توضیح داده شده:
https://stackoverflow.com/questions/24887268/httplistenerresponse-outputstream-write-extremely-slow-on-my-server

کافی است به جای
if (responseTuple.ContentBytes is not null) { await using var output = response.OutputStream; await output.WriteAsync(responseTuple.ContentBytes); }
از

if (responseTuple.ContentBytes != null) { response.Close(responseTuple.ContentBytes, false); } else { response.Close(); }
استفاده شود در فایل HttpListenerResponseLocalGrain.